«Хочу, чтобы Россия стала психометрической державой»

@Высшая школа экономики

Руководитель Центра психометрических исследований в онлайн-образовании ВШЭ Дмитрий Аббакумов защитил в сентябре диссертацию PhD, посвященную психометрике массовых открытых онлайн-курсов, в Университете Лёвена (Бельгия). Как проходила работа над диссертацией – и какое значение она имеет для развития психометрики в России?

С чего все началось

Когда я учился на первом курсе одного из российских университетов (специальность была связана с нефтехимией), там ввели тестовый контроль оценки знаний. Подавляющее большинство студентов, включая меня, тесты завалили и попали в приказы на отчисление. Ректор, проанализировав ситуацию, понял, что проблема не в знаниях, а в тестах, и приказы подписывать не стал. Чтобы в дальнейшем такое не повторялось, он пригласил специалистов из МГУ – поделиться опытом разработки тестов. 

На встречу с ними в числе других студентов позвали меня.

 После серии заваленных тестов я эмоционально доказывал, что бездушные компьютеры не способны оценить знания

Коллеги решили убедить меня в обратном, пригласив на каникулы в Москву – пройти обучение по конструированию тестов. Так в 2006 году, будучи второкурсником, я получил свой первый профессиональный сертификат по конструированию и проведению образовательных тестовых экзаменов от Центра тестирования МГУ. И тогда я понял, что хотел бы углубиться в теорию разработки тестов – психометрику.

Первые шаги

Вскоре после окончания специалитета я узнал об открытии в Вышке магистерской программы «Измерения в психологии и образовании». Поступил на нее по результатам Олимпиады НИУ ВШЭ для студентов и выпускников. К тому времени у меня уже был опыт работы в компании «Роснефть», где я реализовал проект обучения сотрудников автозаправочных комплексов на основе тестовых заданий (и получил за него большую премию на внутрикорпоративном конкурсе).

Один из самых интересных курсов, посвященный теории измерений в психологии и образовании, вела руководитель магистерской программы Юлия Тюменева. А самым практически полезным оказался курс Евгения Куприянова по оценке персонала. Затем писал у Евгения Андреевича курсовую работу, по результатам которой в рубрике «Первые шаги» журнала «Организационная психология» Вышки вышла моя первая статья. Так я окончательно «подсел» на психометрику.

По окончании магистратуры занимался психометрикой как практик, но понял, что мне интересно стать психометриком-ученым.

Почему Лёвен

Психометрические методы в России, конечно же, применяются, но психометрические научные школы, к сожалению, не сложились. В мире наиболее авторитетными считаются психометрические школы нидерландоязычных университетов. В любой книге по психометрике авторы как минимум двух третей глав – профессора из Нидерландов или бельгийской Фландрии. Статья о психометрике в международной энциклопедии по социальным и поведенческим наукам написана профессорами Амстердамского университета Дэнни Борсбомом и Диланом Моленаром, который, кстати, был членом жюри на моей недавней защите PhD.

Таким образом, выбор докторантуры был очевиден. Если учиться и «делать степень», то у лучших и в одном из сильнейших университетов. Я был знаком с профессором Вимом Ван ден Ноортгате из Лёвенскогоуниверситета, основанного в 1425 году, – консультировался с ним при подготовке магистерской диссертации в Вышке. Написал ему, и он согласился принять меня в Бельгии.

1+2+2

Работа над диссертацией PhD заняла четыре года плюс год подготовки к поступлению (языковые экзамены, согласование с профессором проекта диссертации, сбор справок). Мой профессор сразу меня сориентировал, что нужно подготовить описание трех-четырех отдельных исследований. Конечно, я это сделал, но в получившейся диссертации от их замысла не осталось ничего. Наверное, это была просто проверка: как мыслит будущий докторант?

Бельгийские университеты практично подходят к диссертациям. Понятие «кирпича» (единого текста) там отсутствует. Диссертация PhD – это несколько статей по теме, которые для допуска к защите должны быть опубликованы в топовых журналах по теме исследования. Оформление этих статей в книгу с коротким вступлением и заключением – дань традиции.

Первые два года я проработал в библиотеке.

 Даже в современной библиотеке ВШЭ книги по психометрике по пальцам пересчитаешь, в лёвенской библиотеке – пять стеллажей в мой рост

Читаешь – и собственные мысли начинают плодиться. На этом этапе я делал разведочные расчеты, по пятницам встречался с профессором: мы сначала обедали, а потом в течение часа обсуждали диссертацию.

В результате я подготовил midterm project – первую версию будущей диссертации на 20-30 страниц, содержащую подробное описание исследований, включая методологию, сбор и подготовку данных, гипотезы. Защитил midterm project перед комиссией из пяти-шести человек, которая оценила реалистичность реализации всего задуманного в установленный срок и дала рекомендации, как сделать это оптимально. У меня была замечательная комиссия, один из членов – профессор Франсис Туерлинкс, президент Психометрического общества, созданного в 1935 году.

За оставшиеся два года я написал пять статей, две из них опубликованы (одна в журнале №1 по математической психологии в мире Behavior Research Methods), третья принята в печать и появится в престижном Applied Measurement in Education в апреле 2020 года, еще две отправлены в журналы. Выступил на нескольких конференциях, в том числе трижды – на конференциях партнеров Coursera и дважды – на конференциях Международного психометрического общества в Нью-Йорке и Сантьяго.

Защита

Итоговая версия диссертации, представленная на защиту, состояла из шести глав: вводной и пяти глав-статей. Название – Psychometrics of MOOCs: How to Measure Proficiency? («Психометрика массовых открытых онлайн курсов: подходы к измерению подготовленности студентов»). В диссертации разработано несколько способов для измерения уровня и динамики знаний студентов на основе цифровых следов, собираемых платформами онлайн-обучения.

Защита состоялась 13 сентября, в пятницу, в историческом зале Левенского университета. Комиссия, состоящая из председателя, моего руководителя, со-руководителя и трех членов жюри вошла в зал, присутствующие приветствовали ее стоя. О своих результатах я рассказал в течение 20 минут, затем оппоненты – члены жюри – в течение 45 минут задали мне вопросы, причем очень глубокие, заранее подготовленные, поскольку на прочтение диссертации у них было все лето (аналогичная модель защиты в последние два года используется и в Вышке). Затем комиссия удалилась и вскоре вернулась в зал, чтобы огласить решение. Так я получил степень PhD в образовании.

В Левенском университете защиты проводятся публично – присутствовать может любой. Поэтому презентация должна быть максимально понятной, запрещается использовать формулы и сложную профессиональную лексику. Так что вероятность правильного ответа студента я изобразил как поединок двух армрестлеров, один из которых – студент, а другой – задание. Чем сильнее спортсмен (чем лучше подготовлен студент), тем выше вероятность правильного ответа. Члены комиссии смеялись.

Перед защитой я очень нервничал, особенно пытаясь предвосхитить вопросы членов жюри. Но на самой защите чувствовал себя на удивление уверенным, более того – получил от нее удовольствие. Это точно не было часом позора, о котором часто рассказывают российские аспиранты, описывая, кто и как, зачастую не читав текста диссертации, их возил «лицом по столу». Наверное, в этом смысле западная докторантура – более человечная.

Работа

Незадолго до отъезда в Лёвен я начал сотрудничать с Дирекцией по онлайн-обучению Вышки – одного из первых российских университетов, где большое внимание уделяется онлайн-курсам и созданию компьютерной учебной среды. Евгения Кулик предложила мне стать психометриком-аналитиком, выстроить систему измерений в онлайн-курсах Вышки на Coursera, а затем и на Национальной платформе открытого образования. Я согласился, так как мне нравятся компьютерные технологии в обучении и оценке. Самое интересное – работа с уникальными данными, когда каждый след учащегося на платформе записывается в базу.

Последние четыре года я не только готовил диссертацию, но и работал в Вышке – совмещал две полноценные fulltime-позиции. Все результаты моих исследований внедрялись на практике в Вышке. Например, одним из таких проектов стала разработка сервиса психометрической аналитики для онлайн-курсов проекта «Современная цифровая образовательная среда РФ». Университет выиграл грант Минобрнауки России на эту разработку, и в заявке было много предложений и идей из моих еще неопубликованных статей.

 Большую часть работы в России я выполнял удаленно. Мало какой руководитель согласится на такое, но мне с моими повезло

И Евгения Кулик, и Сергей Рощин не возражали. К тому же Вышка оплачивала все поездки на конференции, и я везде четко заявлял об аффилиации с ней. За это время из одного меня в НИУ ВШЭ вырос целый Центр психометрических исследований в онлайн-образовании.

Что дальше

В Лёвене я останусь исследователем – предстоит трехлетний проект, посвященный психометрике и машинному обучению в США, а Вышка будет основным местом работы. У меня большая команда – девять человек, мне много чем хочется поделиться и с каждым коллегой написать по совместной статье.

Цели в России у меня амбициозные. Нидерланды стали психометрической державой за 20 лет – в середине 1990-х здесь появились международные публикационные стратегии, началось активное глобальное сотрудничество – осознанное движение в мир. Мне хотелось бы, чтобы то же самое случилось и с российской психометрикой, как бы пафосно это не звучало. И я постараюсь «раскрутить» эту «движуху».