Саморегулируемое обучение в МООК: измерение, связь с образовательными результатами и возможности развития навыков при помощи интервенций тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Вилкова Ксения Александровна

• Вилкова Ксения Александровна
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Вилкова Ксения Александровна

Содержание

Информация о соискателе и диссертационном исследовании

Введение

Цель и задачи исследования

Теоретическая рамка

Методология и дизайн исследования

Источник данных №1

Источник данных №2

Источник данных №3

Особенности обучения на Национальной платформе «Открытое образование»

Ограничения исследования

Основные результаты исследования

Определение наиболее подходящего инструмента для измерения саморегулируемого обучения в формате МООК

Валидизация инструмента «Саморегулируемое обучение в онлайн-среде» на выборке, состоящей из слушателей МООК

Оценка связи составляющих модели Б. Циммермана с результатами решения тестовых заданий слушателями МООК

Оценка гетерогенного эффекта от интервенции по развитию саморегулируемого обучения в МООК

Положения, выносимые на защиту

Обсуждение результатов

Заключение

Список литературы

Приложения

Приложение 1. Статья «Измерение саморегулируемого обучения: обзор инструментов»

Приложение 2. Статья «Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms»

Приложение 3. Статья «Self-regulated learning and successful MOOC completion» 76 Приложение 4. Статья «The Promises and Pitfalls of Self-regulated Learning Interventions in MOOCs»

Приложение 5. Сравнение инструментов для измерения саморегулируемого обучения

Приложение 6. Утверждения инструмента «Саморегулируемое обучение в онлайн-среде» (OSLQ - Online Self-Regulated Learning Questionnaire)

Приложение 7. Утверждения инструмента «Саморегулируемое обучение в МООК» (SRLMQ - Self-Regulated Learning in MOOCs Questionnaire)

Приложение 8. Процедура адаптации инструмента «Саморегулируемое обучение в МООК» (SRLMQ - Self-Regulated Learning in MOOCs Questionnaire) на русский язык

Приложение 9. Текст интервенции по развитию саморегулируемого обучения

Приложение 10. Список сокращений

Информация о соискателе и диссертационном исследовании

ФИО соискателя Вилкова Ксения Александровна

Тема Саморегулируемое обучение в МООК: измерение, связь с образовательными результатами и возможности развития навыков при помощи интервенций

Организация НИУ «Высшая школа экономики», Институт образования

Научный руководитель Малошонок Наталья Геннадьевна, к.соц.н., старший научный сотрудник Центра социологии высшего образования Института образования НИУ «Высшая школа экономики»

Список публикаций автора диссертации, в которых отражены основные научные результаты диссертации 1. Vilkova, K. (2019). Self-regulated learning and successful MOOC completion (Саморегулируемое обучение и успешное завершение МООК). In EMOOCs 2019 Work in Progress Papers of Research, Experience and Business Tracks, Vol. 2356 (pp. 72-78). 2. Вилкова, K. (2020). Измерение саморегулируемого обучения: обзор инструментов. Современная зарубежная психология, 9(2), 123-133. https://doi.org10.17759/jmfp.2020090211. 3. Vilkova, K., & Shcheglova, I. (2021). Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms (Деконструкция саморегулируемого обучения в МООК: в поисках «обращения за помощью»). Education and Information Technologies, 26(1), 17-33. https://doi.org/10.1007/s10639-020-10244-x. 4. Vilkova, K. (2022). The Promises and Pitfalls of Self-regulated Learning Interventions in MOOCs (Обещания и заблуждения об интервенциях по развитию

саморегулируемого обучения в МООК). Technology, Knowledge and Learning, 27(3), 689-705. https://doi.org/10.1007/s10758-021-09580-9.

Список научных конференций, на которых были представлены результаты диссертационного исследования 1. European MOOCs Stakeholders Summit, 20-22.05.2019, Неаполь, Италия. Доклад: «Self-regulated learning and successful MOOC completion» (на английском языке). 2. II Российско-китайская конференция исследователей образования «Цифровая трансформация образования и искусственный интеллект», 26-27.09.2019, Москва, Россия. Доклад: «Measuring self-regulated learning among Russian students» (на английском языке). 3. International diversity in teacher and higher education research in the 21st century Conference: insights from doctoral students, supervisors, and doctoral school leaders, 4-5.12.2020, Будапешт, Венгрия (онлайн). Доклад: «Who benefits from social-psychological interventions in MOOCs?» (на английском языке). 4. St. Petersburg International Conference on Inequality and Diversity, 11-13.11.2021, Санкт-Петербург, Россия (онлайн). Доклад: «The promises and pitfalls of self-regulated learning interventions in MOOCs» (на английском языке).

Введение диссертации (часть автореферата) на тему «Саморегулируемое обучение в МООК: измерение, связь с образовательными результатами и возможности развития навыков при помощи интервенций»

Введение

Массовые открытые онлайн-курсы (МООК)1 были созданы для предоставления доступа к качественным образовательным ресурсам для всех желающих (Kay et al., 2013). Ожидалось, что во время обучения на МООК, слушатели смогут самостоятельно организовывать свой процесс обучения, изучая предложенные материалы в удобном для них темпе (Lee, Watson, & Watson, 2018). Однако многочисленные исследования демонстрируют, что подавляющее большинство слушателей так и не завершают МООК (Reich & Ruipérez-Valiente, 2019) и не достигают поставленных в начале обучения целей (Semenova, 2021). В результате это является одной из основных причин, по которой слушатели не достигают своих целей, что в том числе выражается в низких образовательных результатах или незавершении МООК (Pérez-Alvarez, Maldonado-Mahauad, Sapunar-Opazo, & Pérez-Sanagustin, 2017). Предыдущие исследования показали, что слушатели МООК, получающие высокие образовательные результаты, тратят больше времени на изучение материалов онлайн-курсов (Kizilcec, Pérez-Sanagustin, & Maldonado, 2017) и используют более гибкий подход при организации процесса обучения, реже придерживаясь установленного МООК расписания (Maldonado-Mahauad et al., 2018). Эти различия в поведении могут быть связаны с уровнем сформированности навыков саморегулируемого обучения (Littlejohn & Milligan, 2015).

Саморегулируемое обучение определяется как процесс, в рамках которого учащиеся ставят перед собой цели обучения, а затем отслеживают, регулируют и контролируют свои познания, намерения и поведение, руководствуясь не только своими целями, но и особенностями окружающей среды (Pintrich, 2000). Слушатели с высоким уровнем владения навыками саморегулируемого обучения умеют планировать, отслеживать и управлять собственным учебным процессом (Wang, Shanonn, & Ross, 2013). При этом появляется все больше свидетельств того, что многие слушатели МООК не обладают высоким уровнем владения навыками саморегулируемого обучения (Pérez-Sanagustin et al., 2021).

1 В данной работе мы исследуем xMOOCs - это МООК, которые созданы по подобию традиционных офлайн-курсов и предполагают большое число слушателей и асинхронность обучения. Все особенности формата МООК, описанные выше, в первую очередь характерны для xMOOCs. В работе используется аббревиатура МООК для обозначения данного типа курсов, так как xMOOCs являются наиболее распространенным типом МООК.

Осознание важности саморегулируемого обучения для успешности прохождения МООК привело к появлению большого количества работ по этой теме (например, Cerón et al., 2020; Pérez-Álvarez, Maldonado-Mahauad, Sapunar-Opazo, & Pérez-Sanagustín, 2017; Maldonado-Mahauad et al., 2018; Milligan, Littlejohn, & Margaryan, 2013; Littlejohn, Hood, Milligan, & Mustain, 2016; Wong et al., 2021). Однако, несмотря на значительный рост публикаций, выводы исследователей ограничены в силу недостаточного количества валидизированных и адаптированных инструментов для измерения саморегулируемого обучения в формате МООК (например, Barnard at al., 2009; Littlejohn, Hood, Milligan, & Mustain, 2016). Второй проблемой является тот факт, что не до конца остается понятным, какой именно процесс саморегулируемого обучения связан с образовательными результатами слушателей (например, Kizilcec, Pérez-Sanagustín, & Maldonado, 2017). Наконец, третьей проблемой считается наличие противоречивых результатов, которые демонстрируют интервенции по развитию саморегулируемого обучения в МООК (например, Davis, Chen, Van der Zee, Hauff, & Houben, 2016; Kizilcec & Cohen, 2017; Wong et al., 2021), предположительно, их можно объяснить наличием гетерогенного эффекта, он заключается в том, что интервенции действуют по-разному на разные группы слушателей.

Таким образом, актуальность данного исследования состоит в 1) необходимости представления надежного и валидного инструмента для измерения саморегулируемого обучения в МООК; 2) изучении связи процессов саморегулируемого обучения с образовательными результатами; 3) разработке интервенций, которые будут эффективны для повышения уровня саморегулируемого обучения у слушателей МООК, и как следствие будут способствовать улучшению образовательных результатов. Разработанность темы и научная новизна исследования

Исследования по изучению саморегуляции в образовательном контексте берут начало в работах А. Бандуры (Bandura, 2005), автора социально-когнитивной теории. Он связывает саморегулируемое обучение с взаимодействием между когнитивными, поведенческими и средовыми факторами. В дальнейшем эти идеи получили развитие в работах Б. Циммермана и П. Пинтрича, которые предложили концептуальные модели саморегулируемого обучения (Zimmerman, 1990; Pintrich, 2000). Их главное преимущество состоит в наличии операциональных показателей, которые используются для измерения

саморегулируемого обучения. В свою очередь, это позволяет создавать измерительные инструменты, в основе которых лежат предложенные теоретические модели.

В отечественной традиции саморегулируемое обучение понимается как особый вид учебной деятельности и находит воплощение в действиях контроля и оценки (Давыдов & Маркова, 1981). Однако отечественные работы по изучению саморегулируемого обучения (Божович, 2001; Цукерман, 2010; Моросанова, Фомина, & Цыганов, 2017) имеют ограничения, связанные с отсутствием операциональных показателей и инструментов, позволяющих измерять навык саморегулируемого обучения в формате МООК.

Идея о важной роли саморегулируемого обучения для успешной учебы сначала развивалась в исследованиях офлайн-обучения (Zimmerman, 1990). С появлением новых форматов обучения (смешанного и онлайн) появились работы, посвященные изучению связи саморегулируемого обучения и образовательных результатов (Barnard et al. 2009). Исследователи также демонстрируют, что в рамках МООК уровень сформированности навыков саморегулируемого обучения является одной из ключевых составляющих успеха (Littlejohn & Milligan, 2015).

Исследования саморегулируемого обучения в МООК можно объединить в три направления: измерение, связь с различными переменными (в том числе с образовательными результатами) и возможности развития навыка саморегулируемого обучения при помощи интервенций. В рамках первого направления исследователи создают и адаптируют инструменты для измерения уровня саморегулируемого обучения в формате МООК (Littlejohn, Hood, Milligan, & Mustain, 2016), а также используют нереактивные данные для выделения анализа паттернов саморегулируемого обучения (Maldonado-Mahauad et al., 2018). Второе направление посвящено поиску связи уровня саморегулируемого обучения с такими показателями как отсев (Maldonado-Mahauad et al., 2018), образовательные результаты (Guo & Wu, 2015), мотивация (Littlejohn & Milligan, 2015), достижение целей (Kizilcec, Perez-Sanagustin, & Maldonado, 2017). В рамках третьего направления исследователи предлагают интервенции по развитию навыков саморегулируемого обучения, которые могут быть направлены на повышение образовательных результатов слушателей МООК (например, Davis et al., 2016; Yeomans & Reich, 2017; Jansen et al., 2020; Wong et al., 2021).

Обзор существующих работ, направленных на изучение саморегулируемого обучения в МООК, позволяет сделать вывод о наличии следующих пробелов: 1) недостаточное количество валидизированных инструментов для измерения саморегулируемого обучения в МООК; 2) отсутствие однозначных ответов о связи уровня развития навыков саморегулируемого обучения с образовательными результатами слушателей МООК; 3) наличие противоречивых результатов исследований об эффективности интервенций по развитию саморегулируемого обучения в МООК.

Научная новизна данного исследования состоит в представлении валидного инструмента для измерения саморегулируемого обучения в формате МООК, оценке связи уровня саморегулируемого обучения с результатами решения тестовых заданий слушателями, а также объяснении противоречивых результатов предыдущих исследований по влиянию интервенций, направленных на развитие навыков саморегулируемого обучения в МООК. Научный вклад данного исследования заключается в изучении саморегулируемого обучения в контексте МООК. Полученные ранее результаты в других форматах - офлайн и онлайн - не могут быть перенесены на контекст МООК в силу следующих особенностей формата МООК: во-первых, несмотря на заданную преподавателем структуру курса, слушатели самостоятельны в выборе времени, места и темпа обучения, и, во-вторых, в формате МООК практически отсутствует взаимодействие с другими слушателями курса и преподавателем (Baker et al., 2018; Breslow et al., 2013; Qui et al., 2016).

Цель и задачи исследования

Данное исследование ставит своей целью изучение 1) возможностей для измерения саморегулируемого обучения в контексте МООК; 2) взаимосвязей уровня саморегулируемого обучения с результатами решения тестовых заданий; 3) возможностей развития саморегулируемого обучения с помощью интервенции для повышения результатов при решении тестовых заданий. Для достижения этой цели поставлены четыре задачи:

1. Определение наиболее подходящего инструмента для измерения саморегулируемого обучения в формате МООК.

Формат МООК является частным случаем онлайн-обучения, поэтому не все существующие инструменты могут быть использованы для измерения саморегулируемого обучения в МООК. В рамках этой задачи был проведен анализ теоретических и эмпирических исследований, посвященных измерению саморегулируемого обучения, и выделены основные инструменты для измерения саморегулируемого обучения. Наиболее подходящими инструментами для формата МООК являются инструменты, предложенные в работах Л. Барнард с коллегами (Barnard et al., 2009) - «Саморегулируемое обучение в онлайн-среде» (OSLQ - Online Self-Regulated Learning Questionnaire) и Э. Литтлджон с коллегами (Littlejohn, Hood, Milligan, & Mustain, 2016) - «Саморегулируемое обучение в МООК» (SRLMQ - Self-Regulated Learning in MOOCs Questionnaire).

Результаты отражены в статье Вилкова, K. (2020). Измерение саморегулируемого обучения: обзор инструментов. Современная зарубежная психология, 9(2), 123-133. https://doi.org10.17759/jmfp.2020090211

2. Валидизация инструмента «Саморегулируемое обучение в онлайн-среде» на выборке, состоящей из слушателей МООК.

Предыдущие исследования показали, что в МООК ограничено взаимодействие между слушателями курсов, а также между слушателями и преподавателями (Baker et al., 2018; Breslow et al., 2013; Qui et al., 2016). Поэтому мы предположили, что структура инструмента «Саморегулируемое обучение в онлайн-среде» может различаться для разных форматов обучения. Используя метод конфирматорного факторного анализа, в контексте МООК мы не получили эмпирических доказательств ожидаемой шестифакторной модели инструмента. Для дальнейшего использования инструмента «Саморегулируемое обучение

в онлайн-среде» в формате МООК предложена пятифакторная модель, в которой компонент «обращение за помощью» является нерелевантным.

Результаты отражены в статье Vilkova, K., & Shcheglova, I. (2021). Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms. Education and Information Technologies, 26(1), 17-33. https://doi.org/10.1007/s10639-020-10244-x.

Авторский вклад: участие в адаптации инструмента на русский язык, анализ литературы по теме, анализ данных, написание разделов с литературным обзором, методологией и результатами.

3. Оценка связи составляющих модели Б. Циммермана с результатами решения тестовых заданий слушателями МООК.

Еще одним открытым вопросом в рамках изучения саморегулируемого обучения в формате МООК остается изучение того, какой именно из процессов саморегулируемого обучения связан с высокими образовательными результатами. Используя метод логистической регрессии было оценено, как уровень каждого из процессов саморегулируемого обучения (планирование, деятельность, рефлексия) связан с результатами решения тестовых заданий. Среди составляющих значимо связанным с результатами решения тестовых заданий оказалось планирование. В то же время деятельность и рефлексия не вносят значимого вклада в результаты решения тестовых заданий слушателями МООК. Известно, что все процессы саморегулируемого обучения работают только вместе (Zimmerman, 1990). Однако на разных этапах допустимо уделять внимание тому или иному процессу, чтобы прицельно прорабатывать конкретные навыки, например, для разработки интервенций.

Результаты отражены в статье Vilkova, K. (2019). Self-regulated learning and successful MOOC completion. In EMOOCs 2019 Work in Progress Papers of Research, Experience and Business Tracks, Vol. 2356 (pp. 72-78).

4. Оценка гетерогенного эффекта от интервенции по развитию саморегулируемого обучения в МООК.

Несмотря на разнообразие предлагаемых интервенций по развитию навыков саморегулируемого обучения в МООК, существующие исследования демонстрируют противоречивые результаты (например, Davis et al., 2016; Kizilcec & Cohen, 2017; Wong et al., 2021). На основе анализа предшествующих работ (Clark et al., 2017; Schippers et al.,

2015; van Lent & Souverjin, 2017; Jensen, 2010; Grove & Wasserman, 2006) можно предположить, что интервенции по развитию навыков саморегулируемого обучения в МООК могут воспроизводить гетерогенный эффект, обеспечивая преимущество для определенных групп слушателей. Используя метод логистической регрессии, был оценен гетерогенный эффект от интервенции по развитию саморегулируемого обучения в МООК. Преимущество от интервенции, выражающееся в получении более высоких баллов по результатам тестирований, получили мужчины и слушатели более старшего возраста.

Результаты отражены в статье Vilkova, K. (2022). The Promises and Pitfalls of Self-regulated Learning Interventions in MOOCs. Technology, Knowledge and Learning, 27(3), 689-705. https://doi.org/10.1007/s10758-021-09580-9.

Теоретическая рамка

Теоретическую основу данного исследования составляют работы, выполненные в русле социально-когнитивной теории А. Бандуры (Bandura, 2005). Именно в рамках данной теории в конце 80-х годов прошлого века появилось понятие «саморегулируемое обучение» (Panadero, 2017). В соответствии с социально-когнитивной теорией, процесс саморегулируемого обучения связан не только с личностными характеристиками учащихся, но и с их поведением во время учебы, а также со стимулами окружающей среды. Данное исследование опирается на модель саморегулируемого обучения, предложенную Б. Циммерманом (Zimmerman, 1990). Мы выбрали эту модель для данного исследования по следующим причинам. Во-первых, модель Б. Циммермана является не только наиболее распространенной среди исследователей, но и наиболее проработанной с теоретической точки зрения (Panadero, 2017). Во-вторых, ее использование в данном диссертационном исследовании позволит включиться в общую дискуссию о саморегулируемом обучении, при этом заполнив пробел в знаниях о саморегулируемом обучении в формате МООК.

Согласно данной модели, саморегулируемое обучение можно описать через действия, которые учащиеся совершают в процессе учебы. Б. Циммерман (Zimmerman, 1990) рассматривает их через три процесса, образующих цикл: планирование, деятельность и рефлексию (см. Рисунок 1). Каждый из этих процессов объединяет в себе аффективные, поведенческие или когнитивные суб-процессы. Процесс планирования включает в себя постановку целей, оценку самоэффективности и ценности обучения. Процесс деятельности сочетает в себе такие суб-процессы как выработка стратегии выполнения заданий, активизация интереса и обращение за помощью. Наконец, третий процесс саморегулируемого обучения (рефлексия) состоит из двух когнитивных суб-процессов: оценки удовлетворенности и самооценки. Модель Б. Циммермана предполагает, что саморегулируемое обучение является циклическим процессом: во время учебы каждая из описанных составляющих появляется вслед за предыдущей, объединяя в себе результаты предшествующих.

Рисунок 1.

Модель саморегулируемого обучения Б. Циммермана (Zimmerman, 1990)

Ключевые понятия

Образовательные результаты в МООК представлены рядом показателей: получение сертификата об окончании курса (Kizilcec & Cohen, 2017), факт последующей записи на другие курсы (Hart et al., 2019), удовлетворенность обучением на курсе (Semenova & Vilkova, 2019), достижение поставленных целей (Semenova, 2021), результаты решения тестовых заданий (Ismail, 2021). Последний подход является наиболее распространенным в МООК (Guo & Wu, 2015). Это связано с тем, что результаты решения тестовых заданий представляют собой данные, которые защищены от искажений (они могут возникать, например, во время анкетирования об удовлетворенности слушателей). Поэтому далее в тексте работы в качестве образовательных результатов мы будем рассматривать баллы за тестовые задания, которые получены слушателями во время обучения на МООК. При этом данный подход обладает рядом недостатков, которые в первую очередь связаны с различными целями слушателей МООК: не каждый слушатель записывается на онлайн-курс с целью прорешать все задания и получить сертификат (Reich, 2014).

Интервенция - это инструмент, который воздействует на поведение человека с определенной целью. Как правило, интервенции представляют собой короткие упражнения, включающие позитивные утверждения, подкрепляющие желательное

поведение, и через это способствующие развитию тех или иных навыков (Yeager & Walton, 2011). Интервенции по развитию навыков саморегулируемого обучения могут быть интегрированы в МООК разными способами. Первый вариант - встраивание в опросы перед началом обучения (например, Kizilcec & Cohen 2017; Yeomans & Reich, 2017), где слушателям предложено ответить на ряд вопросов о стратегиях обучения, а также спланировать свое обучение на курсе. Второй вариант - встраивание аналогичных вопросов в структуру МООК на платформе (например, Davis et al., 2016). Третий вариант -рассказ об успешных стратегиях саморегулируемого обучения и его особенностях в рамках видеолекций в МООК (например, Jansen et al. 2020; Wong et al., 2021).

Гетерогенный эффект предполагает, что интервенция действует по-разному на учащихся с разными характеристиками, тем самым обеспечивая положительный эффект только для определенных групп. В формате офлайн-обучения было показано, что интервенции могут по-разному работать для учащихся с разными характеристиками (Clark et al., 2017; Schippers et al., 2015; van Lent & Souverjin, 2017; Jensen, 2010; Grove & Wasserman, 2006). Гетерогенный эффект от интервенций связывают с такими характеристиками студентов как пол (Clark et al., 2017; Schippers et al., 2015), уровень подготовки по предмету (van Lent & Souverjin, 2017), социально-экономический статус (Jensen, 2010), курс обучения в университете (Grove & Wasserman, 2006).

Методология и дизайн исследования

В качестве эмпирической базы исследования были использованы три источника данных.

Источник данных №1

Онлайн-опрос слушателей МООК на Национальной платформе открытое образование (НПОО), проведенный в 2017 году. В исследовании приняли участие 913 слушателей, 68% - женщины, возраст большей части респондентов (54%) варьировал от 19 до 22 лет.

В анкету были включены 1) контекстные вопросы (пол, возраст, уровень образования); 2) вопросы о МООК, которые проходили слушатели и их планах относительно окончания онлайн-курсов; утверждения инструмента «Саморегулируемое обучение в онлайн-среде» (OSLQ - Online Self-Regulated Learning Questionnaire) (Barnard et al., 2009; Vilkova & Shcheglova, 2021). На основе данного инструмента был измерен уровень саморегулируемого обучения слушателей. Респондентам было предложено 20 утверждений, измеряющих шесть компонентов саморегулируемого обучения: постановка целей, организация рабочего пространства, стратегии выполнения заданий, планирование рабочего времени, обращение за помощью, самооценка. Полный перечень утверждений представлен в Приложении. Респондентам было предложено оценить степень согласия с утверждениями по шкале Ликерта, где 1 - абсолютно не согласен(-на), 5 - полностью согласен(-на).

Этот источник данных использован для валидизации инструмента «Саморегулируемое обучение в онлайн-среде» на выборке, состоящей из слушателей МООК (задача 2). Для этого был применен метод конфирматорного факторного анализа (КФА). Мы построили две модели: оригинальную шестифакторную и модифицированную пятифакторную, в которой отсутствует компонент «обращение за помощью».

Для оценки качества моделей мы опирались на следующие индексы и их критические значения: RMSEA (Root Mean Square Error of Approximation - корень среднеквадратической ошибки аппроксимации) близок или меньше .06 (.08) с доверительным интервалом, TLI (Tucker Lewis Index - ненормированный индекс соответствия Такера-Льюиса) и CFI (Comparative Fit Index - сравнительный индекс

соответствия Бентлера) близки или выше .90 (.95) (Byrne, 2013; Schreiber et al., 2006). Затем мы вычислили стандартизированные коэффициенты, которые отражают пути от компонентов инструмента к утверждениям и от конструкта первого порядка к компонентам.

Далее мы оценили, какая из построенных моделей лучше соответствует данным. Для сравнения мы использовали два индекса: AIC (Akaike information criterion -информационный критерий Акаике) и BIC (Bayes information criterion - Байесовский информационный критерий). Чем меньше значение этих индексов, тем лучше модель соответствует данным (Schreiber et al., 2006).

Источник данных №2

Онлайн-опрос слушателей 24 МООК НИУ «Высшая школа экономики» на НПОО, проведенный в 2017 году. Анкету заполнили 2815 слушателей (отклик = 5%), из них 73% - женщины, 81% имеют как минимум степень бакалавра, средний возраст - 31 год (SD = 10).

В анкету были включены контекстные вопросы (пол, возраст, уровень образования, предшествующий опыт онлайн-обучения), а также инструмент «Саморегулируемое обучение в МООК» (SRLMQ - Self-Regulated Learning in MOOCs Questionnaire) (Littlejohn, Hood, Milligan, & Mustain, 2016), адаптированный на русский язык2. Респондентам было предложено 29 утверждений, измеряющих уровень саморегулируемого обучения в соответствии с моделью Б. Циммермана. Каждое из утверждений соответствует одному из процессов саморегулируемого обучения: планирование, деятельность, рефлексия. Полный перечень утверждений представлен в Приложении. Респондентам было предложено оценить степень согласия с утверждениями по шкале Ликерта, где 1 - совершенно не согласен(-на), 4 - полностью согласен(-на).

Затем к опросным данным были присоединены данные платформы о решении тестовых заданий слушателями МООК. Этот источник данных использован для оценки связи составляющих концептуальной модели Б. Циммермана с результатами решения тестовых заданий слушателями МООК (задача 3). Для этого была построена

2 Поскольку адаптация данного инструмента не является фокусом статьи Vilkova (2019), то в ее тексте эта процедура не была затронута. Более подробно процедура адаптации инструмента для этого исследования описана в Приложении.

логистическая регрессионная модель, в которой зависимая переменная - результаты решения тестовых заданий (принимает два значения: 0-59 баллов и меньше, 1-60 баллов и больше); три независимые переменные, которые соответствуют процессам саморегулируемого обучения модели Б. Циммермана (планирование, деятельность, рефлексия); контрольные переменные - возраст, пол, уровень образования и предшествующий опыт онлайн-обучения.

Источник данных №3

Данные экспериментального исследования на трех МООК НИУ «Высшая школа экономики» на НПОО, проведенного в 2018/2019 учебном году. В исследовании приняли участие 827 человек, обучавшихся на одном из трех МООК («Современное искусство», «Введение в историю искусства» и «Маркетинг») и принявших участие в опросе. Отклик составил 3%, доля женщин в выборке 88%, средний возраст - 31 год (SD = 11), 80% из них имеют высшее образование.

Опрос был разделен на два блока: основной и экспериментальный. Основной блок анкеты состоял из контекстных вопросов (пол, возраст, уровень образования, предшествующий опыт онлайн-обучения). После заполнения этого блока анкеты слушатели были случайным образом разделены на экспериментальную и контрольную группы. Для контрольной группы участие в опросе заканчивалось, а слушателям из экспериментальной группы было предложено выполнить задание по планированию учебной деятельности в рамках обучения на онлайн-курсе. В обзоре, посвященном интервенциям в образовании, отмечается, что не каждое исследование такого рода было успешным (Yeager & Walton, 2011). Эффективность интервенции в первую очередь определяется подготовительным этапом исследования. Это означает, что исследователю необходимо провести как анализ теоретических работ, так и тщательно изучить контекст интервенции. С учетом этих рекомендаций мы остановились на интервенции по планированию, так как согласно результатам, полученным в рамках предыдущей задачи, этот процесс саморегулируемого обучения связан с результатами решения тестовых заданий слушателями МООК (Vilkova, 2019). Для данного исследования мы адаптировали уже успешную интервенцию по планированию, которая была протестирована в предыдущих работах Р. Кизилчича с коллегами (Kizilcec & Cohen, 2017; Kizilcec et al.,

2020). Интервенция состояла из 1) введения, мотивирующего слушателей на выполнение задания; 2) трех вопросов, на основе которых слушатели планируют свое обучение на МООК; 3) заключения, в котором представлены краткие рекомендации по тому, как в дальнейшем работать с интервенций. Полный текст интервенции приведен в Приложении.

Затем к опросным данным были присоединены данные платформы о результатах решения тестовых заданий МООК. Этот источник данных использован для оценки гетерогенного эффекта от интервенции по развитию саморегулируемого обучения (задача

4).

Было построено три логистических регрессии, где в качестве зависимой переменной использовалась информация о результатах решения тестовых заданий. В первую регрессионную модель были включены зависимая переменная (результаты решения тестовых заданий), а также ряд независимых переменных: социально-демографические характеристики слушателей (пол, возраст и уровень образования) и предыдущий опыт обучения на онлайн-курсах. Во вторую модель помимо зависимой переменной, социально-демографических характеристик и опыта онлайн-обучения слушателей была добавлена переменная, соответствующая группе, в которой находился слушатель (экспериментальная или контрольная), а также фиктивная переменная, обозначающая онлайн-курс (в качестве референтной группы использовался онлайн-курс «Введение в историю искусства»). Третья регрессионная модель помимо перечисленных выше переменных включала в себя ряд переменных взаимодействия между группой слушателя и его социально-демографическими характеристиками, а также онлайн-курсом. Переменные взаимодействия позволили оценить эффект от интервенции по планированию для слушателей с разными социально-демографическими характеристиками.

Список литературы диссертационного исследования кандидат наук Вилкова Ксения Александровна, 2022 год

Литература

1. Божович Л.И. Проблемы формирования личности: Избранные Д.И. Фельдштейна. М,: МПСИ,2001. 352 с.

2. Давыдов В.В., Маркова А.К. Концепция учебной деятельности школьников [Электронный ресурс] // Вопросы психологии. 1981. № 6. С. 13—26. URL: http://voppsy.ru/issues/198I/8l6/816013.htm (дата обращения: 16.06.2020).

3. Моросанова В.И., Фомина Т.Г., Цыганов И.Ю. Осознанная саморегуляция и отношение к учению в достижении учебных целей. СПб.: Нестор-История, 2017. 380 с.

4. Рубцов В.В. В.В. Давыдов — основатель научной школы и директор Психологического института РАО [Электронный ресурс| // Культурно-историческая психология. 2005. Том 1. № 2. С. 17—29. URL: https:// psyjoumals.ru/files/1328/kip_2005_n2_Rubtsov.pdf (дата обращения: 16.06.2020),

5. Цукерман Г.А. Обучение ведет за собой развитие. Куда? [Электронный ресурс! // Вопросы образования. 2010. № 1. С. 42—89. URL: https://cyberleninka.rU/article/n/obuchenie-vedet-za-soboy-razvitie-kuda/viewer (дата обращения: 16.06.2020),

6. Alkhateeb Н. М., Nasser R. Assessment of Learning and Study Strategies of University Students in Qatar Using an Arabic Translation of the Learning and Study Strategies Inventory// Psychological Reports. 2014. Vol. 114. № 3. P. 947 —965. DOLIO.2466/11.03.PR0.114k26w3

7. Azevedo R., Cromley J.G. Does Training on Self-Regulated Learning Facilitate Students' Learning with Hypermedia? // Journal of Educational Psychology. 2004. Vbl. 96. № 3. P 523-535. DOI: 10.1037/0022-0663.96.3.523

8. Becker L.L. Self-Regulated Learning Interventions in the Introductory Accounting Course: an Empirical Sludy// Issues in Accounting Education. 2013. Vol. 28. № 3. P. 435—460. D01:10.2308/iace-50444

9. Boekaerts M. Self-Regulated Learning; a New Concept Embraced by Researchers, Policy Makers, Educators, Teachers, and Students// Learning and Instruction. 1997. Vol. 7. Ne 2. P. 161-186. DOI:10.I0l6/S0959-4752(96)00015-t

10. Can a Self-Regulated Strategy Intervention Close the Achievement Gap? Exploring a Classroom-Based Intervention in 9th Grade Earth Science / C.E. Andrzejewski [et al.[ // Learning and Individual Differences. 2016. Vol. 49. P 85—99. DOI: 10.1016/j,lindif,2016,05.013

11. Cazan A. M. Self-Regulated Learning and Academic Achievement in the Context of Online Learning Environments // The 10th International Scientific Conference el.earning and Software for Education (Bucharest, April, 24—25, 2014). "Carol I" National Defence University. 2014. № 3. P. 90-95. DOL10.12753/2066-026X-14-153

12. Cook D.A., Thompson IV.G., Thomas K.G. The Motivated Strategies for Learning Questionnaire: Score Validity among Medicine Residents // Medical Education. 2011. Vol. 45. № 12. P. 1230—1240. DOI: 10. Ill 1/j. 1365-2923.2011,04077.x

13. Cross-cultural Adaptation and Psychometric Properties of the Estonian \fersion of MSLQ / K. Saks [et aL] // Procedia — Social and Behavioral Sciences. 2015. Vol. 191. P. 597-604. DOLIO.1016/j.sbspro.2015.04.278

14. Dinsmore D. £., Alexander PA., Lougftlin S.M. Focusingthe Conceptual Lens on Metacognition, Self-Regulation, and Self-Regulated Learning//Educational Psychology Review. 2008. Vol. 20. №4. P 391—409. DOI:10.1007/sl0648-008-9083-6

15. Examining Cross-Cultural Transferability of Self-Regulated Learning Model; an Adaptation ofthe Motivated Strategies for Learning Questionnaire for Chinese Adult Learners / F. Tong [et al.[ // Educational Studies. 2019. P 1 — 18. DOI: 10.1 080/03055698.2019.1590183

16. Feiz P., Hooman H.A. Assessing the Motivated Strategies for Learning Questionnaire (MSLQ) in Iranian Students: Construct Validity and Reliability // Procedia — Social and Behavioral Sciences. 2013. Vol. 84. P. 1820—1825. DOI:L0.10l6/j.sbspro.2013.07.041

17. Fung J.J., Yuen M., Yuen A.H. Validity Evidence for a Chinese Version of the Online Self-Regulated Learning Questionnaire with Average Students and Mathematically Talented Students // Measurement and Evaluation in Counseling and Development. 2018. Vol. 51. № 2. P 111-124. DOI: 10.1080/074S1756.20I7.1358056

18. Hamilton R.J., Akhter S. Construct Validity of the Motivated Strategies for Learning Questionnaire // Psychological reports. 2009. Vol. 104. № 3. P. 711-722. DOI: 10.2466/PR0.104.3.711-722

19. Kizilcec R.F., Perez-Sanagustin M., Maldonado J.J. Self-Regulated Learning Strategies Predict Learner Behavior and Goal Attainment in Massive Open Online Courses // Computers & Education. 2017. Ne 104. P. 18—33. DOLIO. tOI6/j. compedu .2016.10.001

Вшкова К.А.

Измерение саморегулируемого обучения: обзор инструментов Современная зарубежная психология 2020. Том 9. №2. С. 123-132.

Vtlkova K.A. Measuring self-regulated learning: a review of questionnaires Journal of Modern Foreign Psychology 2020, vol. 9, no, 2, pp. 123-132.

20. Kokkinos C.M., Kargiotidis A., Markos A. The Relationship between Learning and Study Strategies and Big Five Personality Traits among Junior University Student Teachers//Learning and Individual Differences. 2015.№ 43. P 39—47. DOI: 10,1016/j.lindif.2015,08.031

21. Korkmaz O., Kaya S. Adapting Online Self-Regulated Learning Scale into Turkish [Электронный ресурс] // Turkish Online Journal of Distance Education. 2012. Vol. 13. № 1. P. 52—67. URL: https://files.eric.ed.gov/fulltext/EJ976929.pdf (дата обращения: 16.06.2020).

22. Learning in MOOCs: Motivations and SelfRegulated Learning in MOOCs / A. Littlejohn [et al.] // The Internet and Higher Education. 2016. Vol. 29. P. 40—48. DOI: 10.10l6/j.iheduc.2015.12.003

23. Magno C. Assessing Academic Self-Regulated Learning among Filipino College Students: the Factor Structure and Item Fit [Электронный ресурс] //The International Journal of Educational and Psychological Assessment. 2010. Vbl. 5. P 61-76. D01:10.10l6/j.iheduc.2015.12.003 URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2287208 (дата обращения: 16.06.2020).

24. Magno С. Validating the Academic Self-Regulated Learning Scale with the Motivated Strategies for Learning Questionnaire (MSLQ) and Learning and Study Strategies Inventory (LASSI) [Электронный ресурс] //The International Journal of Educational and Psychological Assessment. 2011. Vol. 7. Ne 2. P 56—73. URL: https://papers.ssrn.com/sol3/ papers.cfm?abstract_id=2287180 (дата обращения: 16.06.2020).

25. Measuring Self-Regulation in Online and Blended Learning Environments / L. Barnard [et al.] // Internet and Higher Education. 2009. Vol. 12. № 1. P. 1—6. DOLIO. I016/j.iheduc.2008.10.005

26. Mining Theory-Based Patterns from Big Data: Identifying Self—Regulated Learning Strategies in Massive Open Online Courses / J. Maldonado-Mahauad [et al,] // Computers in Human Behavior. 2018. V>1. 80. P. 179—196. DOLIO. 1016/j.chb.20i7.11.011

27. Nielsen T. The Intrinsic and Extrinsic Motivation Subscales of the Motivated Strategies for Learning Questionnaire: a Rasch-Based Construct Validity Study // Cogent Education. 2018. Vol. 5. № 1. P. 1—19. DOI: 10.1080/233118 6X.2018.1504485

28. Online Self-Regulated Learning Questionnaire in a Russian MOOC / R. Martinez-Lopez [et al.] // Computers in Human Behavior. 2017. Vol. 75. P 966-974. DOLIO.1016/j.chb.2017.06.015

29. Panadem E. A Review of Self-Regulated Learning: Six Models and Four Directions for Research // Frontiers in Psychology. 2017. Vol. 8. Article ID 422. P. I—28. D01:10.3389/fpsyg.2017.00422

30. Panadem E., KlugJ,, Jarvela S, Third Wave of Measurement in the Self-Regulated Learning Field: When Measurement and Intervention Come Hand in Hand // Scandinavian Journal of Educational Research. 2016. Vol. 60. № 6. P 723—735. DO1:10.1080/00313831,2015.1066436

31. Pintrich P R. The Role of Goal Orientation in Self-Regulated Learning // Handbook of Self-Regulation. Academic Press, 2000. P. 451-502. DOI: 10.1016/B978-012109890-2/50043-3

32. Pintrich PR., De Groot E.V. Motivational and Self-Regulated Learning Components of Classroom Academic Performance//Journal of Educational Psychology. 1990. Vol. 82. N° 1. P. 33-40. DOI: 10.1037/0022-0663.82.1.33

33. Ragosta P. The Effectiveness of Intervention Programs to Help College Students Acquire Self-Regulated Learning Strategies: a Meta-Analysis: Ph. D. Thesis. New York, 2010. 113 p.

34. Ramirez Echeverry J. J., Garcia Carrillo A., Olarte Dussan F.A. Adaptation and Validation of the Motivated Strategies for Learning Questionnaire — MSLQ — in Engineering Students in Colombia [Электронный pecypc| // International Journal of Engineering Education. 2016. Vol. 32. № 4. P. 1774—1787. URL: https://upcommons.upc.edu/ handle/2117/107554 (дата обращения: 16.06.2020).

35. Reliability and Predictive Validity of the Motivated Strategies for Learning Questionnaire (MSLQ) / PR. Pintrich |et al.]//Educational and Psychological Measurement. 1993. Vol.53. №3. P. SOI—813. DOLlO.l 177/0013 164493053003024

36. Roth A., Ogtin 5., Schmitz B. Assessing Self-Regulated Learning in Higher Education: a Systematic Literature Review of Self-Report Instruments // Educational Assessment, Evaluation and Accountability. 2016. Vol. 28. Nc 3. P. 225—250. DOI: 10.1007/sl 1092-015-9229-2

37. Sudman S., Bradbum N.M. Effects of Time and Memory Factors on Response in Surveys//Journal of the American Statistical Association. 1973. Vol. 68. № 344. P. 805-815. DOI: 10.1080/01621459.1973.10481428

38. The Turkish Adaptation Study of Motivated Strategies for Learning Questionnaire (MSLQ) for 12—18 Year Old Children: Results of Confirmatory Factor Analysis [Электронный ресурс]/S. Karadeniz [etal.]//The Turkish Online Journal of Educational Technology. 2008. \Ы. 7. Ns 4. P. 108-117. URL: https://files.eric.ed.gov/fulltext/ED503477.pdf (дата обращения: 16.06.2020).

39. Validity of the Motivated Strategies for Learning Questionnaire in Saudi Arabia / S.B. Dayel [et al.] // International Journal of Medical Education. 2018. № 9. P 309-315. D01:10.51l6/ijme.5bec.81cf

40. Vassallo S. Implications of Institutionalizing Self-Regulated Learning: an Analysis from Four Sociological Perspectives // Educational Studies. 2011. \Ы. 47. № 1. P 26-49. DOE: 10.1080/00131946.2011.540984

41. Weinstein C.E., PalmerD.R. LASSI-HS: Learning and Study Strategies Inventory-High School Version [Электронный ресурс]. Clearwater: H&H Publishing Company, 1990. URL: https://www.hhpublishing.com/ap/_assessments/LASSI-HS.html (датаобращения: 16.06.2020).

Вшкова К.А.

Измерение саморегулируемого обучения: обзор инструментов Современная зарубежная психология 2020. Том 9. №2. С. 123-132.

Vtlkova K.A. Measuring self-regulated learning: a review of questionnaires Journal of Modern Foreign Psychology 2020, vol. 9, no, 2, pp. 123-132.

42. Weinstein C.E., Palmer DR., Acee T.W. User's Manual Learning and Study Strategies Inventory Third Edition [Электронный ресурс]. Clearwater: H&H Publishing Company, 2016. 55 p. URL: https://www.hhpublishing.com/ LASSImanual.pdf (датаобрагцения: 16.06.2020).

43. Weinstein C.E., Palmer D.R., Sehulte A.C, LASSf: Learning and Study Strategies Inventory-Revised [Электронный ресурс]. Clearwater: H&H Publishing Company, 2002. LIRL: https://www.hhpublishing.com/ap/_assessments/LASSI-3rd-Edition.html (датаобращения: 16.06.2020).

44. West C., Sadoski M, Do Study Strategies Predict Academic Performance in Medical School? // Medical Education. 2011. Vol.45. Nc 7. P. 696-703. DOLIO.U 11/j.1365-2923.2011.03929,x

45. Williams P.E., Hellman C.M. Differences in Self-Regulation for Online Learning between First- and Second-Generation College Students // Research in Higher Education. 2004. Vol. 45. № 1. P. 71—82. DO 1:10.1023/B:RIHE. 0000010047.46814.78

46. Yip M.C. The Reliability and Validity of the Chinese Version of the Learning and Study Strategies Inventory (LASSI—C) // Journal of Psychoeducational Assessment. 2013. Vol. 31. № 4. P. 396—403. DO 1:10. И 77/Й73428291245 28 35

47. Zimmerman В J. ASocial Cognitive View of Self— Regulated Academic Learning //Journal of Educational Psychology.

1989. Vol. 81. No 3. P. 329-339. DOI: 10.1037/0022-0663.81.3.329

48. Zimmerman B.J. Self—Regulated Learning and Academic Achievement: an Overview // Educational Psychologist.

1990. Vol. 25. № 1. P. 3-17. DOLIO. 1207/sl5326985ep2501_2

49. Zimmerman B.J., Schunk D.H. Self-regulated Learning and Academic Achievement: Theoretical Perspectives. London: Routledge, 2001.430 р.

1. Bozhovich L.I. Problemy formirovaniya lichnosti: Izbrannye psikhologicheskietrudy [Problems of personality formation: Selected psychological works). In Fel'dshteina D.I. (ed.). Moscow: MPSI, 2001. 352 p. (In Russ,).

2. Davydov V.V, Markova A.K. Kontseptsiya uchebnoi deyatel'nosti shkol'nikov [The concept of educational activity of schoolchildren] |Eiektronnyi resurs], Vbprosy psikhologii [Questions of psychology], 198t,no. 6, pp. 13—26. URL: http:// voppsy.ru/issues/1981/8l6/8l60I3.htm (Accessed 16.06.2020). (In Russ.).

3. Morosanova VI., Fomina T.G., Tsyganov I.Yu. Osoznannaya samoregulyatsiya i otnoshenie k ucheniyu v dostizhenii uchebnykh Iselei [Conscious self-regulation and attitude towards learning in achieving educational goals], Sankt-Peterburg: Nestor-1storiya, 2017. 380 p. (In Russ.).

4. Rubtsov V.V. V.V. Davydov — osnovatel' nauchnoi shkoly i direktor Psikhologicheskogo instituta RAO [V.V. Davydov — the founder of scientific school and director of the Psychological Institutel [Elektronnvi resursj. Kul'turno-istoricheskaya psikhologiya [Cultural-historical psychology], 2005. Vol. 1, no. 2, pp. 17—29. URL: https://psyjournals.ru/files/I328/ kip_2005_n2_Rubtsov.pdf (Accessed 16.06.2020).(In Russ.; Abstr. in Engl.).

5. Tsukerman G.A. Obuchenie vedet za soboi razvitie. Kuda? [Learning leads development. Where?! lElektronnyi resurs], Vbprosy obrazovaniya | Issues of education!, 2010. \bl. 1, pp. 42—89. URL: https://cyberleninka.ru/article/ii/obuchenie-vedet-za-soboy-razvitie-kuda/viewer (Accessed ¡6.06.2020). (In Russ.; Abstr. in Engl.).

6. Alkhateeb H.M.. Nasser R. Assessment of Learning and Study Strategies of University Students in Qatar Using an Arabic Translation of the Learning and Study Strategies Inventory. Psychological Reports, 2014. Vol. 114, no. 3, pp. 947 —965. DOI: 10.2466/11.03. PRO. 114k26w3

7. Azevedo R., Cromley J.G. Does Training on Self-Regulated Learning Facilitate Students' Learning with Hypermedia? Journal of Educational Psychology, 2004. Vol. 96, no. 3, pp. 523—535. D01:10.1037/0022-0663.96.3.523

8. Becker L.L. Self-Regulated Learning Interventions in the Introductory Accounting Course: an Empirical Study. Issues in Accounting Education, 2013. Vol. 28, no. 3, pp. 435-460. DOLIO.2308/iace-50444

9. Boekaerts M. Self-Regulated Learning: a New Concept Embraced by Researchers, Ralicy Makers, Educators, Teachers, and Students. Learning and Instruction, 1997. \bl. 7, no. 2,pp. 161-186. DO 1:10.1016/S095 9-4752(96)00015-1

10. Andrzejewski C.E. et al. Can a Self-Regulated Strategy Intervention Close the Achievement Gap? Exploring a Classroom—Based Intervention in 9th Grade Earth Science.Learning and Individual Differences, 2016. Vol. 49, pp. 85—99. DOI: 10.1016/j.lindif.2016.05.013

11. Cazan A.M. Self-Regulated Learning and Academic Achievement in the Context of Online Learning Environments. The 10th International Scientific Conference eLeaming and Software for Education (Bucharest, April, 24-25, 2014). "Carol I" National Defence University, 2014, pp. 90—94. DOL10.12753/2066-026X-I4-153

12. Cook D.A., Thompson WG., Thomas K.G. The Motivated Strategies for Learning Questionnaire: Score Validity among Medicine Residents. 2011. Vol. 45, no. 12, pp. 1230—1240. DOI: 10.1111/j. 1365—2923.2011.04077.x

13. Saks K. et al. Cross-cultural Adaptation and Psychometric Properties of the Estonian Version of MSLQ. Procedia— Social and Behavioral Sciences, 2015. Vol. 191, pp. 597—604. DOE: 10.1016/j.sbspro.2015.04.278

14. Dinsmore D.L., Alexander P.A., Loughlin S.M. Focusing the Conceptual Lens on Metacognition, Self-Regulation, and Self-Regulated Learning.Educational Psychology Review, 2008. Vol. 20, no. 4, pp. 391-409. DOI:10.l007/sl0648-008-9083-6

References

Вшкова К.А.

Измерение саморегулируемого обучения: обзор инструментов Современная зарубежная психология 2020. Том 9. №2. С. 123-132.

Vtlkova K.A. Measuring self-regulated learning: a review of questionnaires Journal of Modern Foreign Psychology 2020, vol. 9, no, 2, pp. 123-132.

15. Tong F. et al. Examining Cross—Cultural Transferability of Self-Regulated Learning Model: an Adaptation of the Motivated Strategies for Learning Questionnaire for Chinese Adult Learners. Educational Studies, 2019, pp. 1—18. DOLl 0.1080/03055698.2019.1590183

16. Feiz P., Hooman H.A. Assessing the Motivated Strategies for Learning Questionnaire (MSLQ) in Iranian Students: Construct Validity and Reliability. Procedia-Social and Behavioral Sciences, 2013. Vol. 84, pp. 1820—1825. DOLIO. 1016/j. sbspro.2013.07.041

17. Fung J.J., Yuen M., Yuen A.H. Validity Evidence for a Chinese Version of the Online Self-Regulated Learning Questionnaire with Average Students and Mathematically Talented Students. Measurement and Evaluation in Counseling and Development, 2018. Vol. 51, no. 2, pp. 111-124. DOLl 0.1080/07481756.2017.1358056

18. Hamilton R.J., Akhter S. Construct Validity of the Motivated Strategies for Learning Questionnaire. Psychological reports, 2009. Vol. 104, no. 3, pp. 711-722. DOL 10.2466/PR0.104,3.71 [-722

19. Kizilcec R.F., Perez-Sanagustin M., Maldonado J,J. Self-Regulated Learning Strategies Predict Learner Behavior and Goal Attainment in Massive Open Online Courses. Computers i£ Education, 2017, no. 104, pp. 18—33. D01:10.10l6/j. compedu .2016.10.001

20. Kokkinos C.M., Kargiotidis A., Markos A. The Relationship between Learning and Study Strategies and Big Five Personality Traits among Junior University Student Teachers. Learning and Individual Differences, 2015. Vol. 43, pp. 39—47. D01:l0.1016/j.lindif.2015.08.031

21. Korkmaz O., Kaya S. Adapting Online Self-Regulated Learning Scale into Turkish |Elektronnyi resurs] // Turkish Online Journal of Distance Education, 2012. Vol. 13, no. I, pp. 52—67. URL: https://files.eric.ed.gov/fulltext/EJ976929. pdf (Accessed 16.06.2020).

22. Littlejohn A. et al. Learning in MOOCs: Motivations and SelfRegulated Learning in MOOCs. The Internet and Higher Education, 2016. Vol. 29, pp. 40-48. D0l:l0.1016/j.iheduc.2015.12.003

23. Magno C. Assessing Academic Self- Regulated Learning among Filipino College Students: the Factor Structure and Item Fit [Elektronnvi resurs]. The International Journal of Educational and Psychological Assessment, 2010. Vol. 5, pp. 61 —76. D01:10.1016/j. ilieduc.2015.12.003. URL: https://papers.ssm.com/sol3/papers.cfm?abstract_id=2287208 (Accessed 16.06.2020).

24. Magno C. Validating the Academic Self-Regulated Learning Scale with the Motivated Strategies for Learning Questionnaire (MSLQ) and Learning and Study Strategies Inventory (LASSI) [Elektrormyi resurs]. The International Journal of Educational and Psychological Assessment, 2011. Vol, 7, no. 2, pp. 56—73. URL: https://papers.ssrn.com/sol3/ papers.cfm?abstract_id=2287180 (Accessed 16.06.2020).

25. Barnard L. et al. Measuring Self-Regulation in Online and Blended Learning Environments. Internet and Higher Education, 2009. W. 12, no. 1, pp. 1—6. D01:10.1016/j.iheduc.2008.10.005

26. Maldonado-Mahauad J. et al. Mining Theory-Based Patterns from Big Data: Identifying Self—Regulated Learning Strategies in Massive Open Online Courses. Computers in Human Behavior, 2018. Vbl. 80, pp. 179—196. DOLIO. 1016/j. chb.2017.11.011

27. Nielsen T. The Intrinsic and Extrinsic Motivation Subscales of the Motivated Strategies for Learning Questionnaire: a Rasch- llased Construct Val idity Study.Cogent Education, 201X. Vfcl.5, no, I, pp. I—19. DOLIO. 1080/233 II86X.2018.1504485

28. Martinez-Lopez R. et al. Online Self-Regulated Learning Questionnaire in a Russian MOOC. Computers in Human Behavior, 2017. Vol. 75, pp. 966-974. DOLIO.1016/j.chb.2017.06.015

29. Panadero E. A Review of Self-Regulated Learning: Six Models and Four Directions for Research. Frontiers in Psychology, 2017. Vol. 8, article 1D422, pp. 1-28. D01:10.3389/fpsyg.2017.00422

30. Panadero E,, Klug J., Jarvela S. Third Wave of Measurement in the Self-Regulated Learning Field: When Measurement and Intervention Come Hand in Hand. Scandinavian Journal of Educational Research, 2016. Vol. 60, no. 6, pp. 723—735. DOL10.1080/00313831.2015.1066436

31. Pintrich PR. The Role of Goal Orientation in Self-Regulated Learning. In Boekaerls M., Pintrich PR., Zeidner M. (eds,), Handbook of Self-Regulation. Academic Press, 2000, pp. 451—502. DOL 10.1016/B978-012109890-2/50043-3

32. Pintrich PR., De Groot E.V. Motivational and Self-Regulated Learning Components of Classroom Academic Performance. Journal of Educational Psychology, 1990. Vbl. 82, no. 1, pp. 33-40. DOL 10.1037/0022-0663.82.1.33

33. Ragosta P The Effectiveness of Intervention Programs to Help College Students Acquire Self-Regulated Learning Strategies: a Meta-Analysis: Ph. D. Thesis. New York, 2010. 113 p.

34. Ramirez Echeverry J.J., Garcia Carrillo A., Olarte Dussan F.A. Adaptation and Validation ofthe Motivated Strategies for Learning Questionnaire — MSLQ — in Engineering Students in Colombia [Elektronnvi resurs], Internationa! Journal of Engineering Education, 2016. \bl. 32, no. 4, pp. 1774—1787. URL: https://upcommons.upc.edu/handle/2117/107554 (Accessed 16.05.2020).

35. Pintrich PR. et al. Reliability and Predictive Validity of the Motivated Strategies for Learning Questionnaire (MSLQ). Educational and Psychological Measurement, 1993. Vol. 53, no. 3, pp. 801—813. DOLIO. 1177/0013164493053003024

36. Roth A., Ogrin S., Schmitz B. Assessing Self-Regulated Learning in Higher Education: a Systematic Literature Review of Self-Report Instruments. Educational Assessment, Evaluation and Accountability, 2016. Vol. 28, no, 3, pp. 225—250. D01:l0.1007/sl 1092-015-9229-2

Вшкова К.А.

Измерение саморегулируемого обучения: обзор инструментов Современная зарубежная психология 2020. Том 9. №2. С. 123-132.

Vtlkova K.A. Measuring self-regulated learning: a review of questionnaires Journal of Modern Foreign Psychology 2020, vol. 9, no 2, pp. 123-132.

37. Sudman S., Bradburn N.M. Effects of Time and Memory Factors on Response in Surveys. Journal of the American Statistical Association, 1973. Vol. 68, no. 344, pp. 805-815. DOMO, 1080/01621459.1973,10481428

38. Karadeniz S. et al. The Turkish Adaptation Study of Motivated Strategies for Learning Questionnaire (MSLQ) for 12—18 Year Old Children: Results of Confirmatory Factor Analysis [Elektronnyi resurs). The Turkish Online Journal of Educational Technology, 2008. Vol. 7, no. 4, pp. 108—117. URL: https://files.eric.ed.gov/fulltext/ED503477.pdf (Accessed 16.05.2020).

39. Dayel S. B. et al. Validity of the Motivated Strategies for Learning Questionnaire in Saudi Arabia. International Journal of Medical Education, 2018, no. 9, pp. 309—315. DOL 10.5116/ijme.5bec.8Icf

40. Vassallo S. implications of Institutionalizing Self-Regulated Learning: an Analysis from Four Sociological Perspectives. Educational Studies, 2011. W. 47. no. I. pp. 26-49. DOI: 10.1080/00131946.2011.540984

41. Weinstein C.E., Palmer D.R. LASSI-HS: Learning and Study Strategies Inventory-High School Version [Elektronnyi resurs|. Clearwater: H&H Publishing Company, 1990. URL: https://www.hhpublishing.com/ap/_assessments/LASSI-HS. html (Accessed 16.05.2020).

42. Weinstein C.E., Palmer D.R., Acee T.W User's Manual Learning and Study Strategies Inventory Third Edition [Elektronnyi resurs|. Clearwater: H&H Publishing Company, 2016. 55 p. URL: https://www.hlipublishing.com/ LASSImanual.pdf (jtaTaoSpameHHit: 16.05.2020).

43. Weinstein C.E., Palmer D.R., Schulte A.C. LASSE: Learning and Study Strategies Inventory-Revised [Elektronnyi resurs], Clearwater: H&H Publishing Company, 2002. URL: https://www.hhpublishing.com/ap/_assessments/LASSI-3rd-Edition.html (Accessed 16.05.2020),

44. West C., Sadoski M. Do Study Strategies Predict Academic Performance in Medical School? Medical Education, 2011. VjI. 45, no. 7, pp. 696-703. DOL 10.II lt/j. 1365-2923.2011.03929.x

45. Williams P.E., Hellman C.M. Differences in Self-Regulation for Online Learning between First- and Second-Generation College Students. Research in Higher Education, 2004. Vol. 45, no. 1, pp. 71—82. DOI: 10.1023/B: RI HE.0000010047.46814.78

46. Yip M.C.The Reliability and Validity of the Chinese Version of the Learning and Study Strategies Inventory (LASSI-C). Journal of Psychoeducational Assessment, 2013. Vol. 31, no. 4, pp. 396—403. DOLIO. 1177/0734282912452835

47. Zimmerman B.J. A Social Cognitive View of Self-Regulated Academic Learning. Journal of Educational Psychology, 1989. Vol. 81, no. 3, pp. 329-339. DOLIO. 1037/0022-0663.81.3.329

48. Zimmerman B.J. Self-Regulated Learning and Academic Achievement: an Overview. Educational Psychologist, 1990. W. 25, no. 1, pp. 3-17. D01:10.1207/sl5326985ep2501_2

49. Zimmerman B.J., Schunk D.H. Self-regulated Learning and Academic Achievement: Theoretical Perspectives. London: Routledge, 2001. 430 p.

Информация об авторах

Вилкова Ксения Александровна, аспирант и младший научный сотрудник, Центр социологии высшего образования, Институт образования, Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ), г. Москва. Российская Федерация, ORCID: https://orcid.org/0000-0003-216I-0409. e-mail: [e-mail]

Information about the authors

Kseniia A. Vilkova, Junior Research Fellow and Postgraduate Student, Centre ofSociology of Higher Education, Institute of Education, National Research University «Higher School of Economics», Moscow, Russia,ORCID: https://orcid.org/ 0000-0003-4260-9087, e-mail: [e-mail]

Получена 03.09.2019 Принята в печать 04.12.2019

Received 03.09.2019 Accepted 04.12.2019

Приложение 2. Статья «Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms»

Researchers see self-regulated learning (SRL) as a fundamental skill for succeeding in massive open online courses (MOOCs). However, there is no sufficient evidence of adequate functioning of SRL dimensions such as environment structuring, goal setting, time management, help-seeking, task strategies, and self-evaluation in the MOOC environment. This study fills the gap in understanding the structure of SRL skills utilising the Online Self-Regulated Learning Questionnaire (OSLQ). The construct-related validity of the OSLQ is evaluated based on self-reported survey responses of 913 Russian MOOC learners with confirmatory factor analysis and criterion-related validity is checked with independent samples t-tests comparison. The results show that the original six-factor hierarchical model does not fit the data adequately. The evidence implies that the dimension 'help-seeking' is not effective in the MOOC environment. Therefore, a redefined five-factor hierarchical model of the OSLQ is suggested.

Education and Information Technologies (2021) 26:17-33 https://d0i.0rg/l 0.1007/sl 0639-G20-10244-x

Deconstructing self-regulated learning in MOOCs: In search of help-seeking mechanisms

Kseniia Vilkova1 * Irina Shcheglova1

Received: 27 April 2020/Accepted: 9 June 2G20/Published online: 29 June 2020 (£ Springer S cien ce+Business Media, LLC, part of Springer Nature 202D

Abstract

Researchers see self-regulated learning (SRL) as a fundamental skill for succeeding in massive open online courses (MOOCs). However, there is no sufficient evidence of adequate functioning of'SRL dimensions such as environment structuring, goal setting, time management, help-seeking, task strategies, and self-evaluation in the MOOC environment. This study fills the gap in understanding the structure of SRL skills utilising the Online Self-Regulated Learning Questionnaire (OSLQ). The construct-related validity of the OSLQ is evaluated based on self-reported survey responses of 913 Russian MOOC learners with confirmatory factor analysis and criterion-related validity is checked with independent samples t-tests comparison. The results show that the original six-factor hierarchical model does not fit the data adequately. The evidence implies that the dimension 'help-seeking' is not effective in the MOOC environment. Therefore, a redefined five-factor hierarchical model of the OSLQ is suggested.

Keywords MOOC ■ Self-regulated learning - Education research ■ Validation - OSLQ 1 Introduction

The start of 2020 brought significant changes, challenging almost all spheres of life. The coronavirus (COVTD-19) pandemic made universities across the world mobilise and move all teaching online. Not long ago MOOCs were a source of monetisation, but amid the coronavirus outbreak many MOOC providers offered temporary free access to MOOCs, helping universities teach remotely (Schwartz 2020). Although teaching online might seem like a good solution in such a situation, the old problems of MOOCs, which have been identified but not solved, could become a potential danger to its successful realisation.

E3 Kstnmit Vilkova kvi Ikovatg1 lis e.ru

institute of Education, National Research University Higher School oí Economics, 20 Myasnitskaya, 101 (WO Moscow, Russia

®

Check for updates

One of the biggest challenges, faced by MOOCs, is thehigh percentage ofleamers who do not reach the finish line (Kialcec et al. 2013; Pema et al. 2014; Reich and Ruiperez-Valiente 2019). Statistics show that the dropout rate can be up to 90 98% on various online platforms (Rivard 2013; Pema et al. 2014; Reich 2014; Healy 2017). Researchers specify diverse factors which have an impact on successful MOOC completion, for example, young people, the so-called Lnet generation1, are considered more digitally adapted, and they show higher chances of finishing online courses compared to an older generation who needs more guidance (Bennett et al. 2008). MOOC learners' motivation to leam and develop personal and professional identity is also related to course completion (Yuan and Bowel 2013). Individuals who are self-regulated in their learning tend to achieve more positive academic outcomes than individuals who do not exhibit self-regulated learning behaviors (Barnard et al. 2010; Maldonado-Mahauad et al. 2018). The research conducted to date proves self-regulated learning (SRL) to be the most essential skill to succeed in MOOCs (Littlejohn et al. 2016). Barnard et al. (2010) describe self-regulated learners as those who arc able to set their academic goals, manage their time, seek help from their peers and instructors when needed, monitor their work, evaluate their academic progress, and create a productive environment for learning. The value of self-regulated learning skills was first attributed to the traditional offline academic environment (Zimmemian 1990), and then this idea was brought to the online learning environment (Barnard et al. 2009; Milligan et al. 2013; Milligan and Littlejohn 2014; Fontana et al. 2015). As research shows, there is a significant relationship between learners' self-regulated learning skills and MOOC completion (Milligan et al. 2013).

Barnard et al. (2009) conceptualise SRL as a complex construct consisting of six dimensions: environment structuring, goal setting, time management, help-seeking, task strategies, and self-evaluation. Although there are many studies which confirm the importance of different dimensions of self-regulated learning for MOOC completion, we argue that not all of them can be applied to the MOOC environment. In particular, help-seeking, which implies face-to-face or online meetings with classmates and getting help from the instructor through email, does not seem to be relevant for the MOOC context. By design MOOCs have limited interaction between learners and instructors. As Baker et al. (2018) find, only 7% ofMOOC learners received feedback from instructors. !t was also shown that the level of activity of MOOC learners' on online platforms is low: 90% of learner activity includes the review of the same information (Breslow et al. 2013) and 94% of them do not take pan in online discussions (Qiu et al. 2016). Despite the fact that researchers highlight the importance of learner-instructor interaction to increase distant learners' motivation and satisfaction (Moore 1989). only learner-content interaction has been currently implemented to its full potential (Gameel 2017). Therefore our study fills the gap in understanding the structure of self-regulated learning skills in the MOOC environment utilising the Online Self-Regulated Learning Questionnaire (OSLQ).

2 Background

2.1 Self-regulated learning in the online settings

An increasing number of studies investigate the role of self-regulated skills in online learning (Bernacki ef al. 20II; Wang et al. 2013). In self-paced, open-

ended, and non-linear learning environments students gain autonomy, but at the same time this adds responsibility towards their learning process. Self-regulated learning skills are critically important in online-environment because students should plan, manage and control their learning activities in order to finish courses successfully (Wang et al. 2013). The ability to self-regulate the learning process helps achieve personal objectives in MOOCs: goal setting and strategic planning are seen as strong predictors of goal attainment (Kizilcec et al. 2017). interviews conducted with MOOC students indicate that high SRL learners tend to connect their online education experience to their personal needs, such as career advancement (Littlejohn et al. 2016). The research by Littlejohn et at (2016) demonstrated that students with high level of SRL utilize a more flexible approach to organize their learning process. For example, high self-regulated students can spend more time watching video lectures and submitting weekly tests, they also are more likely to revisit course materials (Kizilcec et al. 2017).

Interaction between learners and instructors is also deemed to be a vital element of SRL. The results of the study by Sunar et al. (2017) suggest that dropout rates will be lower when learners engage in repeated and frequent social interactions. The analysis of the discussions in an eight week FutureLearn MOOC with 9855 participants revealed that if a learner starts following someone, and if learners also interact with those they follow, the probability of their finishing the course is higher. Feelings of isolation and having no one to ask for help increase chances of failing a MOOC (Khali! and Ebner 2014). Despite the widely-accepted importance of social engagement, a MOOC environment docs not allow participants to interact easily with other learners and instructors for better social engagement. MOOC instructors cannot invest much time to take care of a large number of students, their attention to each student is limited. However, this does not make social engagement less important, rather places some barriers on success of MOOCs.

2.2 Validity of the online self-regulated learning questionnaire

The Online Self-Regulated Learning Questionnaire (OSLQ) has become one of the widely-used instruments to assess self-regulated learning skills in the online environment (Barnard et al. 2009). The OSLQ was used in both cross-sectional (e.g. Kintu and Zhu 2016; Onah and Sinclair 2016) and longitudinal (Tabuenca et al. 2015) studies. Also, the OSLQ was adapted into the Turkish (Korkmaz and Kaya 2012), Romanian (Cazan 2014), Russian (Martinez-Lopez et al. 2017) and Chinese (Fung et al. 2018) languages. However, to the best of our knowledge, none of the previous studies managed to provide comprehensive evidence of the validity of OSLQ. We assume that self-regulated learning in the MOOC settings is different from the one suggested by Barnard et al. (2009). Our assumption can be explained based on the following.

First, studies attempted to test construct-related validity of the OSLQ using Confirmatory Factor Analysis (CFA) (Barnard et al. 2009; Korkmaz and Kaya 2012; Martinez-Lopez et al. 2017; Fung et al. 2018) utilise rather small samples. None of the samples used in the studies meets the minimum criterion

Table 1 Summary of the OSLQ validity studies

Study

Participants

Const mct-rclated validity

Criterion-related validity

CFA Experts' Association with analysis academic achievement

Barnard et al. Two samples of US students, blended (2009) (A= 434) and online (N=204) modes

Korkmaz and First and second year students from a Turkish Kay a (2012) university (A= 222)

Cazan (2014) Undergraduate Romanian students (A = 80)

Martinez-Lopez Students of a Russian language M(X)C ctal. (2017) (A =45)

l ung et al. 201S Two samples of Chinese schoolchildren:

average (.V-412) and talented (N= 374)

of 10 participants per estimated parameter (Schreiber et al. 2006). There are 54 parameters that need to be estimated to test the structure of the OSLQ. This indicates that a minimum sample size required for CFA is 540 participants. Second, CFA standardised coefficients for the help-seeking dimension reported in Barnard et al. (2009) were much lower for online students than for blended course students. Another potential problem is the low standardised coefficients (< .40) for the factor 'help-seeking' presented in the CFA model for online students. Third, there is only one study (Martinez-Lopez et al. 2017), which utilised a sample of MOOCs learners to test the validity of the OSLQ, while the majority of studies were based on either traditional or blended samples. Finally, criterion-related validity was tested as correlation between the OSLQ's subscales and academic achievements (Cazan 2014). According to the results, the association of two subscales (goal setting and environment structuring) with academic performance was statistically significant. However, no evidence for the association of the OSLQ's total score and educational outcomes was presented. Table 1 summarises the methods used in prior studies to support the OSLQ validity.

After reviewing research designs, methods and results from previous studies, we can conclude that there is no strong support for both construct and criterion validity of the OSLQ. Therefore, self-regulated learning might have a different structure from the one proposed by Barnard et al. (2009). Based on the studied literature, we hypothesise that help-seeking subscale might not be useful in assessing SRL skills among MOOC learners, and the five-factor hierarchical model is more appropriate instead of the six-factor hierarchical model for the current MOOC environment.

3 Data and methods

3.1 Administrative procedure

The sample consists of MOOCs learners, who were enrolled in online courses on the National Open Education Platform (NOEP)' in 2017, and previously agreed to receive e-newsletters from the platform. NOEP markets itself as a Russian analogue to MOOC providers like Coursera or edX which offers various courses mainly in the Russian language. Each course, posted on the platform, is subject to expert analysis. Currently, there are 582 MOOCs created by 16 leading Russian universities. Learners received an email invitation to participate in a web-based online survey and share their experience with MOOCs. The survey was programmed with the EnjoySurvey software, it was anonymous and the participation was voluntary. As this study was targeted at the student population, we filtered out everybody who did not specify himself or herself as a student currently enrolled at university.

3.2 Descriptive statistics of the sample of MOOC learners

The total number of qualified respondents is 913. We kept only those respondents who completed the questionnaire. The sample included 68% of female students, the average age is within the range 19-22 years and the majority of the respondents are pursuing their Bachelor degree. Learners who participated in the survey were enrolled in a wide range of MOOCs. The most popular MOOCs, which attracted the largest number of learners, were 'Philosophy', 'Marketing', 'Programming', and 'Game Theory'. The detailed descriptive statistics of the sample is presented in Table 2.

Table 2 Socio-dcmographic characteristics of the sample

Parameters %

Gender Female 68.1

Male 31.9

Level of Education Bachelor 65.8

Specialist" 8.1

Master 26.1

Age 17-18 13.9

19-20 27.1

21-22 272

23-30 21.0

>30 9.5

The specialist degree in Russia is a five-year programme, which is focused on practical work in industry (source: https://studyinrussia.ru/en/study-in-russia/info-lcvcls-of-education)

1 httpsi/Zopeneduni/

Table 3 The number of students enrolled on MOOCs in 2017

Number of students enrolled on MOOCs in 2017 Number of Students %

1-2 578 63.3

3-4 219 24

5-6 55 6

7-8 17 1.9

More than 8 44 4.8

Total 913 100

The majority of students in the sample (63%) were enrolled in 1 2 MOOCs in 2017 (see Table 3).

3.3 Instrument adaptation procedure

The use of self-regulation strategies was measured by the OSLQ. The original English version of the OSLQ was adapted to the Russian language according to the ITC Guidelines for Translating and Adapting Tests (International Test Commission 2017). Back-translation procedures were adopted to ensure conceptual equivalence across languages. Two translators who are fluent in both the source language (English) and the target language (Russian) and had previous experience in translating survey instruments were selected. One translator did the translation of the original version into Russian and a back translation into English was performed by another translator. The content validity was assessed based on experts' opinion as to whether or not the instrument is measuring what it is supposed to measure. The group of experts (8 people) who were part of the research group with the focus on online learning discussed the adapted version in the format of a focus group. Their aim was to obtain evidence of such features of the instrument as sufficiency, clarity, relevance, and the match between the items and the definition of the construct controlling for possible biases, for example, gender, culture, and age (Goodwin and Leech 2003). After the structured procedure, it was decided to remove the following items from the OSLQ:

1. Goal setting: i set goals to help me manage studying time for my online courses.

2. Task strategies: i read aloud instructional materials posted online to fight against distractions.

3. Self-evaluation: I summarise my learning in online courses to examine my understanding of what I have learned.

4. Self-evaluation: I ask myself a lot of questions about the course material when studying for an online course.

These four items were deemed by the experts as confusing because of their vague meaning in the Russian language and logical discrepancies. For example, the meaning of the item i set goals to help me manage studying time for my online courses' is similar to the item '1 set short-term (daily or weekly) goals as well as long-term goals

(monthly or tor the semester)'. The omitted 'self-evaluation' items are different in essence from the two that were kept. We kept the items which describe students' communication with their classmates and evaluation of their progress, whereas the two deleted items were considered by the experts more of a monitoring strategy in which the student summarises or questions oneself. The item '1 read aloud instructional materials posted online to fight against distractions' was deleted as the research shows that the strategy of reading instructions aloud to get focused and comprehend information works for kids, school children with attention deficit hyperactivity disorder (US Department of Education 2008) and our target audience was university students.

3.4 Analytical strategy

3.4.1 Methods

The data analysis was performed in two stages. The first stage was aimed to check the OSLQ's construct-related validity. In the first stage, we tested the structure of the questionnaire utilising Confirmatory Factor Analysis (CFA). We also evaluated the internal consistency of the six subscales using the classical reliability index (Cronbach's alpha). The second stage was focused on assessing the OSLQ's criterion-related validity using independent samples t-tests comparison.

3.4.2 Construct-related validity

We applied CFA to test the structure of the questionnaire. We tested two CFA models: the original six-factor hierarchical or second-order model suggested for the OSLQ in Barnard et aL (2009) and the alternative five-factor hierarchical model, since we hypothesise that help-seeking subscale might not be useful in assessing SRL skills among MOOC learners.

A hierarchical or a second-order model suggests that there is a higher-order factor and the lower-order factors (Chen et aL 2012). In the case of the OSLQ, self-regulated learning is the higher order-factor, which accounts for the commonality between the six subscales (goal setting, environment structuring, task strategies, time management, help-seeking, and self-evaluation). The correlation matrix for the 20 items of the OSLQ is presented in Table 4. See Table 5 for the correlations between the first-order subscales.

The correlations between factors are not high (< .70), suggesting that each of the subscales forms a separate construct. The correlation matrix of the OSLQ items shows no significant correlations exceeding .70 between items from different factors.

The ST ATA 15.0 software package was used for CFA. We chose maximum likelihood (ML) estimation because there was no evidence of excessive non-normality.

First, we estimated the fit between the model and the observed data. Three conventional statistics, reflecting the model fit, were reponed: the root mean square error of approximation (RMSEA), the Tucker Lewis índex (TLI), and the Comparative Fit Index (CFI). We relied on the following values of statistics which indicated the acceptable fit (Byrne 2010; Schreiber et al. 2006): RMSEA close or below .06 (.08) with confidence interval. TLI and CFi close or above .90 (.95). No post hoc model modifications were made.

Table 4 Correlation matrix of the OSLQ items

r^J

Jl

Goal setting Environment structuring Task strategies Time management Help-seeking Self-

evaluation

Item Item Item Item Item Item Item Item Item Item Item Item Item item Item Item Item Item Item Item

1 2 3 4 S 6 7 8 9 10 11 12 13 14 15 16 17 IS 19 20

Goalsetting Item 1.00

1

Item .51* 1.00 2

Item .71* .57* 1.00

3

Item .50* .44* .59* 1.00

4

Environment Item .28* .30 ,34* ,35* 1,00 structuring 5

Item .30* .30 .35* .35* .82* 1.00 6

Item .27* .34* .31* .37* .64* .67* 1.00

7

Item .26* .33* .32* .31* .65* .64* .60* 1.00

8

Task strategies Item .18* .21* .23* .27* .20* .19* .22* .25* 1.00

9

Item .22* .30* .28* .25* .19* .17* .18* .22* .43* 1.00

10

Item .20* .31* .31* .32* .19* .16* .15* .21* .42* .55* 1.00

11

Time management .26* .36* .39* .37* .31* .31* .28* .34* .46* .40* .47* 1.00

CD CD

Table 4 (continued)

Goal setting Environment structuring Task strategics Time management Help-seeking Self-

evaluation

Item Item Item Item Item Item item Item Item Item Item Item Item Item Item Item Jtcm Item Item Item

1 2 3 4 S 6 7 8 9 10 11 12 13 14 15 16 17 IS 19 20

Item 12

Item 13 .28* .36* .39* .28* .25* .26* .26* .30* .21* .28* .29* .41* 1.00

Item 14 .25* .42* .37* .28* .29* .28* .24* .30* .25* .32* .39* .41* .59* 1.00

Help-seeking Item 15 .07 ,23* ,15* ,09 .10 .12* .08 .09 .14* .24* .22* ,28* .25* ,29* 1,00

Item 16 .11 .24* .17* .10 .12* .11* .09 .16* .13* .32* .20* .24* 25* .25* .54* 1.00

Item 1? Item IS .03 .16* .08 -.01 .07 .08 .06 .11 .02 .18* .10 .16* .20* 18* .55* .54* 1.00

.14* .18* .16* .15* .11* .09 .12* .14* .25* .38* .33* .25* .22* .31* .33* .39* .31* 1.00

Self-evaluation Item 19 .13* .22* .17* .12* .10 .08 .09 .15* .22* .34* .26* .27* .27* .28* .45* .58* .53* .50* 1.00

Item 20 .12* .23* .17* .12* .12* .10 .07 .14* .19* .34* .28* .28* .27* .30* .49* .54* .52* .51* .81* 1.00

Table 5 Correlation matrix of the OSLQ subscales

Goal setting Environment structuring Task strategies Time Help- Self-management seeking evaluation

Goal setting I

Environment .45* 1

structuring

Task strategies .40* .28* 1

Time management .51* .41* .53* 1

Help-seeking .21* 16* .34* .39* 1

Self-evaluation .21* .13* .36* .36* .70* 3

* p< .05

Second, we calculated the standardised path coefficients from the latent variable constructs to the items, and from the higher order construct to the latent variable constructs.

Third, we determined which model better fits the data. We compared them using two fit indexes: Akaike information criterion (A1C) and Bayes information criterion (BiC). According to Schreiber et al. (2006). the smaller these indexes are. the better the model fits the data.

3.5 Criterion-related validity

One of the commonly used approaches in criterion-related validity research is group-comparison. It usually aims to investigate differences between instruments scores across groups of examinees (Goodwin and Leech 2003). A comparison variable should be related to the measuring construct. En this case, we rely on prior studies about MOOC completion. The research indicated that learners with a high level of SRL skills perform better than their lower counterparts (Kizilcec et al. 2017: Milligan et al. 2013). it has been demonstrated that learners, who set goals to finish the course, are less likely to drop out (Handoko et al. 2019).

To assess the criterion-related validity of the OSLQ, we used students' plans to finish the course (the question 'Did you plan to receive the verified certificate at the end of the course?'). We divided students into two groups according to their plans. The first group of students informed us that they planned to receive a verified certificate, the second group did not. Their plan to receive a verified certificate is perceived as the criterion variable. We performed an independent samples t-test to compare mean scores on SRL between these groups.

4 Results

4.1 Construct-related validity

Based on the previous research by Barnard et al. (2009), we tested the original six-factor hierarchical model suggested for the OSLQ. The model was specified according

Fig. 1 Tliesfa:-fectnrhierarehiaXitiodot(Ar=913), Note. x2(164)= 1200.68,/; = ,00; RMSEA = .08 (.08; ,09), GFJ =.88, and TLI= .86. ***p<,001,

to the following criteria: (1) each item had a nonzero loading on the six first-order factors; (2) standard errors associated with each item were uncorrected; (3) covariance between six first-order factors was explained by a second-order factor - self-regulated learning.

Figure 1 provides the standardised path coefficients from the latent variable constructs to the items and from the higher order construct to the latent variable constructs. The values of fit-statistics indicate an unacceptable fit between the model and the observed data. RMSEA=.08 (.08; .09), CFI=.88. and TL1 ~ .86. Each of the fit indexes exceeds the cutoff criteria suggested by Byrne (2010) and Schreiber et al. (2006). The results do not support the original six-factor hierarchical model.

self-evaluation

go a sailing

time management

self-regulated learning

it&m 5

environment structuring

Fig. 2 The five factor hierarchical model (N= 913). Note.: x2(99)=513,09,p = .00; RMSEA = .07 (.06; .07), CH =.94, and TLI = .93. ***'-/>< .001.

Table 6 Comparison of model fit indices

RMSEA (lower bound; upper bound) CFI TLI A1C BIC

Six-factor hierarchical model .08 (.08; .09) .88 .86 53,558.51 53,876.41

Kive-factor hierarchical model .07 (.06; .07) .94 .93 42,103.73 42,359.02

The six-factor hierarchical model was modified by removing the help-seeking sub scale from the model. Relying on the results of the mentioned research suggested that help-seeking behaviour might be not common among MOOC learners, we hypothesise that a five factor hierarchical model could better fit our data. The model was specified according to the following criteria: (1) each item had a nonzero loading on the five first-order factors; (2) standard errors associated with each item were uncorrected; (3) covariance between five first-order factors was explained by a second-order factor - self-regulated learning.

The values of fit-statistics indicate an acceptable fit between the five factor hierarchical model and the observed data. RMSEA - .07 (.06; .07), CFI = .94, and TLI- .93. Figure 2 presents the standardised path coefficients from the latent variable constmcts to the items and between the constructs. The paths in the second model are all significant (p < .001) with standardised values ranging from .59 to .92 from the firstorder factors to the items, and standardised values ranging from .45 to .94 from the second-order factor to the first-order factors.

Next, we determined which model better fits the data. Table 6 provides the fit indexes for each of the models. A1C and BIC for the five-factor hierarchical model are smaller: 53.558.51 >42.103.73 and 53,876.41 >42.359.02. According to these results, the second model better fits the data. The five-factor hierarchical model gives a better approximation and interpretation of our data about SRL behaviour among MOOC learners. Therefore, we suggest a redefined model of the OSLQ for MOOC learners, because help-seeking skills appear not relevant in this environment.

The average classical reliability (Cronbach's a) ranges from 0.72 to 0.90 for the subscales (Table 7). Mean Cronbach's a for the six-factor model is 0.89, for the five-factor model is 0.88. High reliability coefficients (a >0.80) indicate that the questionnaire can be used for both research and diagnostic purposes (Tavakol and Dennick 2011).

Table 7 Reliability coefficients

Goal Environment Task Time Help- Self-

setting stiucturing strategics management seeking evaluation

Cronbach's 0.83 0.89 0.72 0.73 0.76 0.90 alpha

4.2 Criterion-related validity

The research shows thai successful MOOC learners tend to have higher scores on SR.L skills (Milligan et al. 2013; Kizilcec et al. 2017). Since we did not have access to the data about students" grades, we asked them whether they planned to obtain the verified certificate for MOOC completion. Students' answers for the question 'Did you plan to receive the verified certificate at the end of the course?' was used as a comparison variable. The independent samples t-tests for each dimension were conducted to determine if there is a difference in SR.L skills between students, which planned to obtain the verified certificate, and which did not (Table 8).

According to the results, the mean on all of the six OSLQ's subscales statistically differs among the two groups of students. There are statistically significant differences, at .001 or .01 levels of significance, between students who planned to obtain the verified certificate, and those who did not. The results show that students, who planned to receive the certificate, score higher on goal setting, environment structuring, task strategies, time management, help-seeking, and self-evaluation. We find that the difference in average on the OSLQ subscales ranges from 0.21 standard deviations for 'task strategies' to .39 standard deviations for 'goal setting'. Despite the fact that 'help-seeking' dimension might be redundant in MOOCs, it still determines higher educational outcomes.

Table 8 The independent samples t tests results

Groups

Planned to Did not plan to

obtain the obtain the

verified verified

certificate certificate

95% CI for mean difference

N M (SD) N M (SD)

4t'

Cohen 's d

Goal setting 366 15,31 (.19) 547 13,81 (.17) ,99, 1,99 5 839,02 ,39

Environment 366 16.34 (.21) 547 15.39 (.19) .39, 1.49 3,39* *+ 839.64 .22

st lecturing

Task strategies 366 7.63 (.IS) 547 6.93 (.14) .26, 1.14 J. t 768.44 .2!

Time management 366 S.49 (.IS) 547 7.59 (.14) .44, 1.34 3.92*** 753.33 .27

Help seeking 366 9.36 (.23) 547 8.19 (.17) .61, 1.72 4,12*** 727.57 .28

Self-evaluation 366 4.24 (.13) 547 3.72 (.09) .20, .84 3.14** 712.69 .22

Noie. ***/j<.001, *V<,01

5 Discussion and conclusions

The mam finding of this study is that the original six-factor model for OSLQ is not always effective and the Russian version of the OSLQ has a five-factor hierarchical structure with the second-order factor SRL in the MOOC environment. The results suggest that the OSLQ can be used to measure people's ability to set goals, structure the online environment. manage time, and evaluate their progress in the online environment. I lowever, the subscale 'help-seeking' does not work in the current context of MOOCs.

The poor statistics and logical incoherence of the items from the dimension 'help-seeking' points to one of the main challenges faced by MOOCs - low communication between MOOCs' students and instructors during the learning process. Researchers demonstrate that 94% of learners do not participate in online discussions (Qiu et al. 2016). and 90% of forum activity is revisiting previous threads (Breslow et al. 2013). In addition, one of the reasons learners withdraw from MOOCs is the failure to understand the content and having no one to turn to for help (Belanger and Thornton 2013). According to Mahasneh et al. (2012). more than half of students (64%) avoid help-seeking. even if they do not understand the material. The researchers explain students' fear of asking for help as not wanting to be seen as incompetent (Ryan et al. 2001).

The pandemic outbreak in the world, which stopped nomial face-to-face classes, shook the whole education system This suggests online platforms and instructors need to be prepared to embrace this challenge by improving the quality of platforms and developing new pedagogical practices. As educators and researchers state, education is not only a question of good presentation and design, such elements as support and guidance are also essential (Shaughnessy et al. 2010). Eventually, online education has to become an old-new product with different instructor-learner relations and different ways of using information.

Although this study shows important results, it has some limitations. The results were derived from the sample of Russian MOOC learners. As previous studies show, self-regulated learning skills and strategies can be dependent on the environment (Schunk 2001; Barnard et al. 2010) and can function differently in various countries. Therefore, the results may not be generalized to the whole population of MOOC learners. Future research should consider verifying whether the OSLQ works similarly in different cultural contexts. For this purpose, first, comprehensive evidence of the validity of OSLQ in other cultural settings should be found following strict statistical requirements (for example, homogeneous group of respondents, appropriate sample size). Second, Differential Item Functioning (DEF) analysis can be utilised. DEF appears when there are different probabilities of endorsing a given item on a multi-item scale although the measured characteristics are the same (Zumbo 1999).

Further research could analyse convergent validity of the OSLQ through taking two measures that are supposed to be measuring the same construct and show that they are related, in other words, the correlation between OSLQ scores and other instruments, for example, the Academic Self-Regulation Scale (Magno 2010), the Motivated Strategies for Learning Questionnaire (Pintrich et al. 1993) can be investigated. Predictive validity can be assessed through a comparison of the OSLQ scores with a degree of completion of MOOCs taken right after measuring self-regulated learning skills. Finally, investigating heterogeneous samples, not limited to one category of respondents, would show whether our results are valid for other types of MOOC learners.

.Acknowledgements The authors express gratitude to Saule Bckova, the Research Fellow of the Centre of Sociology of Higher Education, National Research University Higher School of Economics, who worked as the coordinator of the project "Modern digital educational environment".

Kimdmg information Tliis work was supported by the Ministry of Science and Education of the Russian Federation in the framework of the Modern Digital Educational Environment.

Data availability The datasets generated and-'or analysed during the cuirent study are not publicly available due to the restrictions imposed by the funding organisation but are available from the corresponding author on reasonable request.

References

Baker. R„ Dee, Т.. Evans, B„ & John, J. (2018). Bias in online classes: Evidence from a field experiment. СЕРА working paper no. 18-03. Stanford Center for Education Policy Analysts. https://ccpa.stanford. edu/conte nt-hias -online-class es-evidenee-field-experiment.

Barnard, L.. Lan, W. Y., To, Y. M, Patón, V. C)„ & Lai, S. L. (2009). Measuring self-regulation in online and blended learning environments, Internet and Higher Education, 12, 1- 6, https://doi.oig/10.1016/j. ihcduc.2008.10.005.

Barnard, L., Patón, V,, & Lan, W, (2010). Profiles in self-regulated learning in the online learning environment. International Review of Research in Open and Distance Learning, 11(1), 61 80. https://doi. org/10.19173/trrod.vl i i 1.769.

Belanger, Y.. &. Thornton, J. (2013). Bioelectrkity: A quantitative approach. Technical Report, Duke University, NC, USA: Duke University's First MOOC.

Bennett. S„ Matón, K... & Kervin, L. (2008), The 'digital natives' debate: A critical review of the evidence. British Journal of Educational Technology, 39(5), 775-786. httpsV/doi.org/LO.L 111/j. 1467-8535.2007,00793.x!

Bernacki, M. L., Aguilar, A C„ & Byrnes, J. P. (2011). Self-regulated learning and technology enhanced learning environments: An oppoitunity-propensity analysis. In G. Dettori ik. D. Pérsico (Eds,), Fostering self-regulated learning through 1СГ (pp. 1 26). Hcrshey: IGI Global.

Brcslow, L.. Pritchard, D. E„ DeBoer, J„ Stump. G. S„ Ho, A. D„ &. Seaton, D. T. (2013). Studying learning in the worldwide classroom research into edX's first MOOC, Research <i- Practice in Assessment, H, 13-25.

Byrne, В. M. (2010). Structural equation modeling with AMOS: Basic concepts, applications, and programming. New York: Routlcdge.

Cazan, A. M. (2014). Self-regulated learning and acadcmic achievement in the contcxt of online learning environments. In The International Scientific Conference Seaming and Software For, Education, 3, 90-95).

Chen. F. F., Flaycs, A., Carver, C. S„ Laurcnccau, J. P., Sl Zhang, Z. (2012). Modeling general and specific variance in multifaceted constructs: A comparison of the bifactor model to other approaches. Journal of Personality, ЯЩ 219-251. https://doi.org.'10. Ш 1/j. 1467-6494.2011.00739.x

Fontana, R., Milligan C.. Littlejohn, Л., & Margaryan, Л. (2015). Measuring self-regulated learning in the workplace. Internationa! Journal of Тгащщщ and Development, 19(\), 32-52. https://doi.0rg/lO.lI 11 /ijtd. 12046.

Fung, 1. L, Yuen, M., & Yuen, A. H, (2018). Validity evidence for a Chinese version of the online sclf-rcgulated learning questionnaire with average students and mathematically talented students. Measurement and Evaluation in Counseling and Development, 51(2), 111 124. https://doi.0rg/lO.lO8O /07481756.2017,1358056.

Gameel, B. G. (2017). Learner satisfaction with massive open online courses. American Journal of Distance Education, 3/(2), 98 111. https://itoi.org/H). 1080/08923647.2017,1300462.

Goodwin, L. D,. & Leech, N, L. (2003), The meaning of validity in the new standards for educational and psychological testing: Implications for measurement coutses. Measurement and Evaluation in Counseling and Development, i«3), 181 19!. https://doi.org/10.1080/07481756.2003.11909741.

Handob, E, Gronseth, S. L„ McNeil, S. G„ Bonk. C. J., & Robin, B. R. (2019). Goal setting and MOOC completion: Л study on the role of self-regulated learning in student performance in massive open online

courses. The International Review of Research in Open aiul Distance Learning, 20Q), 39-58. https://doi. org/10. 19173iirrodl.v20i4.4270.

Hcaly, P. Л. (2017). Georgetown's first six MOOCs: Completion, intention, and gender achievement gaps. Undergraduate Economic Re\>iew, 14( 1), 1.

International Test Commission. (2017). The ITC guidelines for translating and adapting tests (2nd ed.). Retrieved from http://www.intcstcom.org.;. Accessed 19 May 2020.

Khalil, H.. & Lbner, M. (2014). M(X)Cs completion rates and possible methods to improve retention A literature review. In In work! conference on educational multimedia, hypermedia and telecommunications. Chesapeake, VA: AACE.

Kintu, M. J.. Sc Zhu, C. (2016). Student characteristics and learning outcomes in a blended learning environment intervention in a Ugandan University. Electronic .hurnalof e-Leaming, I4(3), 181 195.

Kizilcec, R. Г., Piech, C.. & Schneider, E. (2013). Deconstructing disengagement: Analyzing learner subpopulations in massive open online courses, in Proceedings of the third international conference on learning analytics and knowledge (pp. 170-179). New York: ЛСМ.

Kizilcec, R. F., Perez-Sanagustin, M., & Maldonado, J. J. (2017). Self-regulated learning strategies predict learner behavior and goal attainment in massive open online courses. Conputers ct Education, 104, 18 33. https://doi.org/10.1016/j.compedu.2016.10.001.

Korkmaz, O., &. Kaya, S. (2012). Adapting online self-regulated learning scale into Turkish. Turkish Online Journal of Distance Edticatbn, I 3(11 52-67.

Littlejohn, A., Hood, N.. Milligan, C, &. Mustain, P. (2016). Learning in MOOCs: Motivations and self-regulated learning in MOOCs. The Internet and Higher Education, 29, 40 -48 htips://doi.aig/10.101fi/j. iheduc.2015.12.006.

Magno, C. (2010). Assessing academic self-regulated learning among Filipino college students: The factor structure and item fit. The International Journal of Educational and Psychological Assessment, 5, 61 76.

Mahasnch, R. A., Sowan, A. K, & Nassar, Y. H. (2012). Academic help-seeking in online and face-to-facc learning environments. E-Learning and Digital Media, 9(2), 196 210. https://<kri,oig/l0.2304 /elea.2012.9.2.196.

Maldonado-Mahauad, L, Perez-Sanagustln, M„ Kizilcec, R. ¥,, Morales, N.. Munoz-Gama, J. (2018). Mining theory-based patterns from big data: Identifying self-regulated learning strategics in massive open online eourscs. Computers in Human Behavior, SO, 179 196. https://doi.org/10.1016/j.chb_2017.11.011.

Martinez-Lopez, R.. Yot, C, Tuovila, 1.. & Perera-Rodriguez, V. H. (2017). Online self-regulated learning questionnaire in a Russian MCXiC. Computers in Human Behavior, 75, 966 974. https://doi. org/' 10,1016 j.chb.2017.06.015.

Milligan, C„ & Littlejohn, Л. (2034). Supporting professional learning in a massive open online course. The International Review of Research in Open and Distance Learning, 15(5), 197 -213. https://doi. org/10.19173/irrodl.vl5i5.185 5.

Milligan, C. Littlejohn, A., & Margaryan, A. (2033). Patterns of engagement in connectivist M(X)Cs. Journal of Online Learning and Teaching, 9(2), 349 3 58.

Moore, M. G. (1989). Three types of interaction. The American Journal of Distance Education. 3(2), 1 6. https: //do i.org-i 0.1080/08923648909526659.

Gnah, D. F., & Sinclair, 3. E. (2016, September). A multi-dimensional investigation of self-regulated learning in a blended classroom context: A ease study on cLDa MOOC. In International Conference on Interactive Collaborative Learning (pp. 63-85). Springer.

Perna, L. W., Ruby, A, 13oruch, R. F., Wang, N.. Scull, J., Ahmad, S., & Evans, С (2034). Moving through MOOCs: Understanding the progression of users in massive open online courses. Educational Researcher, 43(9), 421 432. hnps://doi.org/l0.3Ю2/0013189X14562423.

Pintrich. P. R.. Smith, D. A, Garcia, Т., & McKeachie, W. J. (1993). Reliability and predictivc validity of the motivated strategies for learning questionnaire (MSLQ). Educational and Psychological Measurement, 5.3(3), 801 -83 3.

Qiu, J., Tang, 3.. Liu, Т. X., Gong, J., Zhang, C, Zhang, Q., &. Xue, Y. (2016). Modeling and predicting learning behavior in MOOCs. 111 Proceedings of the ninth ACM international conference on web search and data mining (pp. 93-302). ACM.

Reich. J. (2014) M(X)C completion and retention in the context of student intent. Retrieved from: https://er. educause.odu;aiticles,'2014/12'niooc-conipletion-and-retention-iii-tlie-conte?;t-of-student-iiitent. .

Reich, J., & Ruiperez-Valiente, J. A (2039). The MOOC pivot. Science, _Ш(6423), 330-333. https://doi. org/10.1126/science.aav7958.

Rivard, R. (20 33). Measuring the MOOC Dropout Rate. Retrieved from: https://www.insidehighered. сorn/n ews/2013/0 3/08/rcs carchcrs- cxp lore-who-t aking-moocs-a nd-why -so-m any-drop-o ut. .

Ryan. A. M, Pintrich, P. R„ & Midgley, (_'. (2O01). Avoiding seeking help in the classroom: Who and why? Educational Psychology Review, 13(2), 93 -114. https://doi.o tg' 10.1023/A: 1009013420053.

Schreiber, J. 13., Nora, A, Stage, F. K., Barlow, E. A., & King. .1. (2006). Repotting structural equation modeling and confimiatory factor analysis results: A review. The Journal of Educational Research, 99( 6), 323-338. https:.ydoi.org/10.320MOER.99.6.323-338.

Schunk. D. H. (2001). Social cognitive theory and self-regulated learning. In B. J. Zimmerman & D. H. Schunk (Eds.), Self-regulated learning and academic achievement (2nd cd.). Mahwah, NJ: Lawrence Erlbaum,

Schwartz, N. (2020). MOOC providers offer some free course acccss amid corona virus outbreak. Retrieved from: https://www.educationdivc.coni,,new,s/mooc-providcrs-offer-sonie-free-course-acccss-aniid-coranavirus-outbreak/574027/, .

Shaughncssy, M. F., Fulgham, S. M., & Kirschner, P. (2010). Interview with Paul Kirschncr. Educational Technology, ¿0(4), 47 52.

Sunar, A., White, S„ Abdullah, N.. & Davis, H. (2017). How learners' interactions sustain engagement: A MOOC ease study. IEEE Transactions on Learning Technologies, 10(4), 475-487. https://doi. org.' 10.1109TLT.2016,263 3 268.

Tabuenca, B„ Kalz, M„ Drachsler, H., & Specht. M. (2015). Time will tell: The role of mobile learning analytics in self-regulated learning. Computers tfe Education, 89, 53 74. https://doi.org/10.1016/j. compedu2015.08.004.

Tavakd, M.. & Dennick. R. (2011). Making sense of Cronbach's alpha. International Journal of Medical Education, 2, 53 -55. https://doi.org/10.5116/ijme.4dib.8dfd.

U.S. Department of Education, (2008) Office of Special Education and Rehabilitative Services, Office of Special Education Programs, Teaching Children with Attention Deficit Hyperactivity Disorder: Instructional Strategies and Practices. Washington, D.C.

Wang, C. R, Shannon, D. M„ & Ross, M. E. (2013). Students' characteristics, self-regulated learning, technology sclf-cfficacy, and coursc outcomes in online learning. Distance Education, 34(5), 302-323. https://doi.org/10.1080/015879192013.835779.

Yuan L„ Bowel S. (2013). MOCX's and Open Education: Implications for Higher Education. Retrieved fioni hi tp://pul)l ications.cet is.org. uk'wp-cont cnt'up loads'2013/03/M tX >C s-and -Ope n-Education. pd f. .

Zimmerman, B. (1990). Self-rcgulated learning and academic achievement: An overview. Educational Psychologist, 25(1), 3-17. https://doi.org/1042p7/sli326985ep250l_2.

Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIP) (pp. 1 -57). National Defense Headquarters: Ottawa.

Publisher's note Springer Nature remains neutral with regard to jurisdictional claims in published maps

and institutional affiliations.

Приложение 3. Статья «Self-regulated learning and successful MOOC completion»

MOOCs (Massive Open Online Courses) were considered as a disruptive innovation in education. However, they suffer from low completion rates. This raises a question about learning skills of MOOCs users. It was indicated that self-regulated learning (SRL) skills are critically important in an online-environment because learners should plan, manage and control their learning activities in order to finish MOOC successfully. However, researchers have not treated SRL in much detail. The research was conducted in 24 MOOCs offered by National Research University Higher School of Economics on the National Platform Open Education in 2017. A total of 2815 learners participated in the study and completed an online-survey, which consisted of demographic questions and the self-regulated learning questionnaire. This work builds on the SRL framework, proposed by Zimmerman, which describes learners' actions during the process of study. In this paper, a more detailed approach to assess the association between SRL and educational outcomes of MOOCs learners was implemented. As a result, only one SRL phase, which is forethought, is statistically significant in the regression model, while performance and self-reflection do not predict learners' success. According to the research results, such SRL sub-processes as goal-setting, self-efficacy, and task value are the most helpful for MOOC completion. This conclusion can be useful for future interventions in MOOCs.

Self-regulated learning and successful MOOC completion

Kseniia A. Vilkova 0000^3-2isi-ow

National Research University Higher School of Economics, Moscow, Russia

[e-mail]

Abstract. MOOCs (Massive Open Online Courses) were considered as a disruptive innovation in education. However, they suffer from low completion rates. This raises a question about learning skills of MOOCs users. It was indicated that self-regulated learning (SRL) skills are critically important in online-environment because learners should plan, manage and control their learning activities in order to finish MOOC successfully. However, researches have not treated SRL in much detail. The research was conducted in 24 MOOCs offered by National Research University Higher School of Economics on the National Platform Open Education in 2017. A total of 2815 learners participated in the study and completed an online-survey, which consisted of demographic questions and the self-regulated learning questionnaire. This work builds on the SRL framework, proposed by Zimmerman, which describes learners' actions during the process of study. In this paper, a more detailed approach to access the association between SRL and educational outcomes of MOOCs learners was implemented. As a result, only one SRL phase, which is forethought, is statistically significant in the regression model, while performance and self-reflection do not predict learners' success. According to the research results, such SRL sub-processes as goal-setting, self-efficacy, and task value are the most helpful for MOOC completion. This conclusion can be useful for future interventions in MOOCs.

Keywords, massive open online-courses, self-regulated learning, educational outcomes

1 Introduction

A few years ago MOOCs (Massive Open Online Courses) were considered as a disruptive innovation in education. Advocates suggested that MOOCs will be successful in delivering educational resources to the masses (Davis et al., 2016). However, according to the research by Reich & Ruiperez-Valiente (2019), MOOCs have feiled the expectations: efforts to establish equal opportunities through MOOCs have not been successful. Moreover, MOOCs suffer from low completion rates: up to 90-98% of learners do not finish their courses (Healy, 2017; Reich, 2014).

2 Research methods

2.1 Methodology

The research was conducted in 24 MOOCs offered by National Research University Higher School of Economics on the National Platform Open Education in2017. At the beginning of Ihe online-courses learners were invited to participate in the pre-course survey. Within learning process, they completed weekly quizzes and the final test. In order to complete the course, learners should get a minimum required score and then purchase the verified certificate.

2.2 Procedure aud instruments

The invitation to the survey and the personalized lints were emailed to MOOCs learners by Enjoy Survey mailing system. Learners completed an online survey that included demographic information and the SRL questionnaire. All data were collected anonymously: no names or other personal data were captured.

The demographic questions included age, gender, educational level, and prior online-learning exper ience. The Russian version of the SRL questionnaire was adopted from the instrument validated by Littlejohn et al. (2016). The SRL questionnaire included 29 items that referred to three subscales: 11 items for forethought, 11 items for performance and 7 items for self-reflection. Learners responded to each item using a 4—point Likert scale that ranged from completely disagree (1) to completely agree (4).

2.3 Sample

A total of 2815 learners participated in the study and completed an online-survey (response rate = 4.99%). The average age was 31 (SD = 10), 73% were females and 81% held a bachelor's or higher degree.

2.4 Variables

The certification rate was rather low (8%), in this case, platform data on learners' grades on weekly quizzes was used as the outcome measure. The average score on quizzes ranged fi'om 0 to 100 points with 60 as a threshold for successful completion. Since this variable was not normally distributed, it was recoded into a dichotomous variable, where 0 refers to the result lower than 60 points out of 100 and 1 is equal or higher than 60 points.

The individual score for each SRL subscale was computed by averaging ratings of corresponded items. Table 1 provides descriptive statistics for the data from the SRL questionnaire. Cronbach's alpha was estimated for the current sample at 0.81, ranging from 0.49 to 0.68 for the subscales.

Table 1. Descriptive statistics for the SRL questionnaire.

Subscale SRL sub- Number M Cronbach's

processes of items (SD) alpha

Forethought Goal—setting 4 12.44 (1.96) 0.49

Self Efficacy 4 13.77 (2.01) 0.81

Task value 3 10.51 (1.50) 0.74

total average 11 12.24 (1.44) 0.68

Performance Task strategies 5 15.81 (2.44) 0.63

Interest 3 10.44 0.79

enhancement (1.55)