Проблемы прогнозирования успеваемости студентов: взаимосвязь результатов ЕГЭ и академических успехов

Материалы статьи посвящены проблеме оценки влияния результатов единого государственного экзамена (ЕГЭ) на последующую академическую успеваемость студентов в высших учебных заведениях. Авторы ставили своей целью провести исследование, чтобы выявить, насколько суммарный балл ЕГЭ отражает способности студентов к обучению и коррелирует с их успехами в университете. Установлено, что существует значимая корреляция между результатами ЕГЭ и средним баллом студентов, а также их дипломными оценками. При этом чем больше разброс баллов ЕГЭ среди поступающих на одну специальность, тем сильнее влияние этих баллов на последующую успеваемость. Показано, что ЕГЭ, несмотря на критику, остается важным инструментом для оценки академических способностей абитуриентов и может быть использован в моделях прогнозирования успешности обучения в вузе. Делается вывод о том, что включение результатов ЕГЭ в оценку качества образования является целесообразным, так как они отражают ключевые способности и мотивацию студентов, которые влияют на их успеваемость.

Подкаст PsyJournals LIVE 

Выпуск 395

Введение

С момента внедрения единого государственного экзамена (ЕГЭ) в систему образования России дебаты о его влиянии на успеваемость и академическую успешность студентов в вузах остаются в центре внимания образовательного сообщества. Отношение к этому стандартизированному тестированию распадается на противоположные точки зрения, в то время как одни видят его как объективный инструмент оценки знаний, другие выражают опасения относительно его воздействия на качество образования и процесс формирования знаний у студентов [6; 8; 13; 17; 23].

Большую часть публикаций, посвященную изучению влияния ЕГЭ на обучение в вузе, можно разделить на три группы:

1. Выявление регрессоров и влияние факторов на подготовку в вузе – на средний балл или баллы по отдельным дисциплинам, преимущественно по математике [3; 5; 7; 11; 15; 21],

2. Прогнозирование успеваемости в вузе по результатам ЕГЭ, преимущественно с помощью нейросетевых моделей [2; 12; 18; 19],

3. Теоретическое осмысление и описание психологических факторов влияния ЕГЭ на обучение в вузе [1; 9; 10; 20].

Также стоит отметить альтернативные подходы к прогнозированию академических достижений, например:

1. Сравнение прогнозов на основе результатов вступительных испытаний и на основе психологических характеристик подробно рассматривалось в трудах А.Л. Дакворт, В.Г. Ерофеевой, С.К. Нартовой-Бочавер [4; 25];

2. Обзор зарубежного опыта оценочных испытаний проводился в работах D. Opposs, J.A. Baird и др. [29];

3. В последние годы набирает популярность использование машинного обучения для выявления скрытых закономерностей [24; 26; 27; 30; 31].

Рассмотрим некоторые наиболее близкие к нашему исследования немного детальнее.

В исследовании Н.А. Чернышовой [22] рассматриваются данные по 6000 студентов за 4 года. Отмечено, что корреляция суммарных баллов ЕГЭ со средним баллом успеваемости студентов достаточно прочная, и делается вывод о валидности ЕГЭ для мониторинга качества образования выпускников школ и для оценки знаний абитуриентов.

О.О. Замков, А.А. Пересецкий [5] приводят подробный анализ зарубежных исследований по изучению влияния национальных единых школьных экзаменов на обучение в вузах. И на основе анализа данных 505 студентов отмечают, что результаты ЕГЭ являются адекватным показателем для отбора студентов на программу МИЭФ.

Л.Б. Переяславская, В.И. Переяславский [11] рассматривают корреляции между ЕГЭ по математике и успеваемостью по общеобразовательным дисциплинам 394 студентов в 2 вузах. В статье выявлено сильное изменение успеваемости по сравнению со школьной и показано, что оценки по математике в обоих вузах лучше коррелируют с ЕГЭ по русскому, чем с ЕГЭ по математике. Что свидетельствует о проблемах со школьным образованием по математике в соответствующем регионе.

Е.А. Власова, Н.М. Меженная, В.С. Попов [3] также отмечают, что связь между экзаменационными оценками и результатами ЕГЭ имеет статистическую значимость и является более выраженной, чем связь с общей суммой баллов за тесты, несмотря на то, что у абитуриентов с высокими баллами ЕГЭ часто отмечаются поверхностные знания предмета, что мешает им решать задачи базового уровня на вступительном тестировании.

О.В. Польдин [12] на основе данных 157 студентов изучает зависимость отчисления студентов от их баллов ЕГЭ и отмечает, что баллы по математике наиболее сильно связаны с отчислением студентов-экономистов.

А.В. Семериков, М.А. Глазырин [19] предлагают прогнозировать успешность завершения обучения студента по результатам его баллов ЕГЭ с помощью нейросетевой модели и показывают ее 65% эффективность на основе данных 36830 студентов.

С.В. Русаков, О.Л. Русакова, К.А. Посохина [18], изучив данные 274 студентов с помощью нейросети, предлагают формировать «портрет» студента, который может быть в группе риска на отчисление и низкую успеваемость.

Связь успеваемости и различных факторов показана в статьях [7; 14; 15; 28].

В нашем исследовании мы проверяли, насколько суммарный балл по ЕГЭ отражает индивидуальные способности учеников и будущих студентов к обучению, которые потом выражаются в результатах их обучения по различным дисциплинам высшей школы. Основной вопрос, который требует исследования, заключается в том, насколько результаты ЕГЭ действительно коррелируют с последующими академическими успехами студентов в высших учебных заведениях.

В связи с этим были сформулированы следующие гипотезы исследования:

- суммарный балл ЕГЭ коррелирует с последующими академическими успехами студентов в высших учебных заведениях;

- высокие баллы ЕГЭ свидетельствуют о наличии у студента базовых академических компетенций и развитых когнитивных навыков, необходимых для успешного обучения в университете;

- результаты ЕГЭ обладают прогностической ценностью для оценки будущих академических достижений студентов.

В основании таких предположений лежат следующие факты:

1. этот экзамен стандартизирован и объективно измеряет знания и навыки учащихся, минимизируя влияние внешних факторов;

2. высокие баллы ЕГЭ свидетельствуют о наличии у студента базовых академических компетенций и развитых когнитивных навыков, необходимых для успешного обучения в университете;

3. предыдущие исследования показывают положительную корреляцию между результатами ЕГЭ и академическими достижениями студентов, подтверждая его прогностическую ценность.

Организация и методы исследования

В УГТУ с 2006 г. функционирует система учета деятельности студентов и преподавателей. На основе данных, собранных в системе ИС УГТУ, в рамках нашего исследования мы рассмотрели связь ЕГЭ и академической успеваемости: среднего балла, оценок по отдельным дисциплинам и за диплом.

Определим ключевые понятия, которые необходимы для обоснования схемы исследования.

1. Способности. Общие: влияют на успеваемость во всех предметах. Специальные: нужны для успеха в конкретном предмете.
2. Компетенции и результаты обучения. Компетенции: знания, умения и навыки для выполнения деятельности. Результаты обучения: конкретные знания, умения и навыки, которые должны быть достигнуты.
3. Обучаемость и обученность. Обучаемость: способность человека к усвоению нового. Обученность: уровень знаний, умений и навыков, достигнутый в результате обучения.
4. Факторы: 
   • Успеваемость: степень достижения целей обучения.
   • Мотивация: факторы, побуждающие человека к деятельности.
   • Уровень подготовки: владение знаниями, умениями и навыками для обучения.
   • Социально-экономические факторы: уровень жизни семьи, образование родителей и т.д.
   • Спецификация ЕГЭ: определяет содержание, структуру и формат экзамена.

Результаты ЕГЭ должны отражать способности, компетенции, обучаемость и обученность, а также влияние мотивационно-волевой сферы, которые сказываются на дальнейшей успеваемости студентов.

5. Методы исследования:

• • Корреляционный анализ: связь между двумя переменными.
  • Регрессионный анализ: предсказание значения одной переменной на основе другой.
  • Экспериментальный метод: причинно-следственная связь между двумя переменными.

6. Ограничения исследования:

• • Сложность определения причинно-следственной связи.
  • Несовершенство методов исследования.
  • Влияние других факторов.

Анализ проводился на основе базы данных, содержащей сведения о результатах обучения студентов за 13 лет [16]. Рассматривались только данные студентов, имеющих и результаты ЕГЭ, и дипломные оценки. Оценки студентов были возведены в квадрат для усиления отклонений.

Где: О – средний балл (квадратичный),

ОЭ – балл за экзамен, без учета зачетов,

n – количество оценок студента.

Где: ЕГЭ – нормированный балл ЕГЭ,

Е – балл экзамена за ЕГЭ,

n – количество экзаменов ЕГЭ.

На основе дипломных оценок и рассчитанных средних баллов (1) проведен анализ их зависимости от балла ЕГЭ (2) на основе модели линейной регрессии (3).

Где: y – выходные параметры,

x – входные параметры,

b – коэффициенты уравнения регрессии.

Для более детального изучения проведен когортный анализ (4). Для этого весь массив данных был разделен на группы специальностей (5).

Где: y – выходные параметры,

x – входные параметры,

b – коэффициенты уравнения регрессии.

В ходе исследования нами рассмотрены данные по 45743 студентам, но для итогового рассмотрения выбрано 9520 человек, имеющих результаты ЕГЭ, обучавшихся очно и успешно защитивших диплом. Среди них 3733 девушек и 5785 юношей. Некоторые дополнительные сведения приведены в табл. 1.

Исследование проводилось с помощью нескольких программных средств: Microsoft Excel, Statistica, АСУ ВУЗ и программы «Анализ данных», разработанной специально для целей аналитики студенческой активности.

Таблица 1. Описательная статистика

Результаты

Для начала рассмотрим общую картину связи различных факторов и успеваемости.

Таблица 2. Корреляция различных факторов, влияющих на академические результаты студентов, и среднего балла за обучение

Примечание: ФЭУиИТ – факультет экономики, управления и ИТ; ТФ – технологический факультет; НГФ – нефтегазовый факультет

В табл. 2 представлены результаты корреляционного анализа различных факторов и успеваемости студентов. Для всех случаев, кроме столбца «Заочники», рассматривались данные по студентам очной формы обучения. Также показаны результаты по студентам отдельных факультетов: ФЭУиИТ – факультет экономики, управления и ИТ, ТФ – технологический факультет, НГФ – нефтегазовый факультет, поскольку они достаточно сильно различаются по своей специфике. Как можно заметить из таблицы, наиболее сильную корреляцию со средним баллом среди рассмотренных факторов показывает ЕГЭ.

В табл. 3 приведены аналогичные данные корреляции ЕГЭ с различными факторами.

Таблица 3. Корреляция балла ЕГЭ и различных факторов, влияющих на академические результаты студентов

Примечание: ФЭУиИТ – факультет экономики, управления и ИТ; ТФ – технологический факультет; НГФ – нефтегазовый факультет.

Как видно на рис. 1-3, наблюдается существенная корреляция среднего балла студента и его балла по ЕГЭ при поступлении. Корреляция составляет 0,48, при этом 0,24 среднего балла объясняется вступительным баллом по ЕГЭ (значимость выше 0,001). Дипломные оценки также коррелируют с результатами ЕГЭ, но несколько меньше – 0,25, здесь вариация ЕГЭ объясняет только 0,07 вариации баллов за диплом (значимость выше 0,001).

Рис. 1. Зависимость среднего балла от ЕГЭ для всех групп

Рис. 2. Зависимость среднего балла от ЕГЭ для МОН (машины и оборудование нефтегазового комплекса – минимальная значимость объясненной вариации)

Рис. 3. Зависимость среднего балла от ЕГЭ для ФК (финансы и кредит – максимальная значимость объясненной вариации)

Таблица 4. Обобщенная статистика по результатам ЕГЭ по группам специальностей, процент вариации среднего балла и дипломных оценок, объясняемый уравнением регрессии от ЕГЭ

Примечание: * – значимость 95%, ** – значимость 99%, *** – значимость 99,9%.

Как известно, на разные специальности разный конкурс и разный диапазон проходного балла. Логично выдвинуть гипотезу о том, что чем больше разброс вступительного балла по ЕГЭ, тем выше в дальнейшем влияние этой разницы на успеваемость студентов. Так как при небольшом разбросе в баллах ЕГЭ и разница в успеваемости бывших школьников невелика, соответственно, они меньше различаются на старте обучения, это отличие обусловлено дальнейшим обучением в вузе и иными факторами. Чтобы проверить эту гипотезу рассмотрим полученные сведения более подробно – оценим регрессию разницы минимального и максимального балла студентов, поступивших на разные специальности, на показатель R-squared корреляции баллов по ЕГЭ и их среднего балла (см. табл. 4) (5). Как видно на рис. 4, эта регрессия достаточно заметна и составляет 0,34 для среднего балла и 0,23 для дипломных оценок.

Где: R – средний балл (квадратичный),

r – показатель r-squared корреляции ЕГЭ и среднего балла или диплома,

n – количество студентов специальности,

m – количество специальностей в группе специальностей.

Таким образом, можно считать, что диапазон баллов ЕГЭ при поступлении влияет на среднюю успеваемость на уровне значимости 0,001 и на результаты защит дипломов на уровне значимости 0,011.

Риc. 4. Влияние величины среднеквадратического отклонения балла по ЕГЭ на степень корреляции ЕГЭ и среднего балла успеваемости студентов

Заключение

По результатам рассмотрения представленных данных мы получили значимые зависимости как среднего балла, так и дипломных оценок от результатов ЕГЭ. При этом чем больше разброс оценок ЕГЭ поступающих студентов, тем точнее они определяют успеваемость в дальнейшем обучении. Несомненно, кроме баллов ЕГЭ существует множество иных факторов, которые могут оказывать существенное влияние на качество образования, тем не менее в среднем большая часть рассмотренных факторов коррелирует с успеваемостью (как один из основных измеримых параметров качества образования) существенно ниже, чем способности и особенности мотивационно-волевой сферы студента, отражаемые баллами ЕГЭ. Соответственно, при построении моделей оценки качества образования целесообразно включать ЕГЭ как дополнительные объясняющие переменные.

Рочев К.В., Куделин А.Г. (2024). Анализ связи между результатами единого государственного экзамена и академическими успехами студентов. Набор данных. RusPsyData: https://doi.org/10.48612/MSUPE/65u5-gf9t-45u3

1. Азизова Л.Р. Единый государственный экзамен (ЕГЭ) как педагогический эксперимент: плюсы и минусы // Известия Дагестанского государственного педагогического университета. Психолого-педагогические науки. 2019. № 13, 3. C. 5–9.
2. Богданов Е.П., Суханов А.В. О прогнозировании успеваемости студентов по результатам ЕГЭ и атрибутам социального статуса // Актуальные направления научных исследований XXI века: теория и практика. 2015. Т. 3. № 7-3(18-3). C. 382–386. EDN: TKLXCH, DOI:10.12737/15210
3. Власова Е.А., Меженная Н.М., Попов В.С. Сравнительный анализ результатов ЕГЭ, теста по проверке остаточных знаний и успеваемости первокурсников по математике // Интернет-журнал «Мир науки». 2018. № 5. URL: https://mir-nauki.com/PDF/71PDMN518.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. EDN: YTUYNF.
4. Ерофеева В.Г., Нартова-Бочавер С.К. Что такое «Grit» и почему она может быть личностным ресурсом? // Современная зарубежная психология. 2020. Т. 9. № 4. С. 22–31. DOI:10.17759/jmfp.2020090402
5. Замков О.О., Пересецкий А.А. ЕГЭ и академические успехи студентов бакалавриата МИЭФ НИУ ВШЭ // Прикладная эконометрика. 2013. № 30(2). EDN: RYGOTT
6. Кочеткова Т.Н., Сашенко А.К. Многоаспектность проблем и возможностей ЕГЭ // Перспективы науки. 2020. № 5. C. 95–100.
7. Куделин А.Г., Шакиров Д. Информационно-аналитическая система оценки учебного процесса ФГБОУ ВО «УГТУ» // Информационные технологии в управлении и экономике. 2021. № 2. EDN: RCWUEP. URL: http://itue.ru/Issue/Article/151
8. Минько Э.В., Минько А.Э. Качество и востребованность образовательных услуг. Учебное пособие. Саратов, 2017.
9. Осипов М.Ю. Может ли единый государственный экзамен быть эффективным инструментом отбора абитуриентов в вузы (содержательные аспекты)? // Alma Mater (Вестник высшей школы). 2024. № 1. С. 62–68.
10. Осипов М.Ю. Оценка эффективности ЕГЭ как инструмента отбора студентов в вузы (психологический аспект) // Высшее образование сегодня. 2022. № 9. C. 90–94. DOI:10.18137/RNU.HET.22.09.P.090
11. Переяславская Л.Б., Переяславский В.И. Исследование корреляций между результатами ЕГЭ по математике абитуриентов и их успеваемостью в вузе // Вестник Ассоциации вузов туризма и сервиса. 2014. Т. 8. № 4. C. 49–56. EDN: SZDJRR, DOI:10.12737/6475
12. Польдин О.В. Прогнозирование успеваемости в вузе по результатам ЕГЭ // Прикладная эконометрика. 2011. № 1(21). C. 56–69. EDN: SLPPNH, DOI:10.32609/0042-8736-2014-9-112-126
13. Прахов И.А. Единый государственный экзамен и детерминанты результативности абитуриентов: роль инвестиций в подготовку к поступлению // Прикладная эконометрика. 2012. № 3(27). C. 86–108. EDN: PCBQYV
14. Прахов И.А., Юдкевич М.М. Влияние дохода домохозяйств на результаты ЕГЭ и выбор вуза // Вопросы образования. 2012. № 1. C. 126–147. EDN: OXIMQB, DOI:10.17323/1814-9545-2012-1-126-147
15. Рочев К.В., Базарова А.М. Оценка факторов, влияющих на успеваемость студентов, на основе базы данных информационной системы вуза // Педагогическая информатика. 2022. № 4. C. 131–139. EDN: HKYNWR
16. Рочев К.В., Куделин А.Г. (2024) Анализ связи между результатами единого государственного экзамена и академическими успехами студентов. Dataset. DOI:10.48612/MSUPE/65u5-gf9t-45u3
17. Рощина Я.М. Повышает ли ЕГЭ доступность высшего образования? // Экономика образования. 2006. № 3(34). С. 27–50. EDN: HSSASX
18. Русаков С.В., Русакова О.Л., Посохина К.А. Нейросетевая модель прогнозирования группы риска по успеваемости студентов первого курса // Современные информационные технологии и ИТ-образование. 2018. № 14(4). C. 815–822. EDN: JWGGFH, DOI:10.25559/SITITO.14.201804.815-822
19. Семериков А.В., Глазырин М.А. Прогнозирование результата успешности завершения обучения потенциальным студентом университета // Информационные технологии в управлении и экономике. 2021. № 4. URL: http://itue.ru/Issue/Article/181
20. Субботин В.Я., Хайруллина Н.Г. Поколение ЕГЭ: последствия современного образования для будущего России // Вестник Сургутского государственного педагогического университета. 2019. № 4(61). C. 155–163.
21. Тимофеева А.Ю., Аврунев О.Е. Отчисления студентов в процессе обучения: объяснительная сила ЕГЭ // В книге: Мы продолжаем традиции российской статистики. Материалы I Открытого российского статистического конгресса. 2015. C. 570–571.
22. Чернышова Н.А. Связь результатов ЕГЭ и академических успехов студентов в сельскохозяйственном вузе // Вестник Нижегородского университета им. Н.И. Лобачевского. Серия: Социальные науки. 2017. № 1(45). C. 171–177.
23. Щапов А.Н. Результат ЕГЭ и успешность обучения в вузе // Химия в школе. 2009. № 6. C. 43–44.
24. Alshanqiti A., Namoun A. Predicting student performance and its influential factors using hybrid regression and multi-label classification // IEEE Access. 2020. No. 8. P. 203827–203844. DOI:10.1109/ACCESS.2020.3036572
25. Duckworth A.L. Grit: Why Passion and Persistence are the Secrets to Success. London, 2019. 440 p.
26. Kardaş K., Güvenir A. Analysis of the effects of Quizzes, homeworks and projects on final exam with different machine learning techniques // EMO Journal of Scientific. 2020. Vol. 10(1). P. 22–29.
27. Musso M.F., Hernández C.F.R., Cascallar E.C. Predicting key educational outcomes in academic trajectories: A machine-learning approach // Higher Education. 2020. Vol. 80(5). P. 875–894. DOI:10.1007/s10734-020-00520-7
28. Oliveira I.M., Taveira M.D., Porfeli E.J. Career Preparedness and School Achievement of Portuguese Children: Longitudinal Trend Articulations // Frontiers in Psychology. 2017. Apr 24. № 8. 618 p. DOI:10.3389/fpsyg.2017.00618
29. Opposs D., Baird J.-A., Chankseliani M., Johnson D., Stobart G., Kaushik A., McManus H. Governance structure and standard setting in educational assessment // Assessment in Education. 2020. Vol. 27. № 2. P. 192–214. DOI:10.1080/0969594X.2020.1730766
30. Waheed H., Hassan S.U., Aljohani N.R., Hardman J., Alelyani S., Nawaz R. Predicting academic performance of students from VLE big data using deep learning models // Computers in Human Behavior. 2020. No. 104 (October 2019). P. 106189. DOI:10.1016/j.chb.2019.106189
31. Yağcı M. Educational data mining: prediction of students' academic performance using machine learning algorithms // Smart Learning Environments. 2022. Vol. 9. № 1. P. 1–19. DOI:10.1186/s40561-022-00192-z