Разработка и апробация инструмента оценивания социально-эмоционального развития в основной школе

Введение

Система образования обеспечивает учащихся не только знаниями, умениями и навыками в конкретных предметных областях; через образовательные стандарты [6] школа заявляет обществу, что социально-личностное развитие учащегося — не менее важная сторона учебного процесса и способствует эффективной адаптации ребенка к миру. Наличие в ФГОС раздела о личностных образовательных результатах неизбежно ставит перед педагогическим сообществом вопросы поиска средств их формирования, контроля и оценки: какие инструменты лучше всего способствуют развитию личности учащегося и насколько успешно школа справляется с этой задачей?

Настоящее исследование посвящено разработке методики оценки некоторых личностных результатов освоения образовательной программы для учащихся основной школы (5—9-й классы).

Оценка личностных образовательных результатов сталкивается с целым рядом как практических, так и фундаментальных проблем. Согласно закону «Об образовании» РФ [7], личностные образовательные результаты не подлежат оцениванию, а значит, могут измеряться только в рамках мониторинговых исследований. Однако к такому типу исследований предъявляются достаточно специфические и жесткие требования: а) опрос большой выборки респондентов (что ограничивает возможности применения средств индивидуальной диагностики); б) учет принадлежности респондентов к разным социальным группам (массовые мониторинги обычно проводятся как на региональном, так и на федеральном уровне); в) необходимость поиска средств точной и быстрой обработки и анализа результатов с возможностью предоставления этически корректной обратной связи педагогам, директорам школ, сотрудникам органов управления образования. К сожалению, на настоящий момент доступно ограниченное число инструментов, пригодных к использованию в массовом мониторинге, большинство из них направлено на анализ показателей освоения образовательной программы учащимися начальной школы [1; 2; 3].

Другой немаловажной проблемой, с которой сталкиваются разработчики подобного рода инструментария — это аккуратный учет особенностей социально-эмоционального развития в детском и подростковом возрасте. Классические психологические теории развития личности (Э. Эриксон, Д. Б. Эльконин и пр.) не очень хорошо подходят для использования в качестве основы для подобных мониторингов — довольно сложно напрямую увязать те фундаментальные процессы, которые они описывают, с конкретными требованиями образовательных стандартов. Так, Д.Б. Эльконин в качестве главных характеристик младшего подросткового возраста (целевая аудитория разрабатываемого нами мониторингового инструмента) называет следующие: расширение социальной активности, изменение отношений со сверстниками и учителями, развитие чувства взрослости, возникновение рефлексии и т. д. [8]. Это описание дает представление о базовых процессах, происходящих с личностью подростка, однако, как нам представляется, для того чтобы использовать его как основу для массовых мониторинговых исследований, ему не хватает следующего шага — конкретных поведенческих индикаторов происходящих с подростком изменений.

Выходом из этого положения может быть внедрение в лексикон педагогов и школьных психологов понятия «социально-эмоциональные навыки». Это конкретные аспекты поведения человека, которые позволяют ему распознавать свои эмоции и управлять ими, успешно справляться с конфликтами, понимать и проявлять сочувствие к другим, устанавливать и поддерживать позитивные отношения, следовать этике, вносить конструктивный вклад в референтные сообщества, устанавливать и достигать цели [14; 28]. Это понятие широко используется в международных образовательных исследованиях [25]. Основой для выделения структуры социально-эмоциональных навыков является модель Большой пятерки личностных черт [18], позволяющая через поведенческие характеристики описать тот или иной социально-эмоциональный навык в образовательном контексте. В данном случае предлагается начать с выделения и разработки метода оценки трех основных навыков, а именно: навыка достижения целей (включающего ответственность, планирование и ориентацию на результат и основывающегося на сознательности, эмоциональной стабильности и открытости новому); навыка работы с другими (включающего социабельность, уважение и лидерство и основывающегося на экстра­версии и согласии); навыка управления эмоциями (включающего оптимизм, самоуважение и уверенность и основывающегося на экстраверсии, эмоциональной стабильности и согласии). Выделение этих навыков осуществлялось с учетом международного опыта [25] и с привлечением отечественных экспертов-психологов [более подробно модель описана в: 4]. Этот набор навыков не является исчерпывающим, и в будущих исследованиях может быть расширен. Каждый из перечисленных навыков мы рассматриваем как отдельный конструкт.

Несмотря на то, что изначально пять личностных черт выделены на выборке взрослых, существует достаточно большое количество научных работ, которые показывают, что пя­тифакторная структура воспроизводится и в детском, и в подростковом возрасте [9; 22; 23]. Исследования свидетельствуют о том, что устойчивость личностных черт в модели Большой пятерки стабильно растет от раннего школьного возраста к поздней юности (когда их можно считать уже окончательно сформировавшимися) [14—16]. Следовательно, измерения здесь совершенно оправданы, при условии, что разработчики инструментария будут тщательно учитывать возрастные нормы и не экстраполировать результаты на другие, пусть и близкие, возрастные когорты. Действительно, на основе модели Большой пятерки разработано множество психодиагностических инструментов, применяемых для оценивания личностных черт и социально-эмоциональных навыков у детей и подростков [9; 21; 23; 27] Обзору этих инструментов можно посвятить отдельную статью, однако ограничения, накладываемые на объем статьи, не позволяют нам остановиться на этом подробнее. За последние годы накопилось достаточно большое количество исследований, результаты которых свидетельствуют о взаимосвязи пяти базовых личностных черт с академическими достижениями [13; 16; 22], ориентацией на здоровый образ жизни [10, 24], просоциальным поведением [11; 17]. Однако, поскольку личностные черты формируются под влиянием множества факторов, далеко не все из которых можно учесть в школьном контексте, их нельзя напрямую использовать для оценки образовательных результатов. Предлагаемое нами понятие «социально-эмоциональные навыки» является переходным между личностными чертами, с одной стороны, и личностными образовательными результатами — с другой, определяя те поведенческие паттерны, которые можно формировать в школьном контексте. Личностные образовательные результаты определяются во ФГОС как «... готовность и способность обучающихся к саморазвитию, сформированность мотивации к обучению и познанию, ценностно-смысловые установки обучающихся, отражающие их индивидуально-личностные позиции, социальные компетенции, личностные качества; сформированность основ гражданской идентичности» [6]. Из определения можно выделить несколько составляющих, которые в стандартах развернуто представлены в разделе результатов: это ценности и установки, мотивация, социальные компетенции и личностные качества. В них отражены, например, такие навыки, как кооперация, эмоциональный контроль, эмпатия, настойчивость и др. Соотнесение социально-эмоциональных навыков и личностных образовательных результатов по ФГОС проводилось по методологии, описанной Уэббом [29], которая включает в себя: а) сопоставление измеряемых понятий (в нашем случае — «социально-эмоциональные навыки» и «личностные образовательные результаты»); б) сопоставление измеряемых категорий (в нашем случае — отдельные навыки: «достижение целей», «работа с другими» и «управление эмоциями»; и формулировки отдельных результатов из стандарта). Сопоставление проводилось с помощью трех экспертов (двух психологов и педагога, занимающегося исследованиями в образовании) и было показано, что по обоим пунктам пересечения значительны [более подробно результаты этого сравнения описаны в статье авторов: 4].

В настоящем исследовании мы поставили задачу разработать мониторинговый инструмент оценки трех социально-эмоциональных навыков. Инструмент может применяться в двух возрастных когортах: 5—6-е классы и 7—9-е классы (чтобы учесть возрастную динамику) и разрабатывался в формате самоотчета, который, несмотря на недостатки, связанные с социальной желательностью и искажениями, связанными со стилем ответа [12; 15], все еще продолжает быть наиболее популярным в мониторинговых исследованиях. К безусловным достоинствам этой формы опроса, обусловившим ее выбор, относятся относительная простота разработки, независимость от субъективных искажений со стороны администраторов исследования (которыми в образовательных мониторингах часто выступают учителя, а значит, их личные отношения к учащимся своих классов не повлияют на результат), легкость обработки данных и широкие возможности для их анализа. Разрабатываемый инструмент не охватывает пока всего спектра личностных образовательных результатов, однако в дальнейшей работе перечень оцениваемых навыков может быть расширен.

Инструмент

Разработанный опросник состоит из 76 утверждений, распределенных по трем шкалам: «Достижение целей» (26 вопросов), «Работа с другими» (28 вопросов), «Управление эмоциями» (22 вопроса). Каждое из утверждений представляет собой описание того или иного поведения или переживаний учащихся в конкретных ситуациях, которые они должны оценить по 4-балльной шкале Ликерта (совершенно не согласен/совершенно согласен). Пример утверждения: «Я анализирую свои эмоции и причины, которые их вызвали» (шкала «Управление эмоциями»). Вопросы разрабатывались группой экспертов на основании теоретической рамки и поведенческих индикаторов, описанных в статье «Новая теоретическая модель для оценки социально-эмоциональных навыков в начальной школе» [4]. Финальная версия обсуждалась командой психологов, специалистов в области психологии развития и психодиагностики.

Выборка и процедура

Работа выполнена на данных апробационного исследования, в котором приняли участие 376 учащиеся 5—9-х классов школ мегаполиса Центральной России (выборка не репрезентатив­на по городу), из них 179 мальчиков (48%) и 188 девочек (52%), 8 человек не указали свой пол. Средний возраст учащихся — 12,6 лет, возраст младшего участника на момент тестирования — 10 лет, старшего — 16 лет. Распределение участников по возрасту представлено в табл.1. Анализ проводился для двух групп учащихся из 5—6-х классов (166 человек) и 7—9-х классов (210 человек). Опрос проводился в компьютерных классах онлайн, было получено согласие родителей на участие детей в тестировании, все данные собирались и обрабатывались анонимно. В исследовании приняли участие школы, которые сами выразили желание к нему присоединиться.

Таблица 1

Распределение участников апробации по возрасту

Для анализа психометрических характеристик и оценки учащихся по выбранным шкалам использовались методы современной теории тестирования IRT (Item Response Theory). Для оценивания учащихся применялась однопараметрическая модель рейтингового оценивания RSM (Rating scale model), которая относится к моделям Раша и применяется к данным, полученным с помощью рейтинговых шкал (например, шкала Ликерта [20]). Ниже представлены результаты проверки следующих психометрических характеристик: размерность (с помощью метода главных компонент на стандартизированных остатках, критическим будет считаться собственное значение фактора равное 2); различное функционирование заданий (DIF — differential item functioning) в зависимости от возраста (сравниваются 5—6-е и 7—9-е классы); согласие данных с моделью и надежность.

Для проведения анализа различного функционирования заданий (Differential Item Functioning, DIF) применялись метод Мантеля—Хензеля и метод оценки практической значимости. Для оценивания согласия данных с моделью используется показатель MNSQ (mean square statistics). Если статистики согласия выходят за границы критического интервала [0,7; 1,3], данные рассматриваются как не соответствующие модели.

Оценивание в рамках IRT позволяет получить баллы на метрической шкале логитов. Все баллы затем были переведены в шкалу стенов со средним значением 5,5 и стандартным отклонением 2 для удобства представления данных и интерпретации.

Надежность оценивалась с помощью классического коэффициента Альфа Кронбаха.

Для проведения анализа использовалось следующее программное обеспечение: SPSS — для расчета описательных статистик и корреляций, Winsteps — для проведения анализа в рамках современной теории тестирования.

Результаты

Анализ размерности

Так как навыки «Достижение цели», «Работа с другими» и «Управление эмоциями» рассматриваются нами как отдельные конструкты, каждый из которых состоит из нескольких компонентов, анализ размерности проводился для показателей сформированности каждого навыка по отдельности. Для этого был проведен эксплораторный факторный анализ с целью выявления предполагаемой структуры подшкал внутри каждого из навыков и последующего анализа психометрических характеристик каждой из подшкал.

В табл. 2—4 представлены нагрузки для всех утверждений в зависимости от выделившегося фактора. Нагрузки ниже 0,29 не указывались.

Таблица 2

Распределение нагрузок в зависимости от факторов — Достижение цели

Серым цветом в таблице выделены утверждения, нагрузка для которых ни для одного из факторов не превышала 0,25. Данные утверждения были исключены из дальнейшего анализа. В фактор 4 вошли всего 4 задания, три из которых имеют схожую нагрузку для фактора 2, и смысловая интерпретация фактора 4 затруднительна, поэтому вопрос 1 был также исключен из анализа и далее мы остановимся на трехфакторной структуре данной шкалы. Таким образом, из дальнейшего анализа были исключены 9 утверждений, а итоговое количество вопросов составило 17.

Полученная трехфакторная структура соответствует теоретической структуре навыка «Достижение цели» и могут быть проинтерпретированы как Ответственность (Ф1), Планирование (Ф2) и Ориентация на результат (Ф3).

Таблица 3

Распределение нагрузок в зависимости от факторов — Работа с другими

Аналогично предыдущей таблице, серым цветом выделены утверждения, нагрузка для которых ни для одного из факторов не превышала 0,3. В фактор 4 вошли всего 4 задания, 3 из которых имеют схожую нагрузку для фактора 2.

Утверждение 20 «Я понимаю желания других людей» было также исключено из анализа. Всего было исключено 7 пунктов, а итоговое количество утверждений составило 21.

Мы остановимся на трехфакторной структуре, которая соответствует теоретической структуре навыка «Работа с другими». Полученные факторы могут быть проинтерпретиро­ваны как Лидерство (Ф1), Уважение (Ф2) и Социабельность (Ф3).

Таблица 4

Распределение нагрузок в зависимости от факторов — Управление эмоциями  

Полученная структура не соответствует теоретическим предположениям. По результатам анализа навык «Управление эмоциями» состоит из двух подшкал, которые могут быть проинтерпретированы как Негативный аффект (Ф1) и Контроль (Ф2). Всего было исключено 7 пунктов, а итоговое количество утверждений составило 15.

Дополнительно была проверена надежность-согласованность удаленных пунктов. Надежность всех пунктов вместе составила 0,4, что является низким показателем надежности. Надежность-согласованность удаленных заданий для каждого навыка отдельно не превышает 0,3.

Далее в работе мы будем рассматривать выделенные факторы как отдельные подшкалы.

Анализ психометрических характеристик

В ходе анализа психометрических характеристик были проанализированы размерность получившихся подшкал, согласие данных с моделью, надежность и различное функционирование заданий (DIF) для двух возрастных категорий (учащиеся 5—6-х и 7—9-х классов). Результаты представлены в табл. 5.

Вопрос 20 «Я умею выслушивать разные точки зрения» подшкалы Уважение навыка «Работа с другими» продемонстрировало DIF: разница в трудности для двух возрастных групп превысила значение 0,64 и показатель теста Мантеля—Хензеля оказался значимым. Этот вопрос значимо сложнее для учащихся 5—6-х классов, им труднее с ним согласиться, чем учащимся 7—9-х классов. Данное задание было исключено из дальнейшего анализа.

Также стоит обратить внимание на достаточно низкий показатель надежности для подшкалы «Планирование навыка» шкалы «Достижение цели». Данная подшка­ла не была исключена из инструмента в связи с ее содержательной ценностью, однако к интерпретации результатов данной шкалы необходимо подходить с осторожностью. Психометрические показатели остальных подшкал могут считаться хорошими: все под­шкалы одномерны, статистики согласия для всех вопросов находятся в допустимом интервале, надежность по коэффициенту Альфа Кронбаха достаточно высокая для измерения личностных характеристик.

В данной статье представлены характеристики отдельных подшкал, и, интерпретируя результаты, необходимо использовать именно их. Возможность построения обобщенных индексов требует отдельного обсуждения и не рассматривается в рамках данной статьи.

Описательные статистики

В табл. 6 представлены описательные статистики для двух возрастных групп (5—6-е и 7—9-е классы) по всем подшкалам, показавшим хорошие психометрические характеристики.

Таблица 6

Описательные статистики по шкалам социально-эмоциональных навыков, в зависимости от года обучения

Из таблицы видно, что по большинству подшкал учащиеся 7—9-х классов показывают более низкие результаты. Для оценки значимости этих различий было проведено сравнение средних с помощью t-критерия Стьюдента. Различия между двумя возрастными группами по подшкалам навыка «Достижение цели» оказались незначимы для под­шкалы «Ответственность» (t(374)= 0,58; p=0,56). Однако для подшкалы «Ориентация на результат» группы значимо различаются между собой («Ориентация на результат»: t(374)= 4,29; p<0,001).

Для шкал навыка «Работа с другими» были получены схожие результаты. Различия между двумя возрастными группами оказались незначимы для подшкалы «Лидерство» (t(374)= 1,05; p=0,29), но для двух других подшкал результаты учащихся 7—9-х классов оказались значимо ниже («Уважение»: t(374)= 3,86; p<0,001; «Социабельность»: t(374)= 3,95; p<0,001).

Результаты по группе подшкал навыка «Управление эмоциями» также значимо различаются в пользу младших учащихся для подшкалы «Контроль» (t(374)= 3,04; p=0,003). По подшкале «Негативный аффект» различий не обнаружено (t(374)=0,96; p=0,34).

Заключение

В данной статье представлен инструмент, разработанный для мониторинга развития социально-эмоциональных навыков в основной школе. Психометрический анализ с применением современной теории тестирования (IRT) показал, что инструмент обладает хорошими психометрическими характеристиками и может быть использован для оценки развития социально-эмоциональных навыков подростков. Два из трех оцениваемых социально-эмоциональных навыков продемонстрировали совпадение с заложенной изначально теоретической структурой («Работа с другими» и «Достижение целей»). Навык «Управление эмоциями» показал структуру, отличную от изначально задуманной. В нем были выделены две субшкалы («Негативный аффект» и «Контроль»). Все подшкалы, оценивающие социально-эмоциональные навыки, не продемонстрировали DIF по возрасту (различное функционирование заданий на разных выборках, которое может привести к дискриминации разных групп учащихся), а следовательно, могут быть использованы на обеих возрастных группах.

Отсутствие DIF позволило провести сравнительный анализ навыков у учащихся разных возрастов. В ходе анализа были выявлены возрастные различия между учащимися 5—6-х и 7—9-х классов для большинства оцениваемых показателей социально-эмоционального развития, что подтверждает заявленную в теоретической рамке инструментария потенциальную изменчивость обозначенных навыков. Во всех случаях, когда были зафиксированы различия, подростки более старшего возраста получили более низкие баллы. Это важный результат, который свидетельствует о том, что в основной школе социально-эмоциональному развитию учащихся уделяется недостаточно внимания. Несмотря на то, что причины могут лежать в естественном ходе развития личности, тем не менее, снижение результатов говорит о том, что среда (в первую очередь школа) не компенсирует этого снижения и не обеспечивает учащихся инструментами, с помощью которых они могли бы справляться с происходящими изменениями.

На первый взгляд, снижение результатов в старшей возрастной группе не согласуется с данными предыдущих исследований, которые показывают, что уровень устойчивости черт повышается от школьного возраста к ранней юности [16; 17; 18], а также что с возрастом повышается уровень эмоциональной стабильности, согласия и сознательности, что подтверждается в том числе в исследованиях российских подростков [26]. Однако уровень устойчивости повышается не только у черт, лежащих в основе выделенных нами навыков (экстраверсия, согласие, сознательность), но и у всех остальных (интроверсия, консерватизм). Говоря о социально-эмоциональных навыках, мы имеем в виду, в первую очередь, поведение, которое может реализовываться за счет различных механизмов. Усиление черт, не входящих в состав того или иного навыка, может приводить к нарушению уже закрепившегося поведения. Можно предположить, что снижение уровня развития социально-эмоциональных навыков в более старшем подростковом возрасте связано с недостатком компенсационных механизмов, сдерживающих проявления черт, которые не входят в основу навыков. Программы, направленные на социально-эмоциональное развитие в подростковом возрасте [19] как раз направлены на выработку подобных механизмов. К сожалению, нельзя сказать, что в российской школе такие программы широко распространены (хотя в последние годы начинается движение по их внедрению [5]). Поэтому мы полагаем, что снижение уровня оцениваемых социально-эмоциональных навыков в более старшей возрастной группе происходит именно потому, что необходимые для реализации этих навыков компенсационные механизмы еще не выработаны, а черты, которые задерживают развитие навыка, становятся более устойчивыми.