Психологическая наука и образование
2023. Том 28. № 3. С. 33–46
doi:10.17759/pse.2023280303
ISSN: 1814-2052 / 2311-7273 (online)
Использование в конкурсных процедурах критериев оценки инклюзивных практик на основе доказательного подхода
Аннотация
Работа представляет результаты апробации разработанного в Институте проблем инклюзивного образования МГППУ подхода к экспертной оценке инклюзивных практик в образовательных организациях на основе интеграции критериев инклюзивности и требований доказательности. В оценке участвовали 25 федеральных экспертов по инклюзивному образованию, которые оценивали 30 кейсов в трех номинациях инклюзивных практик, поданных на федеральный этап конкурса. Эксперты оценивали заявки в баллах, заполняя экспертные протоколы, которые обрабатывались для определения уровня инклюзивности практики (нулевого, начального, базового или продвинутого). Затем было организовано рефлексивное обсуждение применения экспертами разработанного нами подхода к оценке инклюзивных практик по критериям инклюзивности и доказательности, результаты этого обсуждения подвергли тематическому анализу. Исследование выявило, что распределение экспертных оценок инклюзивных практик по уровням отличается от равномерного (p < 0,01), подтверждая работоспособность критериев как инструмента оценки. При этом воспроизводимость результатов экспертной оценки оказалась на приемлемом уровне (83%) с учетом ненадежности дифференциации нулевого и начального уровней (выборка повторных измерений: N = 12). Тематический анализ экспертной рефлексии показал полезность критериев оценки как инструмента не только для экспертизы, но и развития экспертного мышления самих экспертов, а также профессионального развития конкурсантов. Результаты тематического анализа выявили необходимость широкого обсуждения и дальнейшего изучения ключевых категорий инклюзии (разнообразие, участие, принятие и др.) с целью их более точной операционализации в качестве критериев инклюзивности.
Общая информация
Ключевые слова: инклюзия, критерии, доказательный подход, конкурсные задания, экспертная оценка, экспертное знание
Рубрика издания: Психология образования
Тип материала: научная статья
DOI: https://doi.org/10.17759/pse.2023280303
Финансирование. Исследование выполнено в рамках государственного задания Министерства просвещения Российской Федерации от 08.02.2023 № 073-00038-23-01 «Экспертно-аналитическое и научно-методическое сопровождение развития инклюзивной образовательной среды организаций общего и дополнительного образования регионов Российской Федерации».
Получена: 16.04.2023
Принята в печать:
Для цитаты: Алехина С.В., Быстрова Ю.А., Самсонова Е.В., Шеманов А.Ю. Использование в конкурсных процедурах критериев оценки инклюзивных практик на основе доказательного подхода // Психологическая наука и образование. 2023. Том 28. № 3. С. 33–46. DOI: 10.17759/pse.2023280303
Полный текст
Введение
Методы исследования
- На основе экспертного опроса были выделены ключевые принципы инклюзивного образования [2; 4].
- Критерии оценки инклюзивных практик были разработаны на основе доказательного подхода и ключевых принципов инклюзивного образования [2; 3; 4].
- Анализ стандарта доказательности позволил выделить основные параметры описания инклюзивных образовательных практик, которые были включены в требования к описанию лучшей инклюзивной практики в рамках Всероссийского конкурса «Лучшая инклюзивная школа». Описание успешной ИП на основе доказательного подхода предполагало представление практического кейса.
- В качестве инструмента оценки ИП был разработан экспертный протокол, представляющий собой таблицу, включающую 6 критериев инклюзивности практик (принятие, участие, доступность, вариативность, адаптивность, поддержка и индивидуальный подход) и 4 показателя доказательности (регламентированность, обоснованность данных, достижение образовательных результатов, обоснованность данных об образовательных результатах практики), сгруппированных по трем уровням состояния практики – начальному (1–3), базовому (4–7), продвинутому (8–10).
- Для апробации экспертного протокола были рассмотрены 30 кейсов из трех номинаций, пришедших на федеральный этап конкурса заявок, которые были оценены 25 федеральными экспертами.
- В результате оценки экспертами кейсов были получены данные экспертных протоколов, видеозапись рефлексивного вебинара с экспертами, на которой отражены их мнения о процедуре оценки, критериях оценки и сделаны предложения по улучшению процедуры и инструмента оценки, включая экспертный протокол. Некоторые эксперты предоставили также свои размышления и предложения в текстовом виде.
- Полученные данные экспертных протоколов, а также результаты рефлексии экспертов были обработаны. Для каждого экспертного протокола было рассчитано среднее арифметическое на основе поставленных экспертом баллов и числа рубрик заполненного протокола. На основании этого среднего определялся уровень ИП: нулевой, если среднее было менее 1, начальный – от 1 до менее 4, базовый – от 4 до менее 8, продвинутый – от 8 до 10. Таким образом, нами была добавлена еще одна категория для оценки конкурсных заявок – нулевой уровень, поскольку многие эксперты не только высказались за его введение на рефлексивном вебинаре, но и в процессе оценки использовали его на практике. Далее выполнялась проверка статистической гипотезы о различии частот попадания конкурсных заявок в различные категории (нулевой, начальный, базовый, продвинутый уровни). Результаты рефлексии были подвергнуты тематическому анализу. В качестве метода статистической обработки распределения по категориям конкурсных заявок применен одновыборочный критерий согласия хи-квадрат, посредством которого проверялось отличие эмпирического распределения от равномерного распределения.
- В качестве методологии тематического анализа использовался рефлексивный метод, который, следуя Г.П. Щедровицкому и его последователям, нами рассматривался как форма системной теоретической деятельности, направленная на создание и осмысление общественного продукта, его действий и их законов [1; 19; 20; 21]. Рефлексивный метод предполагал анализ экспертами своего первого опыта работы с протоколами, разработанными на основе критериев доказательности инклюзивных практик, при оценивании конкурсных работ. Для нас особенно ценной была рефлексия понимания критериев и показателей, сложившаяся у разных экспертов, являющихся опытными педагогами в сфере инклюзивного образования, применительно к разным конкурсным работам. Таким образом, реализован цикл рефлексивной деятельности экспертов: анализ и оценка конкурсных работ (контроль); критика (коррекция критериев и протокола оценки); предложения по регламентации критериев. Рефлексивный метод позволяет не только организовать дискуссию на основе сложной коммуникации, выделить мнения экспертов о сильных и слабых сторонах инструмента оценки, но и спроектировать изменения в инструменте оценки [1; 16; 19; 20; 21].
Результаты
Таблица 1. Оценка конкурсных инклюзивных практик экспертами
№ кейса ИП |
Эксперт 1 |
Эксперт 2 |
Среднее |
Уровень |
1. |
0 |
0 |
0 |
0 |
2. |
1,17 |
5,21 |
3,19 |
1 |
3. |
9,5 |
9,5 |
3 |
|
4. |
2,25 |
2,88 |
2,56 |
1 |
5. |
2,46 |
2,46 |
1 |
|
6. |
2,0 |
0,5 |
1,25 |
1 |
7. |
2,16 |
3,12 |
2,64 |
1 |
8. |
1,75 |
1,75 |
1 |
|
9. |
2,21 |
2,67 |
2,44 |
1 |
10. |
1,79 |
1,79 |
1 |
|
11. |
1,5 |
1,5 |
1 |
|
12. |
1,375 |
1,375 |
1 |
|
13. |
0,71 |
0,71 |
0 |
|
14. |
2,62 |
2,62 |
1 |
|
15. |
1,0 |
0,3 |
0,65 |
0 |
16. |
1,42 |
1,42 |
1 |
|
17. |
0 |
0 |
0 |
|
18. |
0,83 |
0,83 |
0 |
|
19. |
4,04 |
4,04 |
2 |
|
20. |
0,5 |
0,5 |
0 |
|
21. |
1,17 |
1,17 |
1 |
|
22. |
6,83 |
2,75 |
4,79 |
2 |
23. |
0,625 |
0,2 |
0,41 |
0 |
24. |
2,21 |
2,21 |
1 |
|
25. |
2,17 |
2,17 |
1 |
|
26. |
0,125 |
0,125 |
0 |
|
27. |
2,75 |
1,92 |
2,34 |
1 |
28. |
5,5 |
5,5 |
2 |
|
29. |
4,71 |
4,67 |
4,69 |
2 |
30. |
1,42 |
1,125 |
1,27 |
1 |
N |
N=12 (пар оценок) |
N=30 (всего оценок) |
Уровень |
Нулевой 0 |
Начальный 1 |
Базовый 2 |
Продвинутый 3 |
Частота |
8 |
17 |
4 |
1 |
№ п/п |
Эффекты |
Примеры высказываний |
1. |
В качестве критерия оценки введено требование доказательности ИП |
«Мы искали всегда инновации, что-то новое, а не искали доказательность» «…Мы увидели в этом инструменте и в этих критериях новый подход к оценке практик» |
2. |
Критерии помогают определить сильные и слабые стороны практики |
«Инструмент дает возможность выявить сильные и слабые стороны описания практики и на этой основе определить направления ее совершенствования» |
3. |
Критерии помогают определить риски практики |
«Практики не описывают риски, не умеют. А в критериях они учитываются, это хорошо» |
4. |
Критерии помогают определить ресурсы, дефициты, разрывы целей и задач, разрывы целей и действий, действий и результатов |
«Данный инструмент помогает эксперту… показать практикам, в каком направлении можно двигаться, где сила, где ресурс, где большие дефициты, где разрывы между целями и задачами, целями и действиями или действиями и результатами» |
5. |
Критерии помогают определить вовлеченность (родителей и других участников образовательного процесса) |
«Во многих практиках (кейсах) номинально называются родители, нет реальных доказательств их вовлеченности и субъектности позиции родителя» |
6. |
Для конкурсантов знакомство с критериями оценки способствует профессиональному развитию педагогов, проектирующих и создающих ИП |
«Инструмент хороший не столько для отбора практики, сколько для их анализа, доращивания и экспертирования… как помочь достичь такого роста, допроектировать практику» |
- Ввести обязательное требование описания инклюзивности как результата практики и способов подтверждения результата, в том числе по содержательным критериям, а не только формально-количественным.
- Составить методические рекомендации для конкурсантов и/или чек-лист для подготовки описания ИП на конкурс, включающие рекомендации по методам обоснования эффектов ИП.
- Задать конкурсантам требования к регламенту описания ИП.
- Детализировать критерии внутри уровней.
- Устранить дублирование в критериях.
- Ввести в протокол оценки нулевой уровень ИП.
- Ввести в протокол оценки столбец комментариев.
- Сделать глоссарий по критериям для экспертов.
- Расширить результат практики как предмет оценки: кроме образовательного ввести другие типы результатов.
- Уточнить характеристики уровней.
- Уточнить формулировки (принятие, участие, поддержка, индивидуализация и др.) и набор критериев.
Обсуждение результатов
Заключение
Литература
- Алексеев Н.Г. Принципы и критерии экспертизы программ развития образования // Вопросы методологии. 1994. № 2. С. 59–68.
- Алехина С.В., Мельник Ю.В., Самсонова Е.В., Шеманов А.Ю. К вопросу оценки инклюзивного процесса в образовательной организации: пилотажное исследование // Психолого-педагогические исследования. 2019. Том 11. № 4. С. 121–132. DOI:10.17759/psyedu.2019110410
- Алехина С.В., Мельник Ю.В., Самсонова Е.В., Шеманов А.Ю. Оценка инклюзивного процесса как инструмент проектирования инклюзии в образовательной организации // Психологическая наука и образование. 2021. Том 26. № 5. C. 116–126. DOI:17759/pse.2021260509
- Алехина С.В., Мельник Ю.В., Самсонова Е.В., Шеманов А.Ю. Экспертная оценка параметров инклюзивного процесса в образовании // Клиническая и специальная психология. 2020. Том 9. № 2. С. 62–78. DOI:10.17759/cpse.2020090203
- Алехина С.В., Самсонова Е.В., Шеманов А.Ю. Подход к моделированию инклюзивной среды образовательной организации // Психологическая наука и образование. 2022. Том 27. № 5. C. 69–84. DOI:17759/pse.2022270506
- Арчакова Т.О., Гарифулина Э.Ш. Участие детей в России: теоретическое осмысление и развитие практики // Социальные науки и детство. 2020. Том 1. № 1. C. 68–87. DOI:17759/ssc.2020010106
- Бусыгина Н.П., Горобцова А.В. Качественная методология и доказательные практики в психологии и образовании // Психологическая наука и образование. 2021. Том 26. № 6. C. 117–127. DOI:10.17759/pse.2021260609
- Бусыгина Н.П., Подушкина Т.Г., Зевина Д.А. Методологические проблемы доказательного описания психологических и социальных практик // Социальные науки и детство. 2021. Том 2. № 1. C. 24–36. DOI:10.17759/ssc.2021020102
- Бусыгина Н.П., Подушкина Т.Г., Станилевский В.В. Доказательный подход в образовании: критический анализ актуальных дискуссий // Психолого-педагогические исследования. 2021. Том 13. № 4. C. 162–176. DOI:10.17759/psyedu.202113-410
- Бусыгина Н.П., Подушкина Т.Г., Станилевский В.В. Доказательный подход в социальной сфере: основные понятия и принципы, история, перспективы // Социальные науки и детство. 2020. Том 1. № 1. C. 8–26. DOI:10.17759/ssc.2020010101
- Гуцыкова С.В. Метод экспертных оценок: теория и практика. М.: Институт психологии РАН, 2011. 144 с.
- Зарецкий В.К. У истоков рефлексивно-деятельностного подхода: к 120-летию Петра Яковлевича Гальперина, к 90-летию Никиты Глебовича Алексеева // Консультативная психология и психотерапия. 2022. Том 30. № 4. С. 11–27. DOI:10.17759/cpp.2022300402
- Ковалева Т.М. Оформление новой профессии тьютора в российском образовании // Вопросы образования. 2011. № 2. С. 163–181.
- Конвенция ООН о правах инвалидов: принята резолюцией 61/106Генеральной Ассамблеи от 13 декабря 2006 г. (ратифицирована Федеральным законом от 3 мая 2012 г. № 46-ФЗ) [Электронный ресурс]. URL: https://www.un.org/ru/documents/decl_conv/conventions/disability.shtml; https://base.garant.ru/70170066/ (дата обращения: 03.03.2023).
- Конвенция ООН о правах ребенка: принята резолюцией 44/25Генеральной Ассамблеи от 20 ноября 1989 г. [Электронный ресурс]. URL: https://www.un.org/ru/documents/decl_conv/conventions/childcon.shtml (дата обращения: 03.03.2023).
- Леонтьев Д.А., Иванченко Г.В. Комплексная гуманитарная экспертиза. Методология и смысл. М.: Смысл, 2008. 133 с.
- ООН: Замечание общего порядка № 4 (2016) о праве на инклюзивное образование / Комитет ООН по правам инвалидов [Электронный ресурс]. URL: https://tbinternet.ohchr.org/_layouts/15/treatybodyexternal/Download.aspx?symbolno=CRPD/C/GC/4&Lang=en (дата обращения: 03.03.2023).
- Самсонова Е.В., Быстрова Ю.А., Шеманов А.Ю., Кутепова Е.Н.Компетенции тьютора в инклюзивном образовании: специфика программ профессиональной подготовки // Психолого-педагогические исследования. 2022. Том 14. № 2. С. 84–99. DOI:10.17759/psyedu.2022140206
- Чупина В.А. Рефлексивный метод и его роль в развитии профессионального мышления управленческих кадров // Образование и наука. 2010. № 11 (79). С. 12–22.
- Щедровицкий Г.П. Проблемы методологии системного исследования. М.: Знание, 1964. 489 с.
- Щедровицкий Г.П. Рефлексия и ее проблемы // Рефлексивные процессы и управление. Том 1. № 1. С. 16–28.
- Anastasiou D., Felder M., De Miranda Correia L.A., Shemanov A., Zweers I., Ahrbeck B. Chapter 11. The impact of article 24 of the CRPD on special and inclusive education in Germany, Portugal, the Russian federation, and the Netherlands // On Educational Inclusion: Meanings, History, Issues, and International Perspectives / J.M. Kauffman (ed.). Vol. I. Connecting Research with Practice in Special and Inclusive Education. Series edited by Philip Garner. Routledge, London, New York, 2020. P. 216–248.
- Annamma S.A., Ferri B.A., Connor D.J. Disability critical race theory: Exploring the intersectional lineage, emergence, and potential futures of DisCrit in education // Review of Research in Education. Vol. 42. № 1. P. 46–71.
- Boyle C., Koutsouris G., Mateu A.S., Anderson J. The matter of ‘evidence’ in the inclusive education debate // Oxford Research Encyclopedia of Education. Oxford University Press. USA, 2020. DOI:10.1093/acrefore/9780190264093.013.1019
- Connor D.J., Ferri B.A. The conflict within: resistance to inclusion and other paradoxes in special education // Disability and Society. 2007. Vol. 22. № P. 63–77. DOI:10.1080/09687590601056717
- De Weger E., Vooren N.J.E. van, Wong G., Dalkin S., Marchal B., Drewes H.W., Baan C.A. What’s in a Realist Configuration? Deciding Which Causal Configurations to Use, How, and Why // International Journal of Qualitative Methods. 2020. Vol. 19. P. 1–8. DOI:10.1177/1609406920938577
- Francis-Auton E., Sarkies M.N., Pomare C., Long J.C., Hardwick R., Nguyen H.M., Braithwaite J. Real Talk: A Realist Dialogic Approach in a Realist Evaluation // International Journal of Qualitative Methods. 2022. Vol. 21. DOI:1177/16094069221120748
- Gordon-Gould P., Hornby G. The progress of inclusion and the elephant in the classroom // Inclusive Education at the Crossroads: Exploring Effective Special Needs Provision in Global Contexts / Eds.: P. Gordon-Gould, G. Hornby. Routledge. London & New York: Taylor & Francis Group, 2023. P. 1–9. DOI: 10.4324/9781003262701-1
- Hornby G. Are Inclusive Education or Special Education Programs More Likely to Result in Inclusion Post-School? // Educ. Sci. 2021. Vol. 11. 304. DOI:3390/educsci11060304
- Imray P., Kossyvaki L., Sissons M. Evidence-based practice: the use and abuse of research // Support for Learning. 2023. Vol. 38. Iss. 1. P. 51–66. DOI:10.1111/1467-9604.12438
- Jess K., Petersén A.C. From “What Works” to “Why it Works” – From a Humean to an Aristotelian Understanding of Causality // Research on Social Work Practice. 2023. 1–9. DOI:10.1177/10497315231154493
- Kauffman J.M., Badar J. Definitions and other issues // On Educational Inclusion: Meanings, History, Issues, and International Perspectives / J.M. Kauffman (ed.). Vol. I. Connecting Research with Practice in Special and Inclusive Education. Series edited by Philip Garner. Routledge, London, New York, 2020. P. 1–24.
- Kauffman J.M., Burke M.D., Anastasiou D. Hard LRE Choices in the Era of Inclusion: Rights and Their Implications // Journal of Disability Policy Studies. 2022. P. 1–12. DOI:10.l177/10442073221113074
- McDuffie K.A., Scruggs T.E. The Contributions of Qualitative Research to Discussions of Evidence-Based Practice in Special Education // Interventions in School and Clinic, 2008. Vol. 44. № 2. 91–97. DOI:10.1177/1053451208321564
- Mukumbang F.C., Marchal B., Belle S. van, Wyk B. van. Using the realist interview approach to maintain theoretical awareness in realist studies // Qualitative Research. 2020. Vol. 20. № 4. Р. 485–515. DOI:1177/1468794119881985
- Rutten R. Applying and Assessing Large-N QCA: Causality and Robustness from a Critical Realist Perspective // Sociological Methods & Research. 2022. Vol. 51. № 3. Р. 1211–1243. DOI:1177/0049124120914955
- Tellings A. Evidence-Based Practice in the social sciences? A scale of causality, interventions, and possibilities for scientific proof // Theory & Psychology. 2017. Vol. 27. № 5. Р. 581–599. DOI:1177/0959354317726876
- Watharow A., Wayland S. Making Qualitative Research Inclusive: Methodological Insights in Disability Research // International Journal of Qualitative Methods. 2022. Vol. 21. DOI:1177/16094069221095316
Информация об авторах
Метрики
Просмотров
Всего: 364
В прошлом месяце: 24
В текущем месяце: 17
Скачиваний
Всего: 146
В прошлом месяце: 10
В текущем месяце: 5