Измерение критического мышления взрослых: методология и опыт разработки

Критическое мышление (далее — КМ) является одной из ключевых компетенций в современном мире. Несмотря на разнообразие систем оценки образовательных результатов для средней школы и высшего образования, существует дефицит инструментов оценки данной компетенции для взрослых. Значимость оценки взрослых подчеркивается прежде всего потребностью работодателей в сотрудниках с развитым КМ в различных рабочих контекстах. В данной статье описываются процедура создания инструмента измерения применительно к слушателям учебного курса «Критическое мышление» платформы «Яндекс.Практикум» и результаты оценки его психометрического качества. При создании данного теста мы опирались на подход Evidence Centered Design (ECD). Тест выполнен в компьютерной форме и состоит из заданий, направленных на выявление релевантного наблюдаемого поведения испытуемого. Валидность разработанного инструмента, в том числе его соответствие теоретическим ожиданиям о факторной структуре, подтверждена доказательствами конструктной, критериальной, конвергентной и содержательной валидности. Рассмотрены ограничения данного исследования и возможные направления будущих разработок. Результатом работы выступает валидизированный инструмент измерения критического мышления для взрослых, качество заданий которого подтверждается психометрическим анализом в современной теории тестирования (IRT — Item Response Theory).

Введение

Современные исследования подтверждают, что у работодателей существует запрос на специалистов, обладающих универсальными, т. е. не ограниченными какой-либо сферой деятельности, навыками и компетенциями XXI века [10; 32].

Критическое мышление является одной из компетенций, которую потенциальные работодатели ожидают от выпускников, а также отмечают как наиболее важную для построения успешной карьеры [29; 27].

Необходимость развития КМ в образовательной среде зафиксирована в федеральных государственных образовательных стандартах высшего образования в виде одной из универсальных компетенций, как для бакалавриата, так и для магистратуры [4].

Эта ситуация не является специфически российской. Совокупный анализ образовательных стандартов демонстрирует значимость данной компетенции как образовательного результата и за рубежом [6]. Однако, согласно исследованиям, значительное число студентов университетов демонстрируют недостаточно высокий уровень КМ [3; 9]. Такой дефицит провоцирует повышенный спрос на рынке дополнительного профессионального образования на программы повышения квалификации в области развития сложных когнитивных навыков.

На сегодняшний день в России реализуется несколько образовательных программ и курсов по развитию КМ. На открытом рынке существуют как очные программы (Школа критического мышления, тренинг Академии PWC), так и онлайн-курсы на таких платформах как «Открытое образование», «Нетология», «Синхронизация», «Викиум», «Stepik» и др. Ряд программ ДПО по КМ реализуют университеты и институты повышения квалификации.

Разработка отдельных образовательных продуктов по КМ для взрослых согласуется с существующими исследованиями. Исследователи отмечают, что КМ у взрослых поддается развитию [7; 15; 23]. Кроме того, есть данные, свидетельствующие о преимуществах отдельных стратегий обучения. Так, свою эффективность показывает прямое обучение, когда обучающиеся целенаправленно проходят отдельный курс по развитию КМ [16].

В связи с ростом популярности таких курсов на рынке образовательных продуктов возникает закономерный спрос на инструменты измерения. Однако на русском языке крайне мало валидизированных и надежных психометрических инструментов измерения [1]. Опубликованные данные о психометрических показателях были обнаружены только для следующих тестов на русском языке: «4К» [5], направленного на оценку уровня КМ у школьников, HEIghten Critical Thinking Assessment [33] для студентов. Использование зарубежных инструментов не представляется целесообразным, поскольку прямой перевод заданий, разработанных для англоязычной аудитории, может приводить к снижению психометрических показателей. В то же время адаптация зарубежных инструментов может быть не менее сложной, чем разработка нового инструмента, а также требует разрешения правообладателей и платы за использование.

Таким образом, сегодня исследователи сталкиваются с необходимостью разработки системы измерения, пригодной для установления уровня критического мышления у взрослых слушателей учебного курса. Для построения такой системы необходимо выполнить ряд задач, которые связаны с разработкой содержательного определения конструкта, выявлением его компонентов, разработкой инструмента измерения и исследованием качества инструмента.

В данной статье описаны особенности разработки инструмента измерения в рамках методологии доказательной аргументации ECD (Evidence-centered Design, ECD) [25] с использованием аутентичных заданий, в которых респонденту следует выполнить действия (performance tasks). Также приведены доказательства валидности результатов, полученных с помощью инструмента.

Критическое мышление: определение и составляющие

Описываемый инструмент разработан для оценки уровня КМ слушателей учебного курса «Критическое мышление» платформы «Яндекс.Практикум»^[1]. Образовательные результаты данного курса были сформированы с опорой на теоретическую рамку «Универсальные компетентности и новая грамотность» [6], согласно которой КМ понимается как компетентность, т. е. совокупность знаний, навыков и диспозиций, позволяющих эффективно решать повседневные и профессиональные задачи в различных контекстах. Таким образом, КМ было определено как совокупность знаний, навыков и диспозиций, позволяющая рационально анализировать и оценивать информацию для аргументированного принятия решений. Составляющие конструкта КМ, на развитие которых направлен курс (образовательные результаты), был определен на основе анализа актуальной литературы [17; 31], матрицы образовательных результатов учебного курса «Критическое мышление» платформы «Яндекс.Практикум», а также экспертного интервью с руководителем группы разработчиков данного учебного курса.

Проведенный анализ позволил представить критическое мышление как совокупность групп составляющих, таких как: (а) работа с информацией, (б) логичность рассуждений и выводов, (в) аргументация.

Работа с информацией включает в себя умение выделить релевантную задаче информацию, отличать факты от мнения, а также понимание того, какая информация заслуживает доверия, а какая требует проверки.

Под логичностью рассуждений и выводов понимается умение рассуждать логически, а также умение отличать обоснованные идеи от тех, для обоснования которых недостаточно данных.

Аргументация включает в себя понимание, какой аргумент, с точки зрения структуры и свойств, является убедительным, умение отличать убедительные аргументы, а также находить уловки в аргументации.

Диспозиции, связанные с КМ, не были включены в данную теоретическую рамку, поскольку временные ограничения на прохождение теста не позволяли качественно их оценить. Оценка диспозиций КМ является направлением для дальнейших исследований.

Таблица 1

Теоретическая рамка теста

Методология Evidence-Centered Design

При формировании теоретической рамки критическое мышление рассматривалось как композитный латентный конструкт, что в последующем определило методологию создания инструмента — Evidence Centered Design (ECD) — метода доказательной аргументации [25]. Данный метод позволяет определить какие данные возможно получить из поведения испытуемого, которые, в свою очередь, являлись бы свидетельством того, что он (или она) обладает компетенцией, которую мы измеряем, а также в последующем смоделировать задание таким образом, чтобы испытуемый мог ее проявить [26]. Важным преимуществом выбранной методологии выступает высокая конструктная валидность, которая достигается благодаря особенностям поэтапного создания теста.

На этапах анализа области компетенций (domain analysis) и моделирования области компетенций (domain modeling) была получена и конкретизирована информация об измеряемом конструкте. Далее на этапе создания концептуальной рамки инструмента (conceptual assessment framework) выбраны элементы области компетенций, которые поддаются измерению в рамках компьютерного тестирования и соответствуют цели оценивания (табл. 1), определены свидетельства проявления КМ, подобраны аутентичные ситуации, в которых можно спровоцировать проявление конструкта, а также определено, какая математическая модель лучше всего подходит для анализа получаемых данных [24]. Свидетельства, помещенные в контекст заданий, превращаются в индикаторы. Индикаторы — это конкретные наблюдаемые действия, совершенные респондентом в процессе взаимодействия с заданием и потенциально отражающие конструкт. На последующих этапах (assembly model, delivery model) было проведено качественное исследование с целью проверки реализации заложенных в концептуальную рамку инструмента характеристик и описаны формальные требования к проведению тестирования и его администрированию.

Таким образом, данная методология дает возможность построения измерения явно ненаблюдаемых конструктов, благодаря непрерывной связи наблюдаемого поведения испытуемого во время выполнения заданий и измеряемого конструкта, что обеспечивает свидетельства валидности.

Разработка тестовых заданий

На начальном этапе был определен набор поведенческих проявлений, которые могут свидетельствовать о выраженности критического мышления у целевой аудитории онлайн-курса и теста соответственно — людей в возрасте 20—50 лет, с высшим образованием, уверенных интернет-пользователей, относящихся к двум основным категориям:

•      представители из сферы бизнеса, посещающие курс для развития критического мышления с целью применения полученных знаний и навыков в работе;

•      люди, преимущественно молодого возраста, занимающиеся саморазвитием, которые любят учиться.

Затем были отобраны темы, отвечающие строгим критериям (не должны быть четко привязаны к какой-то конкретной профессии или сфере; должны быть дискуссионными и давать возможность для отражения разных подходов, взглядов, фактов и мнений), позволяющим выстроить измерение, а также потенциально интересные и актуальные для слушателей учебного курса, чтобы в последующем испытуемые были мотивированы и вовлечены в процесс выполнения заданий.

Ограничением выступал временной фактор — длительность теста должна быть не более 60 минут, что обусловило выбор формата заданий.

В результате был разработан инструмент, который состоит из трех блоков. Первый блок представляет собой стимульный материал и 6 вопросов к нему. Стимульный материал представлен в виде списка из 12 утверждений на тему «Женщины-руководители», каждое из которых выполняет функцию варианта ответа. Утверждения подобраны таким образом, чтобы все они были задействованы при выполнении заданий в блоке — в роли правильных ответов для одних заданий или дистракторов для других.

Второй блок аналогичен по структуре, но состоит из 15 утверждений на тему «Четырехдневная рабочая неделя» и 8 вопросов.

Первые два блока представляют собой задания, в которых респонденту следует выполнить действия (performance tasks), свидетельствующие о проявлении КМ, чем отличаются от классического формата заданий с множественным выбором, который обычно используется в инструментах измерения критического мышления. Кроме того, задания были разработаны таким образом, чтобы все вопросы были представлены в определенной последовательности, исходя из особенностей применения КМ в реальных ситуациях. Например, первыми представлены задания на анализ информации, а в конце - задания на получение выводов. Такая последовательность комфортна для восприятия и дает возможность приблизить поставленную перед тестируемым задачу к ситуации реального применения КМ, когда для ответа на вопрос необходимо проанализировать некоторый объем информации, а затем сделать выводы.

В третьем блоке содержатся 5 заданий классического формата, с выбором одного или нескольких вариантов ответа, а также задания на соотнесение. В качестве стимульного материала в основном используются фрагменты текста, но при этом присутствует и задание, содержащее графики, отражающие статистические данные,  направленное на оценку навыка анализа графической информации. Таким образом, задания третьего блока разрабатывались с учетом возможности измерения тех свидетельств КМ, которые не удалось органично интегрировать в первый и второй блоки. Это позволило обеспечить более полный охват рамки.

Следуя выбранной методологии разработки инструмента, с целью проверки соответствия наблюдаемого поведения заложенным в концептуальную рамку инструмента характеристикам, было проведено качественное исследование — когнитивная лаборатория (интервью с представителем целевой группы для выявления проблемных зон) [20], а также пилотное исследование (N =104 человека).

В результате были выявлены неточности в формулировках заданий и инструкций, которые были устранены к началу проведения основного количественного исследования. Доработка заключалась в экспертной проверке правильности выбранных ответов в измененных заданиях, однозначности формулировок заданий и инструкций. После проведения необходимой корректировки заданий было проведено исследование, результаты которого представлены ниже.

Эмпирическое исследование валидности

Выборка и процедура сбора данных

Выборку исследования (версии теста, доработанной на основе когнитивных лабораторий и апробации) составили 117 человек: 67% женщин (n = 78) и 33% мужчин (n = 39), в возрасте от 18 лет до 71 года.

Средний возраст участников: 38 лет (SD — 12). Выборка была собрана путем интернет-рассылки методом «снежного кома». Для составления опроса использовался инструмент Alchemer. Уровень образования участников варьировался. Большинство участников имеют высшее образование (67%, n = 78) и не проходили ранее курсы по развитию КМ (96%, n = 112). Также в выборку вошли 18% (n = 21) участников, которые окончили аспирантуру, 11% (n = 13) — с неоконченным высшим образованием и 4% (n = 5) — со средним профессиональным образованием.

От каждого участника в онлайн-режиме было получено согласие на участие и обработку данных с помощью информационной страницы, на которой были указаны детали исследования, ориентировочное время тестирования, а также информация о конфиденциальности полученных данных.

Испытуемым перед выполнением заданий теста предлагалось заполнить анонимную анкету, которая включала вопросы о поле, возрасте, уровне образования, опыте обучения на курсах по развитию КМ и логики, вопросы, касающиеся самооценки составляющих КМ.

После выполнения заданий теста участники заполняли анкету негативных жизненных событий, опросник на склонность к конспирологическим убеждениям, а также отвечали на вопрос о самооценке КМ. Кроме того, у участников было поле для ввода обратной связи, вопросов и предложений по тесту.

Выгруженные из системы Alchemer данные теста и валидизационных опросников перекодировались при помощи программы Microsoft Excel, обрабатывались и анализировались при помощи программ Winsteps версии 4.1.0, SPSS и статистических пакетов RStudio.

Методология анализа данных

В данном исследовании, с опорой на рамку валидности, определенную стандартами разработки теста (The Standards for Educational and Psychological Testing, APA [30]), рассматривались свидетельства конструктной, критериальной, конвергентной и содержательной валидности инструмента.

Для сбора свидетельств конструктной валидности был проведен анализ размерности, проанализированы психометрические характеристики теста в современной теории тестирования (IRT - Item Response Theory). Для получения свидетельств критериальной валидности проверена статистическая связь баллов разработанного теста с другими переменными, в качестве которых выступали итоговые баллы по опроснику конспирологических убеждений и шкале негативных жизненных событий. Для оценки свидетельств конвергентной валидности была рассмотрена связь баллов за тест КМ и переменной, связанной с рассматриваемым конструктом - самооценкой уровня КМ. Также были собраны свидетельства содержательной валидности через получение от специалистов по КМ экспертной оценки о качестве теста.

Результаты анализа

Разработанный тест состоит из 20 заданий (6 заданий в первом блоке, 8 заданий во втором и 6 - в третьем), 13 из них дихотомические, а 7 - политомические.

Анализ размерности

В программе Winsteps методом главных компонент была проанализирована размерность инструмента измерения.

Собственное значение самого крупного контраста (1st contrast) составляет 1,8, что не превышает рекомендуемый показатель для одномерных тестов, равный 2 [28].

Также у контрастов однородная зависимость - на первый и второй контраст приходится близкое количество необъясненной дисперсии и их собственные значения близки. Эти данные указывают, что тест можно анализировать как существенно одномерный.

Психометрический анализ

В данном исследовании тест был проанализирован в рамках современной теории тестирования (IRT), модели частичного оценивания — Partial Credit Model [22]. Эта модель представляет собой расширение модели Раша на случай, когда в тесте есть задания, оцениваемые политомически, и в отличие от тестов, которым с большей вероятностью подойдет Rating Scale Model, в данном тесте у заданий разные ответные категории.

Таблица 2

Общие статистики по заданиям

Среднее значение ошибок измерения всех заданий — 0,19. Среднее значение INFIT ZSTD (взвешенной статистики согласия) составляет 0,00; OUTFIT ZSTD (невзвешенной статистики согласия) — 0,03. Значения близки к 0, что говорит о том, что в среднем задания соответствуют модели. Максимальное значение INTFIT ZSTD — 1,41, следовательно, по этому показателю все задания в хорошем согласии с данной моделью. Максимальное значение OUTFIT ZSTD — 3,00  (табл. 2), означает, что есть хотя бы 1 задание с показателями выше рекомендованных (>2,00), которые показывают, что в задании присутствуют экстремально неожиданные ответы. Надежность в IRT (Person separation reliability) — 0,76, что отражает отношение «истинной» дисперсии к наблюдаемой.

Значение SEPARATION указывает на то, что данную выборку можно разделить примерно на 3 группы по уровню способностей (или страт, то есть число статистически различных уровней мер испытуемых).

Анализ заданий. Согласие с моделью

Большинство заданий функционирует корректно (табл. 3). Наиболее простое задание в тесте — №9 (Блок 2 №3). Показатель его трудности равен (-1,85) логита. Самым сложным заданием является №20 (Блок 3 №6), его трудность составляет 1,22 логита. Взвешенные статистики согласия у заданий С5 и С6 выше рекомендуемых — это означает, что вопрос не в полной мере согласуется с ответами респондентов на краях распределения, в данных больше «шума», чем предсказывала модель. Однако надо заметить, что некоторые исследователи указывают, что критическим интервалом можно считать статистики от (-3) до 3 [21].

Таблица 3

Показатели заданий

Проанализировав данные, мы можем сделать вывод, что большинство заданий имеют хорошие психометрические характеристики. Тест можно рассматривать как качественный и надежный инструмент измерения с точки зрения психометрических показателей в модели Partial Credit Model.

При разработке теоретической рамки предполагалась сильная связь выделенных компонентов КМ, что и подтвердилось при анализе размерности. Подобной одномерной факторной структурой обладают и другие инструменты измерения КМ, например, российская версия теста HEIghten Critical Thinking Assessment [33].

Конвергентная валидность

В качестве инструмента, измеряющего самооценку КМ, были выбраны:

●       Самооценка КМ

●       Опросник КМ [2]

Опросник на основании полученных данных подтвердил высокий уровень надежности (Альфа 0,91), надежность, указанная авторами опросника 0,92. Так же как и вопрос про самооценку уровня КМ, он показал значимую (р<0,01) положительную умеренную корреляцию с баллами по разработанному тесту (табл. 4) [8].

Таблица 4

Корреляционный анализ (Спирмен)

Примечание: «**» - р <0,01

Мы оценили свидетельства конвергентной валидности, рассмотрев связи между баллами по тесту и переменными, связанными с конструктом, такими как академические результаты, самооценка уровня КМ. Как показали результаты, только самооценка и опросник КМ значимо (р <0,01) коррелируют с баллами по данному тесту КМ.

Критериальная валидность

Исследования стилей мышления и необоснованных убеждений показали, что рациональные, аналитические стили мышления отрицательно коррелируют с конспирологическими убеждениями [34]. Учитывая теоретическую положительную связь между критическим и аналитическим мышлением, мы предполагали отрицательную связь между КМ и конспирологическими убеждениями.

В качестве инструмента измерения конспирологических убеждений был выбран опросник, выявляющий склонность к ним, — GCBS [19].

В табл. 5 представлены значения корреляционного анализа, из которых мы можем сделать вывод о том, что значения коэффициента корреляции статистически значимы и отрицательны, что выступает свидетельством критериальной валидности.

Таблица 5

Корреляционный анализ

Примечание: «**» - р< 0,01; «*» - p<0,05.

В роли критерия использовалась шкала негативных жизненных событий, разработанная в 2007 г. [11]. Она нацелена на измерение распространенности негативных жизненных событий. Проходя его, респонденты указывают, происходило ли с ними указанное негативное событие за последние полгода.

С помощью данного опросника проходила валидизация инструмента оценки КМ Halpern (HCTA) [12]. В ходе исследования были сделаны выводы о том, что у респондентов с высокими баллами КМ было меньше негативных событий (r = - 0,38).

Шкала не была адаптирована для использования на русском языке. Используя метод обратного перевода для обеспечения лингвистической эквивалентности, а также корректируя некоторые утверждения для обеспечения культурной валидации, был осуществлен перевод шкалы.

Как видно из табл. 5, коэффициент корреляции — значимый (p <0,05; р < 0,01) и отрицательный. Однако связь со шкалой негативных событий крайне слабая, тогда как связь с конспирологическими убеждениями умеренная.

Содержательная валидность

Для подтверждения содержательной валидности задания разработанного теста были отправлены на проверку пяти экспертам по КМ: кандидатам философских наук, доцентам, преподавателям курсов по развитию КМ на различных платформах, а также авторам научных публикаций по теме КМ. Стоит отметить, что в России тема развития КМ стала популярна только несколько лет назад, и на сегодняшний день есть ограниченное количество специалистов, которые занимаются изучением этой темы.

Экспертам были предоставлены все материалы теста — инструкции, задания с индикаторами и ключи. Каждому эксперту необходимо было оценить вопросы теста по следующим критериям: понятность задания, правильность ответа, соответствие задания заложенному индикатору, направленность задания на оценку КМ. Они отметили, что все вопросы теста и варианты ответа понятны, задания верно подобраны к индикаторам, ошибок в ключах к тесту зафиксировано не было. В ходе экспертизы заданий все эксперты подтвердили, что задания направлены на измерение КМ.

Заключение

В статье раскрыты результаты исследования измерения критического мышления для слушателей онлайн-курса. В соответствующих разделах представлены определение измеряемого конструкта, его модель; описаны основные этапы разработки инструмента измерения с использованием методологии ECD и performance tasks, а также приведены эмпирические доказательства валидности полученных результатов.

Результаты статистического и психометрического IRT-анализа доказывают правомерность использования данного теста для заявленной целевой аудитории. Анализ размерности инструмента измерения показал, что тест можно рассматривать как существенно одномерный. С точки зрения критериальной валидности теста подтвердились гипотезы об отрицательной связи внешними переменными с такими как вера в конспирологические убеждения, и шкалой негативных жизненных событий. Экспертная проверка показала, что задания направлены на измерение КМ. При этом следует отметить, что в исследовании была использована шкала негативных жизненных событий, которая требует процедуры адаптации с английского на русский язык с соблюдением стандартов. Стоит отметить, что в рамках первичной оценки качества инструмента измерения с применением IRT анализа размер используемой выборки респондентов можно считать достаточным. Однако планируется провести исследование на большем количестве испытуемых [18].

Таким образом, можно сделать вывод о том, что разработанный инструмент функционирует согласно поставленной цели, имеет хорошие психометрические характеристики, однако  в будущем желательно провести дополнительные исследования валидности.

Несмотря на преимущества performance tasks по сравнению с классическими заданиями с выбором единственного правильного ответа, более точно оценить критическое мышление можно в заданиях открытого типа со свободным изложением ответа. Разработка и включение в инструмент подобных заданий может быть направлением для дальнейших исследований.

В рамках развития данного инструмента  предполагается также создание блока вопросов, направленных на оценку диспозиционной составляющей КМ [13; 14].

Такое усовершенствование инструмента позволит делать более обоснованные выводы об уровне КМ для обозначенной целевой аудитории, а также стать основой построения измерения для других целевых групп.

1. Волков Е.Н. Тесты критического мышления: вводный обзор [Электронный ресурс] // Психологическая диагностика. 2015. № 3. С. 5—23. URL: https://evolkov.net/critic.think/tests/Critic.Think.Tests.Volkov.E.2015.pdf (дата обращения: 01.11.2022)
2. Корешникова Ю.Н., Фрумин И.Д. Профессиональные компетенции педагога как фактор сформированности критического мышления студентов // Психологическая наука и образование. 2020. Т. 25. № 6. С. 88—103. DOI:10.17759/pse.2020250608
3. Корешникова Ю.Н., Фрумин И.Д., Пащенко Т.В. Организационные и педагогические условия формирования навыка критического мышления у студентов российских вузов // Университетское управление: практика и анализ. 2021. Том 25. № 1. C. 5—17. DOI:10.15826/umpa.2021.01.001
4. Портал федеральных государственных образовательных стандартов высшего образования [Электронный ресурс] / НИТУ «МИСиС». 2022. URL: https://fgosvo.ru/fgosvo/index/24 (дата обращения: 01.11.2022).
5. Угланова И.Л., Орел Е.А., Брун И.В. Измерение креативности и критического мышления в начальной школе // Психологический журнал. 2020. Том 41. № 6. С. 96—107. DOI:10.31857/S020595920011124-2
6. Универсальные компетентности и новая грамотность: от лозунгов к реальности / М.С. Добрякова, И.Д. Фрумин, К.А. Баранников, И.М. Реморенко, Н. Зиил, Д. Мосс, Я. Хаутамяки. М.: Изд. дом Высшей школы экономики, 2020. 468 с. DOI:10.17323/978-5-7598-2177-9
7. Ab Kadir M.A. What Teacher Knowledge Matters in Effectively Developing Critical Thinkers in the 21st Century Curriculum? // Thinking Skills and Creativity. 2017. Vol. 23. P. 79—90. DOI:10.1016/j.tsc.2016.10.011
8. Akoglu H. User's guide to correlation coefficients // Turkish journal of emergency medicine. 2018. Vol. 18(3). P. 91—93. DOI:10.1016/j.tjem.2018.08.001
9. Assessment of critical thinking: Next generation performance assessment / R.J. Shavelson, O. Zlatkin-Troitschanskaia, K. Beck, S. Schmidt, J.P. Marino // International Journal of Testing. 2019. Vol. 19(9). P. 337—362. DOI:10.1080/15305058.2018.1543309
10. Bandyopadhyay S., Szostek J. Thinking critically about critical thinking: Assessing critical thinking of business students using multiple measures // Journal of Education for Business. 2019. Vol. 94(4). P. 259—270. DOI:10.1080/08832323.2018.1524355
11. Bruine de Bruin W., Parker A.M., Fischhoff B. Individual differences in adult decision-making competence // Journal of personality and social psychology. 2007. Vol. 92. № 5. P. 938—956. DOI:10.1037/0022-3514.92.5.938
12. Butler H.A. Halpern Critical Thinking Assessment predicts real world outcomes of critical thinking // Applied Cognitive Psychology. 2012. Vol. 26. № 5. P. 721—729. DOI:10.1002/acp.2851
13. Calma A., Cotronei-Baird V. Assessing critical thinking in business education: Key issues and practical solutions // The International Journal of Management Education. 2021. Vol. 19. № 3. Article ID 100531. 14 p. DOI:10.1016/j.ijme.2021.100531
14. Critical thinking education and assessment. 2nd ed. / Ed. J. Sobocan. Windsor: Windsor Studies in Argumentation, 2022. 324 p. DOI:10.22329/wsia.12.2022
15. Dwyer C.P., Walsh A. An exploratory quantitative case study of critical thinking development through adult distance learning // Educational Technology Research and Development. 2020. Vol. 68. P. 17—35. DOI:10.1007/s11423-019-09659-2
16. Enhancing Critical Thinking Skills through Decision-Based Learning / K.J. Plummer, M. Kebritchi, H.M. Leary, D.M. Halverson // Innovative Higher Education. 2022. Vol. 47(2). P. 711—734. DOI:10.1007/s10755-022-09595-9
17. Hitchcock D. Critical Thinking [Электронный ресурс] // The Stanford Encyclopedia of Philosophy (Fall 2020 Edition) / Ed. Edward N. Zalta, Uri Nodelman. Stanford: The Metaphysics Research Lab, 2022. URL: https://plato.stanford.edu/entries/critical-thinking/ (дата обращения: 24.06.2022).
18. Is Rasch model analysis applicable in small sample size pilot studies for assessing item characteristics? An example using PROMIS pain behavior item bank data / W.H. Chen, W. Lenderking, Y. Jin, K.W. Wyrwich, H. Gelhorn, D.A. Revicki // Quality of Life Research. 2014. Vol. 23. P. 485—493. DOI:10.1007/s11136-013-0487-5
19. Kay C.S., Slovic P. The Generic Conspiracist Beliefs Scale — 5: A short-form measure of conspiracist ideation // PsyArXiv, 2022. 72 p. DOI:10.31234/osf.io/2uvr9
20. Leighton J.P. Using think-aloud interviews and cognitive labs in educational research. Oxford: Oxford University Press, 2017. 216 p. DOI:10.1093/acprof:oso/9780199372904.001.0001
21. Linacre J.M. Optimizing rating scale category effectiveness [Электронный ресурс] // Journal of applied measurement. 2002. Vol. 3(1). P. 85—106. URL: https://psycnet.apa.org/record/2002-01669-005 (дата обращения: 24.06.2022).
22. Masters G.N. A Rasch model for partial credit scoring // Psychometrika. 1982. Vol. 47. № 2. P. 149—174. DOI:10.1007/BF02296272
23. Mehmet Ş.A.H.I.N. Critical thinking and transformative learning [Электронный ресурс] // Journal of Innovation in Psychology, Education and Didactics. 2018. Vol. 22. № 1. P. 103—114. URL: https://files.eric.ed.gov/fulltext/ED593584.pdf (дата обращения: 08.11.22).
24. Mislevy R.J. Sociocognitive Foundations of Educational Measurement. N.Y.: Routledge, 2018. 458 p. DOI:10.4324/9781315871691
25. Mislevy R.J., Almond R.G., Lukas J.F. A brief introduction to evidence centered design // ETS Research Report Series. 2014. Vol. 2003. № 1. P. i-29. DOI:10.1002/j.2333-8504.2003.tb01908.x
26. Oliveri M.E., Mislevy R.J. Introduction to «Challenges and Opportunities in the Design of ‘Next-Generation Assessments of 21st Century Skills’» Special Issue // International Journal of Testing. 2019. Vol. 19. № 2. P. 97—102. DOI:10.1080/15305058.2019.1608551
27. Penkauskienė D., Railienė A., Cruz G. How is critical thinking valued by the labour market? Employer perspectives from different European countries // Studies in Higher Education. 2019. Vol. 44(5). P. 804—815. DOI:10.1080/03075079.2019.1586323
28. Smith Jr E.V. Detecting and evaluating the impact of multidimensionality using item fit statistics and principal component analysis of residuals // Journal of applied measurement. 2002. Vol. 3(2). P. 205—231.
29. Soft Skills Integration into Business Processes Based on the Requirements of Employers-Approach for Sustainable Education / E. Sujová, H. Čierna, Ľ. Simanová, P. Gejdoš, J. Štefková // Sustainability. 2021. Vol. 13(24). Article ID 13807. 13 p. DOI:10.3390/su132413807
30. Standards for Educational and Psychological Testing / American Educational Research Association, American Psychological Association & National Council on Measurement in Education. Washington, D.C: American Educational Research Association, 2014. 230 p.
31. Studies in Critical Thinking: 2nd Edition / J.A. Blair (ed.). Windsor, Ontario: Windsor Studies in Argumentation, 2019. 393 p. DOI:10.22329/wsia.08.2019
32. The relation between 21st-century skills and digital skills: A systematic literature review / E. Van Laar, A.J. Van Deursen, J.A. Van Dijk, J. De Haan // Computers in human behavior. 2017. Vol. 72. P. 577—588. DOI:10.1016/j.chb.2017.03.010
33. Thinking critically about critical thinking: validating the Russian HEIghten® critical thinking assessment / A. Shaw, O.L. Liu, L. Gu [et all.] // Studies in Higher Education. 2020. Vol. 45. № 9. P. 1933—1948. DOI:10.1080/03075079.2019.1672640
34. West R.F., Toplak M.E., Stanovich K.E. Heuristics and biases as measures of critical thinking: associations with cognitive ability and thinking dispositions // Journal of Educational Psychology. 2008. Vol. 100(4). P. 930—941. DOI:10.1037/a0012842