Анализ возможностей компьютеризированного адаптивного подхода к задачам психологической диагностики и обучения

В статье рассматриваются преимущества и перспективы реализации адаптивного подхода в задачах компьютерного тестирования способностей, стандартизации диагностических методик и разработки тренажёров для обучения профессиональным навыкам в зоне ближайшего развития (развитие «soft skills» и «hard skills»). Приводятся результаты анализа надежности тестов с применением адаптивного подхода и сопоставление полученных результатов с классической бумажной и компьютерной формой диагностики способностей. Представлена оценка эффективности и преимущества подхода к определению уровня сложности тестовых заданий с использованием метода свертки прикладных марковских моделей в квантовые представления. Доказана эффективность метода на малых по объему выборках.

Введение

В настоящее время в психологических исследованиях все большую популярность приобретают методы, способные подстраиваться под уровень развития способностей испытуемых.

В психодиагностике, стандартизации тестовых методик и разработке компьютерных тренажёров адаптивные методы работают на повышение эффективности и уменьшение времени проведения теста или процесса обучения. Испытуемые получают более точную оценку диагностируемых способностей, а пользователи онлайн-курсов получают возможность учиться в зоне ближайшего развития, когда благодаря методам адаптивного тестирования достигается оптимальный уровень сложности предъявляемых заданий.

Достоверную оценку способностей можно получить, предлагая испытуемым тестовые задания, не являющиеся слишком легкими, но и не выходящие за пределы их возможностей. Правильное определение и последующее представление таких заданий является целью каждого адаптивного теста [6; 12; 17, 20].

К преимуществам данного подхода следует отнести:

• возможность предъявления меньшего количества заданий с сохранением диагностической способности теста;
• снижение трудоемкости и времени исследования;
• учет индивидуальных особенностей испытуемого в процессе тестирования [6; 12; 17].

Особенности адаптивного подхода в задачах психологической диагностики способностей

Американский психолог Анна Анастази [1], рассматривая задачу шкалирования тестовых заданий по уровням трудности, пишет о группе подходов, различающихся по сложности и применяемым в них математическим методам. В качестве основной меры в этих подходах выбиралась вероятность того, что испытуемый с определенной способностью, обозначаемой как «латентная черта», верно решит задание определенной сложности. Сначала эти подходы объединили под общим названием «модели латентных черт», но впоследствии общеупотребительным в психологии стал термин «Современная теория тестирования» (англ. Item Response Theory, сокр. IRT) [1]. В настоящее время IRT объединяет отличающиеся, с точки зрения используемых математических методов, подходы к оценке вероятностей правильного ответа испытуемых на различные по сложности тестовые задания.

В компьютерном адаптивном тестировании (англ. Computer Adaptive Testing, сокр. САТ), основанном на принципах IRT, учет индивидуальной подготовки производится в режиме реального времени посредством автоматического подбора уровня сложности каждого последующего задания, исходя из предоставленных ответов на предыдущие задания [17; 25]. Надежность данного метода зависит от количества заданий, предлагаемого системой каждому испытуемому в момент прохождения тестирования, наличия систематического контроля за частотой выбора заданий из единого банка данных, устойчивости и диапазона вариации оценок трудности заданий, а также качества входного контроля. Таким образом, оптимизируя индивидуальную трудность теста, можно уменьшить число предъявляемых заданий и сохранить при этом содержательный план тестирования [3].

Индонезийский исследователь Л.С. Риза отмечает, что, используя компьютеризированный адаптивный тест (CAT) и современную теорию тестирования (IRT), можно сократить время прохождения тестирования и получить более точную оценку способностей, даже если каждому испытуемому предъявляются разные вопросы, как по количеству, так и по содержанию [37]. Результаты диагностики способностей студентов с использованием CAT были сопоставлены с результатами диагностики по классической теории тестирования (англ. Classical Test Theory, сокр. СTT) Чарльза Спирмена. Данная теория основывается на положении о том, что эмпирически полученный индивидуальный тестовый балл представляет собой сумму истинного результата измерения и независимой ошибки измерения [5].Анализ данных эксперимента Л.С. Риза на выборке в 27 учеников 11-го класса показал, что в пяти случаях были обнаружены существенные расхождения в оценке результатов обучения по курсу информатики [37].

Таким образом, данная система имеет ряд преимуществ по сравнению с CТТ. К ним относится более высокая точность оценки способностей, быстрота прохождения теста (несмотря на то, что количество заданий и их сложность рассчитываются индивидуально) и устранение такого недостатка классической теории тестирования, как связь группы респондентов с определенным набором вопросов. В исследовании Л.С. Риза эти преимущества достигались за счет того, что у каждого тестового задания есть определенный вес, вычисляемый на основании учета четырех факторов:

• уровень сложности;
• фактор угадывания;
• различающая способность задания (англ. «Item discrimination parameter» —способность дифференцировать испытуемых по уровню подготовленности);
• фактор невнимательности (из-за которого учащийся с высокими способностями может неправильно ответить на задачу, уровень сложности которой ниже его способностей) [37].

В статье [41] Альберта С.М. Янга представлен анализ сравнения подхода к оценке способностей студентов университета, основанного на САТ и цикле обучения-запоминания («the learning memory cycle») с двумя другими подходами: оценкой способностей учащихся, основанной только на САТ и классической неадаптивной системе оценивания СТТ. Модель CAT измеряет знания учащегося и оценивает сложность заданий, а компонент «цикл обучения-запоминания» учитывает сохранение учащимися информации, полученной по каждому заданию. Экспериментальные результаты показали, что учащиеся, использовавшие предложенную систему оценки (САТ и цикл обучения-запоминания), превзошли учащихся, использовавших две другие системы (САТ и СТТ), по показателям успеваемости и вовлеченности не только в практические тесты, но и в чтение учебных материалов. В данном исследовании приняли участие 108 студентов университета (37 человек — в двух экспериментальных группах и 34 — в контрольной). Экспериментальная группа, в которой использовались модель САТ и цикл обучения-запоминания, имела самые высокие средние показатели оценки способностей (диагностировались способности в области владения языками программирования), и они оказались статистически значимо выше, чем в двух других группах [41].

В работе А. Дж. Мартина [31] исследовалось влияние компьютерного адаптивного тестирования, реализованного в варианте многоэтапного адаптивного тестирования («Multistage adaptive testing») и традиционного компьютерного тестирования на различные показатели, имеющие отношение к тесту по математике. К таким показателям были отнесены: достижения, мотивация и вовлеченность, связанные с тестом, а также субъективный опыт тестирования. Выборку составили 12736 австралийских учащихся начальной (3-й и 5-й классы) и средней (7-й и 9-й классы) школы. Основной статистически значимый эффект CAT по сравнению с традиционным компьютерным тестированием (в котором задания предъявлялись в фиксированном порядке) был получен в том, что в условиях компьютерного адаптивного тестирования выявлено более низкое значение ошибки в оценке показателя успеваемости (т.е. получена более высокая точность измерений). Другие статистически значимые эффекты CAT проявлялись в зависимости от года обучения и пола, при этом положительный эффект CAT был относительно выше у девочек и старшеклассников 9-х классов: эти учащиеся достигли более высоких результатов, получили более высокие показатели по мотивации и вовлеченности в процесс тестирования, а также более положительный субъективный опыт тестирования. На основании результатов анализа исследовательских данных авторы статьи формулируют следующие выводы в пользу компьютерного адаптивного тестирования:

• обеспечение CAT большей точности измерения успеваемости;
• некоторые положительные эффекты CAT относительно мотивации и вовлеченности в процесс тестирования;
• положительный эффект CAT для учащихся старшего возраста на том этапе развития, когда они обычно менее мотивированы к прохождению тестов [31].

В исследовании Нила Райса [36] было описано создание компьютерного адаптивного проверочного теста по английскому языку для международных учебных программ, в разработке которого приняло участие 8 медицинских школ из пяти стран Европы с общим объемом выборки 1212 студентов более чем 40 национальностей, из которых более 70% не были носителями английского языка, хотя почти все участники подтвердили, что знают язык. После пилотного тестирования было откалибровано 1127 заданий по английскому языку для формирования пула заданий компьютерного адаптивного проверочного теста («Computer Adaptive Progress Test», сокр. CA-PT). Результаты пилотного проекта CA-PT показали надежную сходимость к стабильным оценкам способностей, низкие стандартные ошибки измерения и высокую надежность теста для всех участников [36].

Данное исследование показало, что лонгитюдное проверочное тестирование способствует самостоятельному углубленному обучению по всему спектру знаний, позволяя заблаговременно обнаруживать отставания в знаниях и предоставляя возможности для их устранения. Данный подход позволяет эффективно разрабатывать ресурсы, подходящие для САТ, с целью проверки прогресса в овладении английским языком и обладающие потенциалом для международного применения, в том числе и для тех, для кого английский не является родным языком [36]. Также Нил Райс отмечает, что надежность теста CA-PT высока (более 0,89) для людей по всему спектру измеряемой способности, и это является значительным улучшением по сравнению с надежностью неадаптивного теста, особенно в крайних значениях показателя способности [36].

От качества оценки двух характеристик: уровня сложности тестовых заданий и уровня подготовки испытуемого — зависит, насколько точно реализуется подстройка заданий для обеспечения оптимальной трудности при прохождении теста [17]. Д.В. Ушаков отмечает, что использование заданий, соответствующих уровню подготовленности испытуемого, «существенно повышает точность измерений и минимизирует время индивидуального тестирования до 5—10 минут» [19]. В моделях адаптивного тестирования также учитываются различные особенности процесса выполнения предъявленных заданий, на основании которых осуществляется подбор вопросов и формирование индивидуальных тестовых траекторий.

Так, в подходе к адаптивному тестированию, модель предъявления заданий которого описывается с помощью марковских процессов с дискретными состояниями и дискретным временем, представлен ряд преимуществ по сравнению с адаптивным тестированием на базе IRT [11]. К ним относятся учет особенностей процесса выполнения предъявленных заданий, прогнозирование поведения испытуемых, возможность самообучения и улучшения характеристик модели в процессе тестирования [12]. Представленная в работах [10; 11] модель позволяет решить такую проблему CAT на основе IRT, которая заключается в приблизительном равенстве вероятностей для неправильных и правильных решений, что делает результаты тестирования зависимыми в основном от посторонних случайных факторов.

Для обеспечения большей индивидуальности и точности в CAT современные подходы к выбору элементов включают глубокое обучение, обработку естественного языка и методы обучения с подкреплением. В недавнем обзоре [33] были обозначены современные достижения и недостатки применения алгоритмов глубокого обучения и нейронных сетей в адаптивном тестировании. Во-первых, необходимо изучить возможное алгоритмическое смещение в тех вопросах, которые могут повлиять на ответы и выводы системы искусственного интеллекта(далее ИИ). Прошлые исследования показали смещение диагностических оценок ИИ в заданиях с текстами на естественном языке [24]. Во-вторых, авторы подчеркивают необходимость исследования предлагаемых методов на основе ИИ в реальных условиях, чтобы оценить их эффективность для CAT. Кроме того, многие модели современной теории тестирования (IRT) не учитывают связь между предлагаемыми заданиями и многомерной современной теорией тестирования («Multidimensional Item Response Theory», сокр. MIRT) [33].

В настоящее время описаны различные модели нейронных сетей, применяемые в адаптивном тестировании [22;27;42]. В исследовании Яна Чжуана представлено несколько моделей нейрокомпьютерного адаптивного тестирования («Neural сomputerized аdaptive testing», сокр. NCAT) и показано, что они могут успешно фиксировать сложные взаимосвязи между испытуемыми и предъявляемыми вопросами (например, факторы догадок и ошибок) и точно измерять уровень знаний, сокращая продолжительность теста [42].

Одной из проблем использования нейросетевых технологий в САТ является то, что на этапе обучения для нейронных сетей требуется достаточно большая по объему выборка. Это может стать дополнительной трудностью для исследователей при решении задачи оценки уровней сложности тестовых заданий. Например, в исследовании Е.В. Чумаковой [22] было показано, что для использованной архитектуры сети долгой краткосрочной памяти («Long short-term memory», сокр. LSTM) процесс обучения занимает значительное время и появляются повышенные требования к обучающей выборке (в исследовании объем обучающей выборки составил 1500 примеров). Необходимость больших выборок для обучения нейронных сетей в задачах адаптивного тестирования также подтверждается в ряде исследовательских работ [32; 35; 39].

В работах Л.С. Куравского [10; 11; 12; 13; 14; 15; 28; 29] представлен подход, позволяющий добиваться высокой точности в результатах диагностики, в сложности и порядке предъявления тестовых заданий при сравнительно небольших выборках участников тестирования. Данный подход основывается на построении адаптивных диагностических оценок с помощью идентифицируемых вероятностных марковских моделей [10] и является альтернативой адаптивным технологиям на базе современной теории тестирования (IRT). В данном подходе метод решения задач диагностики путем свертки прикладных марковских моделей в квантовые представления позволяет учитывать только существенную информацию и повышает надежность результатов. Это позволяет выявить структуру исследуемых процессов с помощью квантового спектрального анализа [14; 28; 29] и эффективно определять параметры диагностических инструментов на «малых» выборках. Таким образом, появляется возможность использования выборки значительно меньшего объема, по сравнению с нейросетевым подходом к САТ, для построения адаптивных диагностических оценок.

В представленном подходе участник тестирования передвигается по уровням сложности (использовался тест «Стандартные прогрессивные матрицы Плюс Равена»). Рассматривались три уровня подготовки для прохождения семи уровней сложности. В случае, если испытуемый верно решает предложное ему задание, но не укладывается во временные ограничения, то он попадает в «ловушку», выход из которой обеспечивается правильным выполнением задания того же уровня сложности. В случае, если испытуемый выполнил все задания определенного уровня сложности верно и уложился во временные рамки, то ему предлагаются задания следующего уровня сложности [15].

Данный подход имеет перспективы применения в разработке адаптивных тренажеров. Так, в разработанном в соответствии с представленным подходом адаптивном тренажере по математике на выборках в 24 и 23 человека (экспериментальной и контрольной групп учащихся московских школ с разным уровнем успеваемости) было показано, что за счет его применения средняя оценка за контрольную работу увеличилась в 1,54 раза. Анализ различий по критерию U Манна—Уитни показал статистически значимые отличия по показателям «Общая оценка результатов контрольной работы по 100-балльной шкале» и «Количество правильно выполненных заданий» между данными группами [13].

Таким образом, можно сделать вывод, что квантовые оценки имеют значимые преимущества перед оценками, полученными с помощью нейронных сетей, в случае ограниченного объема эмпирических данных, используемых для настройки диагностического инструментария.

Применение адаптивного подхода к задачам стандартизации и обучения

Создание адаптивных тестов позволяет по-новому взглянуть на процедуру стандартизации методик. Первые адаптивные тестовые методики стандартизировались классическим способом, однако в них оценивалась сложность каждого отдельного задания. Все задания, взятые из общего банка заданий, ранжировались от низкого уровня сложности к высокому на основе информации о проценте респондентов, дающих правильные ответы или пропорции ответов на какой-либо пункт определенным способом. Эти процедуры впоследствии были модифицированы и усовершенствованы психометристами [7].

Таким образом, отсутствие стандартной анкеты с заранее определенным порядком предъявления вопросов не создает препятствия для стандартизации теста — анализируются данные лишь о сложности отдельных заданий.

Современные адаптивные тестовые методики стандартизируются разным способом, в зависимости от реализуемой модели адаптации тестового материала. В настоящее время применяются различные подходы к стандартизации компьютерного тестирования, будь то изначально разработанная программа тестирования или компьютеризированная версия бумажной анкеты; однако же при стандартизации в системе адаптивного тестирования оценивается сложность отдельных заданий, причем маркеры сложности могут формироваться как при доэкспериментальных экспертных оценках, так и на основе ответов испытуемых в реальном времени.

Использование экспертных оценок в применении адаптивного тестирования выборкой в 208 испытуемых показало высокие значения соответствия оценок результатам тестирования в сравнении с классическим вариантом тестирования. Более того, испытуемые отметили субъективные ощущения по поводу объективности оценки, полученной системой тестирования [4]. Однако экспертные оценки не позволяют полностью преодолеть субъективность в исследовании, и оценка сложности заданий может происходить менее точно, чем при внедрении дополнительных инструментов стандартизации.

Так, адаптивный подход используется в образовательных целях для решения проблемы объективной оценки подготовленности испытуемых: «Теория IRT позволяет установить связь между уровнем знаний испытуемых и результатами выполнения тестов, что позволяет определить уровень знаний независимо от сложности заданий... Это позволяет установить требуемое соответствие между уровнем обученности и трудностью задания и, более того, произвести коррекцию результатов тестирования при тестах разной сложности» [19].

Адаптивный подход может применяться аналогичным образом для стандартизации двух и более классических стандартизированных бумажных тестов между собой, посредством занесения элементов теста в общий банк стандартизируемых заданий. После сбора результатов полученные показатели доли выполненных и невыполненных заданий у одних и тех же испытуемых по разным тестам сравниваются и определяются нормальные показатели сложности заданий. Если испытуемый решает по двум стандартизированным тестам (при прочих равных условиях выполнения задания) свою самую сложную задачу, после которой уже не справляется с предложенными программой более сложными заданиями, то в обоих тестах задачи маркируются как приближенные в сложности. Эта информация сохраняется и обрабатывается статистическими методами, формируются стандартные значения по задачам для тех или иных выборок, которые также отражают сложность задачи.

Существует возможность сравнивать результаты по разным выборкам, подбирать уровень сложности начальных заданий с учетом специализированных задач тестирования. Как при оценке сложности заданий в процессе стандартизации, так и при формировании итоговых результатов осуществляется возможность объединения выборок, суммирования эмпирических данных, таких как классовые интервалы, средние величины и меры рассеяния [18].

Новые данные тестирования синхронизируются с результатами предыдущих исследований. Таким образом, стандартизация адаптивного теста происходит постоянно и целенаправленно в зависимости от задач исследователя. Если нас интересуют конкретные параметры, мы получаем нужный результат благодаря возможности настраивания произвольной выборки при статистическом анализе, сопоставляя ее с любой другой выборкой или результатами конкретного испытуемого. В этом случае конечной целью КАТ является «…разработка теста, который обнаруживал бы практически одинаковую валидность и надежность в отношении всего диапазона тестируемого содержания или измеряемых конструктов» [7].

Сравнительный анализ классического и адаптивного тестирования показывает, что надежность при применении адаптивного подхода выше [16]. Применение такого подхода при выстраивании модулей обучения также доказало свою эффективность в классическом развивающем эксперименте с двумя выборками [9]. Включение параметра времени в качестве коллатеральной информации также может повысить надежность измерения, что показано в исследовании с объемом выборки 2000 человек [21].

Перспективной областью для внедрения адаптивного подхода может стать самостоятельное обучение на компьютерных тренажерах, подстраивающихся под индивидуальный уровень способностей пользователей. Использование игровых технологий преследует цели создания образа будущей профессиональной деятельности, развития мотивации участников и организации профессионального диалога в группах [8]. Специалисты данной области разрабатывают большое количество игр, имеющих свои специфичные задачи: неимитационные, имитационные неигровые и имитационные игровые.

Неимитационные методы соответствуют организации межличностного общения, и адаптивный подход может быть использован, например, при подборе собеседников для обсуждения психологических тем. Цель таких игр — упорядочивание информации [23].

Имитационные неигровые методы представляют из себя задачи и кейсы в виде условия и итогового требования с единственным верным ответом [23].

Цель имитационной игры со сценарием — переживание ситуации в безопасной игровой форме [2].

Адаптивный подход к созданию элементов сценария сделал бы такие игры менее предсказуемыми и более интересными для перепрохождения пользователем, так как подобные технологии в развивающей работе делают каждое прохождение уникальным при общих стандартизированных принципах построения игры.

На Западе адаптивные технологии нашли широкое применение в создании тренажеров soft skills («мягких» или «гибких» навыков) для развития универсальных навыков индивида, относящихся к личной эффективности, а именно: умения управлять собой и своим временем, регулировать рабочие процессы, критически мыслить и обучаться новому, ориентироваться на результат, взаимодействовать с окружающими, мотивировать команду на выполнение каких-либо задач, нести ответственность за принятые решения и работать над ошибками.

Для реализации подобного подхода чаще всего используется игровая симуляция, в которой тренируемый предпринимает активные действия, включающие в себя сценарии взаимодействия с другими пользователями (актерами). С появлением адаптивных технологий началось исследование возможностей их применения при создании тренажеров с учетом способностей пользователя. Польза таких тренажеров, помимо выработки навыков продуктивной коммуникации, усиливается адаптивными технологиями, а также имеет все преимущества применения компьютеризированных технологий.

В масштабном исследовании применения адаптивных технологий для создания soft skills тренажера система определяет триггеры проходящего сценарий пользователя и подбирает подходящий педагогический подход. В итоге создающийся диалог ограничивает простые для пользователя ситуации, которые не нуждаются в прохождении, концентрируя процесс вокруг проблемных зон [26].

При разработке другого адаптивного тренажера soft skills на этапе проектирования производилось сравнение эффективности трех подходов: рекуррентных нейронных сетей («Recurrent Neural Network», сокр. RNN), Байесовского подхода и современной теории тестирования (IRT). Для этого при построении альтернативной LMS-системы, так называемой «Системы обобщенной интеллектуальной структуры обучения» («The Generalized Intelligent Framework for Tutoring», сокр. GIFT), был заложен обучающий модуль, в котором пользователям предлагалось пройти как классические тесты, так и интерактивные задания (ложное интервью, ролевые игры, оценки ситуаций). При внедрении адаптивных процессов из трех рассматриваемых вариантов было отдано предпочтение RNN в связи с необходимостью собирать материал из большого количества источников разного формата, несмотря на отмеченный недостаток при разработке в RNN — недостаточность ранних данных для какой-либо интерпретации [30].

Изучение результатов работы тренажеров soft skills при тренировке 515 студентов показало большую эффективность IRT в сравнении с Байесовским подходом при создании ролевых игр. Система обучалась в ролевом взаимодействии, где одни актеры отыгрывали универсальные «мягкие» навыки (например, роль понимающего слушателя), а другие — навыки выполнения кейс-заданий (например, роль агрессивного покупателя) [40].

Выводы

Таким образом, преимущество компьютеризированного адаптивного тестирования (CAT), по сравнению с классическими методами диагностики (СТТ), заключается в сокращении времени на выполнение тестовых заданий и в более точной, валидной оценке диагностируемых показателей. CAT дает возможность оценить способности учащихся в зоне ближайшего развития [25], рекомендован для измерения прогресса в обучении [34;38], позволяет еще больше увеличить образовательную ценность от проверки знаний, улучшить мотивацию к прохождению тестирования и предоставить респондентам незамедлительную интерактивную обратную связь о полученных результатах, по сравнению с бумажными вариантами [31]. Подход к оценке сложности тестовых заданий с использованием метода свертки прикладных марковских моделей в квантовые представления [10; 14] доказал свою эффективность в построении адаптивных диагностических оценок и повышении надежности результатов, обеспечивая возможность реализации адаптивного подхода к психологической диагностике на небольших по объему выборках.

Заключение

Адаптивные методы, обладая высоким диагностическим потенциалом, находят свое применение как в разработке диагностических методик, так и в различных других прикладных сферах за пределами области психологического тестирования. Предлагая задачи оптимального уровня трудности, адаптивный подход поддерживает вовлеченность пользователей в работу с компьютерными тренажерами, в процесс онлайн-обучения и прохождения заданий, реализованных с помощью обучающих компьютерных игр. Актуальной для будущих исследований представляется задача развития все более точных и гибких методов формирования индивидуальных тестовых и учебных траекторий, а также исследование возможностей приложения адаптивного подхода в создании тренажеров для обучения профессиональным навыкам.

1. Анастази А., Урбина С. Психологическое тестирование. 7-е изд. СПб.: Питер, 2005. 688 с.
2. Бражникова А.Н. Об использовании имитационной игры в изучении курса «Психология нравственности профессионала» // Известия РГПУ им. А.И. Герцена. 2011. № 129. URL: https://cyberleninka.ru/article/n/ob-ispolzovanii-imitatsionnoy-igry-v-izuchenii-kursa-psihologiya-nravstvennosti-professionala (дата обращения: 02.03.2023).
3. Бутовская А.А. Повышение качества образовательного процесса СПО с применением алгоритмов адаптации. Красноярск: Сибирский федеральный университет, 2016.
4. Волкова Т.И. Методика и технология организации адаптивного компьютерного тестирования / Т.И. Волкова, Д.В. Мальцев, А.Ю. Гилев // Успехи современной науки и образования. 2016. Т. 1. № 11. С. 89—90.
5. Ким В.С. Тестирование учебных достижений: монография. Уссурийск: Издательство УГПИ, 2007. 214 с. URL: http://www.uspi.ru/static/kim_testing_monograph/(дата обращения: 13.02.2023).
6. Коляда М.Г., Бугаева Т.И., Миклашевич Н.В. Адаптивное тестирование с возможностями искусственного интеллекта // МОО «Академия информатизации образования». Орел: Изд. ОГУ им. И.С. Тургенева, 2020. С. 265—273.
7. Корсини Р., Ауэрбах А. Психологическая энциклопедия. СПб: «Питер», 2006. 1876 с.
8. Краснощеченко И.П. Деловая игра «Моделирование профессиональной деятельности психолога» в системе психолого-педагогического сопровождения адаптации студентов-психологов // Актуальные проблемы теоретической и прикладной психологии: Материалы Всероссийской научно-практической конференции. Ярославль, 2012. С. 270—272.
9. Кречетов И.А., Дорофеева М.Ю., Дегтярев А.В. Раскрываем потенциал адаптивного обучения: от разработки до внедрения [Электронный ресурс] // Материалы Межд. конференции «eLearning Stakeholders and Re-searchers Summit, 2018». М.: Изд. дом ВШЭ, 2018. С. 76—85. URL: https://estars.hse.ru/mirror/pubs/share/229213957 (дата обращения: 10.02.2023).
10. Куравский Л.С., Артеменков С.Л., Юрьев Г.А., Григоренко Е.Л. Новый подход к компьютеризированному адаптивному тестированию // Экспериментальная психология. 2017. Том 10. №3. С. 33—45.
11. Куравский Л.С., Марголис А.А., Мармалюк П.А., Панфилова А.С., Юрьев Г.А. Математические аспекты концепции адаптивного тренажера // Психологическая наука и образование. 2016. Том 21. № 2. C. 84—95.
12. Куравский Л.С., Марголис А.А., Юрьев Г.А., Поминов Д.А. Концепция самообучающегося адаптивного тренажера // Нейрокомпьютеры: разработка и применение. 2018. № 3. С. 29—37.
13. Куравский Л.С., Поминов Д.А., Юрьев Г.А., Юрьева Н.Е., Сафронова М.А., Куланин Е.Д., Антипова С.Н. Концепция адаптивного тренажера и оценка его эффективности в математическом обучении // Моделирование и анализ данных. 2021. Том 11. № 4. С. 5—20. DOI:10.17759/mda.2021110401
14. Куравский Л.С., Юрьев Г.А., Юрьева Н.Е., Исаков С.С. Адаптивная технология психологической диагностики на основе марковских и квантовых представлений процесса выполнения заданий // Моделирование и анализ данных. 2022. Том 12. №4.
15. Куравский Л.С., Юрьева Н.Е., Юрьев Г.А., Ермаков С.С., Исаков С.С., Левонович Н.И., Несимова А.О., Николаев И.А. Разработка информационной системы для психологической диагностики с использованием элементов искусственного интеллекта. Государственное задание Министерства просвещения Российской Федерации № 073-00110-22-06 от 12.12.2022г.
16. Лихтенвальд Э.К. Модель генерации адаптивных тестов по уровню их сложности [Электронный ресурс] // Вестник КГПУ им. В.П. Астафьева. 2012. № 2. URL: https://cyberleninka.ru/article/n/model-generatsii-adaptivnyh-testov-po-urovnyu-ih-slozhnosti (дата обращения: 10.02.2023).
17. Осипов Г.В. Российская социологическая энциклопедия. М: Издательская группа НОРМА-ИНФРА М, 1998. 672 с.
18. Отроков Д.А., Векслер В.А. Адаптивное тестирование как вид объективного контроля знаний, умений и навыков обучаемых и один из способов повышения качества образования // Педагогические науки. 2018. № 94. С. 170—174.
19. Перевезенцева Е.С., Ушаков Д.В., Панфилова А.С. Веб-реализация адаптивного матричного теста интеллекта Бертлинга—Холлинга [Электронный ресурс] // Экспериментальная психология в России: традиции и перспективы. URL: https://psyjournals.ru/nonserialpublications/exp_collection/contents/33325 (дата обращения: 14.02.2023).
20. Сергеев В.В. Адаптивное тестирование в системах дистанционного обучения [Электронный ресурс] // Научное издание МГТУ им. Н.Э. Баумана «Наука и образование». 2007. № 4. URL: http://engineering-science.ru/doc/65577.html (дата обращения: 10.02.2023).
21. Федерякин Д.А. Время ответа в компьютерном адаптивном тестировании [Электронный ресурс] // Информатизация образования и методика электронного обучения: цифровые технологии в образовании: Материалы IV Международной научной конференции. В 2 ч., Красноярск, 06—09 октября 2020 года. Том 2. Ч. 2. Сибирский федеральный университет, Красноярск. 2020. С. 249—255. URL: https://publications.hse.ru/chapters/412400421 (дата обращения: 10.02.2023).
22. Чумакова Е.В., Корнеев Д.Г., Гаспариан М.С. Разработка метода адаптивного тестирования на основе нейротехнологий // Открытое образование. 2022. Том 26. № 2. С. 4—13.
23. Штроо В.А. Методы активного социально-психологического обучения: учеб.-метод. пособие для студ. 4 курса д/о и 5 курса в/о факультета философии и психологии (отделения психологии). Воронеж, 2003. 55 с.
24. Barocas S., Selbst A.D. Bigdata’s disparate impact // California Law Review. 2016. Vol. 104. P. 671.
25. Collares C.F., Cecilio-Fernandes D. When I say ... computerized adaptive testing // Medical Education. 2019. Vol. 53(2). P. 115—116.
26. Gaffney С. Authoring adaptive soft skill simulations, [thesis]. Trinity College (Dublin, Ireland) // School of Computer Science & Statistics. 2013. P. 420.
27. Jafri S.Sh.M. Computerized adaptive testing using neural networks // Computer Science. 2007. P. 134. URL: https://www.researchgate.net/publication/228720628_Computerized_adaptive_testing_using_neural_networks (дата обращения: 30.09.2022).
28. Kuravsky L.S. Modeling Dynamical Behavior of Stochastic Systems: Spectral Analysis of Qubit Representations vs the Mutual Markovian Model Likelihood Estimations // Lobachevskii J. Math. 2021. № 42(10). P. 2364—2376.
29. Kuravsky L.S. Simplification of Solving Diagnostics Problems by Convolution of Applied Markovian Models into the Quantum Representations // Lobachevskii J. Math.2022. № 43(7). P. 1669—1682.
30. Kyllonen P.C., et al. Implementing Soft skills training in gift // Design Recommendations for Intelligent Tutoring Systems. 2022. Vol. 9: Competency-Based Scenario Design. P. 49.
31. Martin A.J., Lazendic G. Computer-adaptive testing: Implications for students’ achievement, motivation, engagement, and subjective test experience // Journal of Educational Psychology. 2018. Vol. 110(1). P. 27—45.
32. Matayoshi J., Cosyn E., Uzun H. Using recurrent neural networks to build a stopping algorithm for an adaptive assessment // International conference on artificial intelligence in education. Springer, Cham. 2019. P. 179—184.
33. Mujtaba D.F., Mahapatra N.R. Artificial Intelligence in Computerized Adaptive Testing / International Conference on Computational Science and Computational Intelligence (CSCI), Las Vegas, NV, USA, 2020. P. 649—654. DOI:10.1109/CSCI51800.2020.00116
34. Nelson P.M., Van Norman E.R., Klingbeil D.A. & Parker D.C. Progress monitoring with computer adaptive assessments: The impact of data collection schedule on growth estimates // Psychology in the Schools. 2017. Vol. 54(5). P. 463—471.
35. Pan Y., Sinharay S., Livne O., & Wollack J.A. A machine learning approach fordetecting item compromise and preknowledge in computerized adaptive testing. // Psychological Test and Assessment Modeling. 2022. Vol. 64(4). P. 385—424.
36. Rice N., Pêgo J.M., Collares C.F., Kisielewska J., Gale T. The development and implementation of a computer adaptive progress test across European countries // Computers and Education: Artificial Intelligence. 2022. Vol. 3. P. 11.
37. Riza L.S., Nurjanah N.S., Wihardi Y. The development of computer adaptive test and item response theory with 4 parameters based the logistics model // Journal of Physics: Conference Series. 2019. Vol. 1280. № 3. P. 6.
38. Shapiro E.S., Dennis M.S., Fu Q. Comparing computer adaptive and curriculum-based measures of math in progress monitoring // School Psychology Quarterly. 2015. Vol. 30(4). P. 470—487.
39. Veldkamp B.P., Sluijter C. Theoretical and Practical Advances in Computer-Based Educational Measurement / Methodology of Educational Measurement and Assessment. Springer International Publishing: Cham, Switzerland, 2019. P. 271—289.
40. Walz K., Braun E.A. Competency Level Model for Communication Skills. Higher Education Forum. Research Institute for Higher Education, Hiroshima University.1-2-2 Kagamiyama, Higashi-hiroshima, Hiroshima City, Japan, 2022. Vol. 19. P. 45—69.
41. Yang A., Flanagan B., Ogata H. Adaptive formative assessment system based on computerized adaptive testing and the learning memory cycle for personalized learning // Computers and Education: Artificial Intelligence. 2022. Vol. 3. P. 10.
42. Zhuang Y., Liu Q., Huang Z., Li Z., Shen S., Ma H. Fully Adaptive Framework: Neural Computerized Adaptive Testing for Online Education. The Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI-22). February 22–March 1, 2022, held virtually. Vol. 36. № 4. P. 4734—4742.