Подход к тестированию интеллектуальных способностей и устранению артефактов

«Всякий умный человек знает, что такое интеллект...

Это то, чего нет у других!» Mc Nemar, 1964

1.    Введение

Проблема интеллекта, интеллектуальных способностей, интеллектуального (умственного) развития в психологии относится к числу старейших. Порой представляется, что это «вечная» проблема данной науки, относящаяся к системе категорий и проблем, которые подвергаются исследованию на всем протяжении ее возникновения, развития и существования. Более того, идеи относительно происхождения интеллекта и его сущности высказывались учеными еще в период дона­учного развития психологии (например, античными мыслителями Гераклитом, Парменидом, Платоном, Аристотелем и др.) [1].

На протяжении длительного времени существовало два мнения относительно интеллекта. Согласно первому из них - это черта сугубо наследственная: либо человек рождается умным, либо нет. В соответствии же со второй точкой зрения интеллект связан со скоростью восприятия или реагирования на внешние стимулы.

В 1885 году Дж. Кэттелл разработал с десяток более «психологических» тестов, которые он назвал «ментальными». В данных тестах определялись быстрота рефлексов, время реакции, время восприятия определенных раздражителей, болевой порог при надавливании на кожу, число букв, запоминаемых после прослушивания буквенных рядов, и т. п. С помощью такого инструментария Кэттелл определил параметры реакции на раздражители разной силы. Важным результатом явился тот факт, что если у большинства людей эти показатели лишь ненамного отклоняются от среднего уровня, то у какой-то части испытуемых время реакции было значительно больше или меньше наиболее типичных величин. Представив эти данные графически, Кэттелл получил колоколообразную кривую, сходную с кривыми распределения некоторых физических или химических показателей.

В тестах, которые были разработаны позже, показателем их эффективности служило время, затраченное испытуемым на решение предложенных задач. Главным измерительным прибором психологов стал хронометр: чем быстрее справлялся с заданием испытуемый, тем больше он набирал очков. Колоко­лообразное распределение времени реакции, полученное Кэттеллом, было использовано для оценки интеллекта с помощью различных тестов и для выяснения вопроса, как распределяется уровень интеллекта среди населения. По одну сторону оказывались «отсталые», а по другую - «сверходаренные». И, наконец, периодически всплывало представление о том, что интеллект должен быть наследственным свойством.

Между тем ученые, разработавшие первые тесты на интеллект (Binet, Simon, 1905), рассматривали это свойство более широко. По их мнению, человек, обладающий интеллектом, - это тот, кто «правильно судит, понимает и размышляет» и кто благодаря своему «здравому смыслу» и «инициативности» может «приспосабливаться к обстоятельствам жизни».

Эту точку зрения разделял и Векслер - ученый, создавший в 1939 году первую шкалу интеллекта для взрослых. Он считал, что «интеллект - это глобальная способность разумно действовать, рационально мыслить и хорошо справляться с жизненными обстоятельствами» [4].

Сегодня большинство психологов согласны именно с тем определением интеллекта, где он рассматривается как способность индивидуума адаптироваться к окружающей среде. Однако ряд ученых в предлагаемых ими тестах приняли за главный показатель интеллекта скорость выполнения определенных заданий. При использовании подобных тестов естественно возникает вопрос: «Что же мы измеряем?». Ганс Айзенк дает на него следующий ответ.

«Накопленный мною опыт показывает, что есть одна психологическая характеристика, которая в значительной степени определяет успех или неудачу испытуемого. Эта характеристика - скорость протекания умственных процессов. Характеристика скорости умственных процессов есть фундаментальный базис интеллектуальных различий между людьми, но упорство и настойчивость могут компенсировать недостаточную скорость мышления. А при нехватке настойчивости можно растерять те преимущества, которые дала Вам природа, наделив Вас высоким темпом мышления. Даже если человек быстро соображает и достаточно настойчив, он может оказаться несобранным, склонным к поспешным действиям и неметодичным. Он хватается за первую же идею, пришедшую ему в голову, не давая себе труда проверить, правильно ли полученное решение. Плохая работа «детектора ошибок» приводит к очень низким результатам тестирования так же неотвратимо, как и недостаточная скорость мышления и отсутствие настойчивости» [3].

Что же касается самих тестов на интеллект, они в значительной степени зависят от того, как каждый исследователь представляет себе это свойство личности. И хотя в настоящее время психологи пришли к согласию по поводу общего распределения интеллекта, его компоненты и способы их оценки все еще вызывают споры.

2.    Структура интеллекта по Ч. Спирмену и Л. Терстону

Следует проанализировать понятие структуры интеллекта, как оно сложилось в рамках исследований индивидуальных различий Ч. Спирмена и Л. Терстона. Структура в математическом смысле слова означает совокупность отношений, заданных на множестве элементов. В феноменальном плане структура интеллекта определена на множестве всех задач в широком смысле этого слова. Задача в данном случае - это не только специально сформулированная исследователем для проверки умственных способностей головоломка, а любая ситуация, требующая интеллектуального поведения (написать текст, убедить слушателя или разобраться в техническом устройстве). Отношения, задающие структуру интеллекта на множестве ситуаций интеллектуального поведения, - это корреляционные отношения сходства и различия. Две ситуации А и В сходны в той степени, в какой на выборке людей успешность действий в ситуации А связана с успешностью действий в ситуации В.

Структура интеллекта означает признание высокой вероятности одних паттернов интеллектуального поведения и невозможности других. Следовательно, структура интеллекта понимается как структура механизмов, осуществляющих различные формы интеллектуального поведения. Тем самым проект исследования структуры интеллекта оказывается еще и проектом выявления взаимосвязи механизмов интеллектуального поведения. Этот проект при его очевидной заманчивости оказался одним из самых длительных и дорогостоящих в психологии, приведя даже к достижениям в сфере математической статистики (создание факторного анализа) [10].

В начале XX века Спирмен пришел к выводу, что он может, исходя из поведения индивидуума, выделить некий «генеральный» фактор интеллекта, который он назвал фактором G(от general- общий). Однако нельзя было не признать, что при решении арифметической задачи, ремонте двигателя или изучении иностранного языка мозг работает по-разному. Некоторые люди более способны к одним видам деятельности, чем к другим, хотя общий («генеральный») уровень интеллекта у них может быть сходным. Поэтому Спирмен наряду с фактором G ввел еще фактор S (от special— специальный), служащий показателем специфических способностей. Между общим и частными факторами в этой модели постулируется существование факторов промежуточной степени общности, которые участвуют в решении достаточно широких классов задач. Объясняя корреляцию результатов различных измерительных процедур влиянием общего свойства, он предложил в 1927 году метод факторного анализа для выявления этого латентного генерального фактора.

В исследовании, которое было посвящено проблеме адекватности факторных моделей интеллекта [8], была разработана гнездовая факторная модель интеллекта, согласованная с теорией Ч. Спирмена, в которой в качестве наблюдаемых параметров использовались результаты тестирования близнецов по тесту Векслера, приведенная на рис. 1.

С точки зрения Спирмена, каждый человек характеризуется определенным уровнем общего интеллекта, от которого зависит, как этот человек адаптируется к окружающей среде. Кроме того, у всех людей имеются в различной степени развитые специфические способности, проявляющиеся в решении конкретных задач такой адаптации.

Многие психологи поняли, что представление о едином интеллекте не вполне соответствует действительности и не отражает всего многообразия задач, которые возникают при адаптации к окружающему миру. Каждый человек в повседневной жизни действует по-своему, и его интеллект при этом проявляется в его перцептивных, мнемических, языковых, счетных и иных способностях.

Л. Терстон с помощью статистических методов исследовал эти различные стороны общего интеллекта, которые он назвал первичными умственными потенциями. Он выделил семь таких потенций: счетную способность, вербальную гибкость, вербальное восприятие, пространственную ориентацию, память, способность к рассуждению, быстроту восприятия. По его мнению, достаточно лишь разработать тесты на каждую из этих способностей, и можно будет вычертить профиль интеллектуального потенциала индивидуума. Оказалось, однако, что все эти способности отнюдь не столь независимы друг от друга, как полагал Терстон, и что необходима еще большая детализация факторов интеллекта. Модели, придерживающиеся идеи единого фактора, постепенно стали преобразовываться в иерархические. В уже упомянутой ранее работе [8] также приводится иерархическая модель интеллекта, представленная на рис. 2.

В процессе анализа обе модели показали свою адекватность наблюдаемым параметрам. Исключение фактора G из моделей и дальнейшее сравнение полной и упрощенной моделей доказало значимость исследуемого фактора, поэтому при разработке факторной модели, отражающей процесс тестирования интеллектуальных способностей в виде симплекс-структуры, в основу были положены и та и другая модели.

3.    Модель процесса тестирования
интеллектуальных способностей

Большинство тестов интеллекта было разработано согласно различным теориям, описывающим структуру интеллектуальных способностей, с целью понимания, что именно измеряет тест.

 Разработка прототипа системы поддержки принятия решений (СППР) для тестирования интеллекта ведется на базе прогрессивных матриц Равена. Данная методика опирается на подход Чарльза Спирмена к структуре интеллектуальных способностей, который был первым, кто отметил, что результаты тестирования таких учебных способностей как, например, способности к арифметике, чтению и правописанию, обнаруживают тенденцию к взаимной корреляции на уровне от 0.7 до 0.8. Он сделал вывод, что такие корреляции можно объяснить наличием в основе умственных способностей некоего единого, или общего «фактора g», и предположил, что различные тесты в разной степени апеллируют к этой базовой способности.

Тест Равена «Прогрессивные матрицы» был разработан как инструмент для максимально простой и непротиворечивой оценки фактора g. Данная методика была создана с перспективой изучения вклада генетических и средовых факторов в природу умственных способностей, а также их личностных и социальных последствий. В работе Дж.К. Ра­вена с соавт. [9] приводится информация, что Фодегель-Матцен обнаружила следующее: испытуемые, получившие более высокие оценки, тратили больше времени на рассматривание матриц перед принятием решения. Это наводит на предположение, что лучшие из выполнявших тест способны удерживать в краткосрочной памяти больше информации. Впрочем, возможно, они просто затрачивают больше усилий при решении заданий теста.

Основная полемика развернулась вокруг факторно-аналитической модели, которая наилучшим образом подходит для описанного паттерна корреляций между тестами, и относительно того, существует ли общий фактор, определяющий умственные способности, как альтернатива идее накопления шаблонов, адекватных решению задач определенных типов. В частности, Перкинс и Саломан (Perkins and Saloman, 1989) опубликовали обширный обзор, из которого следует, что действительно существует такой общий фактор для способности к рассуждению.

Принято считать, что используя термины «интеллект» и «фактор g», психологи предполагают врожденность и неизменность этих характеристик. Действительно, такие допущения были включены в бертовское (Burt, 1957) определение «интеллекта» как «врожденной общей когнитивной способности». В противоположность этому, Дж. К. Равен ставил целью своего исследования выделение средовых, а также генетических причин умственных отклонений. В своих работах (Raven, 1959) Равен настойчиво протестовал против введения допущения о врожденности в определение интеллекта. В качестве первостепенной он ставил перед собой задачу разработки тестов, которые были бы теоретически обоснованы и легко интерпретируемы, и оценки которых минимально зависели бы от различий в образовании и жизненном опыте среди представителей западного общества. Второй его задачей было использование этих тестов, чтобы попытаться выделить специфический вклад генетических и средовых источников вариативности тестовых оценок, особенно у людей, принадлежащих к сходным социоэкономическим группам или у детей из одной и той же семьи. [9]. Методика Равена - «Тест прогрессивных матриц», ориентированная на диагностику способности к выявлению закономерностей в организации серий последовательно усложняющихся геометрических фигур, была создана для измерения продуктивных возможностей интеллекта.

Таким образом, нами была разработана факторная модель процесса тестирования интеллектуальных способностей с симплекс- структурой, включающая как влияние фактора g (в модели обозначены как Ci), так и факторов среды (в модели обозначены как Ei) на ответы испытуемых. Она представлена на рис. 3 и подробно описана в ранее опубликованной статье [7].

Результаты ответов испытуемых представлены наблюдаемыми параметрами Ti (рис. 3). При верном ответе на вопрос тестовой методики параметр Tiпринимает значение расчетной сложности вопроса, а при неверном - приравнивается к нулю. Сложность тестовых вопросов измеряется в шкале логитов*.

 Данные о проценте верных ответов на каждый вопрос теста для большой выборки испытуемых были предоставлены разработчиками теста. Наборы наблюдаемых параметров, переведенных в логиты, могут быть разделены по итоговому результату на несколько групп сложности.

Как было указано ранее, время, затраченное испытуемыми при ответе на вопрос теста, также учитывалось при анализе интеллектуальных способностей разными авторами, поэтому нами была составлена аналогичная факторная модель, в которой в качестве наблюдаемых параметров Iiвыступает время ответа на каждый вопрос тестовой методики (рис. 4).

59

В данных моделях дисперсия Ciфактора выражается формулой:

Оценки свободных параметров модели определяются как компоненты псевдо­решения переопределенной системы уравнений [6]:

где F(x) - n-мерный нелинейный оператор, действующий на m-мерный вектор x свободных параметров модели, компоненты которого являются аналитическими выражениями прогнозируемых дисперсий и ковариаций наблюдаемых переменных через m свободных параметров рассматриваемой факторной модели; b - вектор-столбец, составленный из n выборочных оценок дисперсий и ковариаций наблюдаемых переменных.

Для вычисления псевдорешения может применяться любой подходящий численный метод нелинейной многомерной локальной оптимизации, в котором критерий минимизации представлен евклидовой нормой невязки. В частности, для этого приемлемы градиентные методы.

В процессе работы была получена выборка ответов испытуемых по методике «Advanced Progressive Matrices» (Продвинутые прогрессивные матрицы Равена, состоящая из одного субтеста и 36 вопросов), которая в дальнейшем была разделена на 3 группы (высокий, средний и низкий) по уровню развития невербальных способностей. Идентификация факторных моделей для результатов и для времени ответов испытуемых проводилась для каждого уровня развития способностей по выборочным ковариационным матрицам с использованием метода наименьших квадратов.

После получения значений факторных нагрузок, используя метод Монте-Карло, имеется возможность путем генерации нормально распределенных случайных значений фактора C1с различными стандартными отклонениями, лежащими в окрестности идентифицируемого стандартного отклонения C1, и долями случайных компонентов, выходящими за рамки доверительных интервалов, применяя выражения наблюдаемых переменных Ti и Iiчерез факторы модели, получить выборки наблюдаемых значений для каждой из групп различного уровня способностей с учетом вариативности, присутствующей в генеральной совокупности.

Столь большая выборка наблюдаемых параметров необходима для обучения самоорганизующихся карт Кохонена для каждого из уровней с целью получения выборок евклидовых расстояний между входным вектором, описывающим процесс прохождения тестирования испытуемым, и центрами нейронов- победителей обученной сети. Выборочные оценки этих расстояний идентифицируют эмпирическое распределение и позволяют оценивать вероятности превышения расстояния между полученным вектором ответов испытуемого, а также времени, затраченного при ответе на каждый вопрос, и соответствующим центром нейрона-победителя, что дает возможность судить о степени адекватности модели наблюдениям.

Таким образом, после каждого ответа испытуемого на вопрос теста система подает вектор ответов на вход обученных карт Кохонена для разных уровней развития способностей и дает вероятностную оценку, к какой из модели наиболее близок конкретный испытуемый. На определенном вопросе, когда оценка превысит допустимый порог, процесс тестирования завершается, и формируется итоговая оценка принадлежности испытуемого к уровню развития невербальных способностей по его результатам и по времени, затраченному на прохождение теста.

4. Устранение артефактов
при тестировании

В процессе прохождения тестовой методики на испытуемого воздействуют различные факторы внешней среды, такие как усталость, нервное перенапряжение, подсказки и др., что может исказить итоговый результат. Для устранения артефактов тестирования используется многомерный цифровой фильтр Калмана. Его выбор среди близких по содержанию подходов является оптимальным, поскольку он наилучшим образом согласуется с принятой концепцией тестирования и контекстом ее использования. В частности, этот фильтр:

•    в отличие от фильтра Винера, способен обрабатывать текущую информацию об ответах испытуемого в реальном времени, формируя свои оценки сразу же после получения очередного ответа и не требуя полного протокола тестирования, который недоступен до завершения всей процедуры ответов на вопросы;

•    в отличие от фильтра Стратоновича, использует только линейные методы оценки, наилучшим образом согласующиеся с применяемой линейной дифференциальной моделью адаптивного тестирования, и не приводит к неоправданному усложнению процесса решения;

•    в отличие от фильтра Льюинбергера, учитывает ошибки наблюдений и обеспечивает оптимальные оценки.

Фильтр Калмана использует уравнения информационного и наблюдаемого процессов и для моделей рассматриваемого типа** имеет следующий вид [11]:

В случае данного варианта процесса тестирования наблюдаемый процесс представляет историю ответов испытуемого на вопросы из субтеста. Он выражается вектором

у которого с каждым новым ответом на вопрос размерность увеличивается на 1 при ограничении из kвопросов субтеста, где n - дискретный момент времени. В свою очередь, исследуемый информационный процесс, отражающий динамику изменения влияния генетического фактора на возможность испытуемого ответить на предъявляемый вопрос, представлен вектором

размерность которого определяется числом вопросов в методике, а количество компонентов увеличивается на 1 при ответе на очередной вопрос. Полагается, что

Оценка характеристик случайных ошибок наблюдений проводится при идентификации модели и представляется вектором

на который накладываются следующие условия:  где R - симметричная положительно определенная матрица, которая полагается не зависящей от времени. При проведении практических расчетов эта матрица заменится на одну из своих выборочных оценок , полученных для каждого из рассматриваемых уровней способностей на основе результатов наблюдений.

Матрица формирующего фильтра и диагональная матрица наблюдений содержат соответствующие идентифицированные факторные нагрузки из моделей, рассмотренных ранее для каждого уровня развития способностей. Используя уравнение информационного процесса, мы имеем возможность построить график информационного процесса для разных уровней развития способностей, пример которого приведен на рис. 5.

В процессе ответа испытуемым на вопросы методики его результаты корректируются согласно трем моделям, описывающим информационный процесс для каждого уровня с использованием уравнения цифрового фильтра Калмана, определяющего несмещенную оценку исследуемого процесса, представленного в виде

где  - матричный коэффициент усиления фильтра Калмана.

61

 Данный коэффициент вычисляется по формуле

где  — априорная матрица дисперсий, определяемая следующим уравнением:

В этом уравнении  - апостериорная матрица дисперсий, представленная следующим уравнением:

Начальное условие определяется эмпирической оценкой дисперсии ошибки  при  , которая полагается одинаковой для всех типов моделей.

Скорректированный вектор ответов испытуемого согласно каждому уровню развития способностей подается на вход соответствующей обученной самоорганизующейся карте Кохонена, после чего происходит вероятностная оценка принадлежности испытуемого к одной из моделей.

5.    Перспективы использования СППР с
другими тестовыми методиками

Возможности применения предлагаемого подхода не ограничиваются только рассмотренным тестом Равена. Существует ряд методик, которые также возможно адаптировать для работы в СППР. Рассмотренный тест «Продвинутые прогрессивные матрицы Равена» состоит из одного субтеста. Например, к числу наиболее широко применяемых в России тестов структуры интеллекта принадлежит тест Р. Амтхауэра (Amthauer Intelligenz-Struktur-Test, 1ST). Тест предложен автором в 1953 году (последняя редакция - 1973 года). Он предназначался для дифференцированного отбора кандидатов на разные виды профессионального обучения и для профессионального отбора.

Амтхауэр рассматривал интеллект как специализированную подструктуру в целостной структуре личности, состоящую из различных факторов (речевого, счетно­математического, пространственных представлений, мнемического). При составлении теста он исходил из двух предпосылок: 1) корреляция результатов каждого субтеста с результатами по всему тесту должна быть максимальной, 2) корреляция между субтеста­ми должна быть возможно минимальной (но положительной). Тест диагностирует четыре компонента интеллекта: вербальный, счетно­математический, пространственный, мнемический. Корреляция этих факторов (три из которых аналогичны факторам Спирмена) равна 0.36. Следовательно, для адаптации данного теста к разрабатываемой СППР потребуется для каждого компонента (субтеста) проводить идентификацию факторных моделей для результатов и времени ответов испытуемых, обучать самоорганизующиеся карты Кохонена для вероятностной оценки уровня развития способности, а также адаптировать фильтр Калмана для коррекции артефактов, возникающих в процессе тестирования.

Еще одним из наиболее известных и часто используемых в психологической, педагогической и медицинской практике является тест Д. Векслера. Он относится к числу индивидуальных тестов и применяется в ходе личного взаимодействия психолога с испытуемым. Вследствие того что компьютерный вариант данной методики не рекомендуется создавать, его невозможно использовать в СППР.

Разрабатываемая СППР может быть адаптирована для работы с классическими тестами интеллектуальных способностей, для которых существует возможность создания их компьютерного варианта, такими как 16-факторный личностный опросник Р. Кеттелла, придерживавшегося аналогичного подхода к структуре интеллекта Ч. Спирмена, тест Ай­зенка, состоящего также из нескольких суб­тестов, измеряющих вербальные, математические и визуально-пространственные способности, рассмотренные различные варианты прогрессивных матриц Равена и др.

6.    Основные результаты и выводы

Разработана концепция новой системы поддержки принятия решений для тестировании интеллекта, основанной на использовании факторных моделей и позволяющей оптимизировать процедуру тестирования за счет сокращения избыточных заданий.

Предложенный подход имеет преимущества по сравнению с использованными ранее способами тестирования, что обусловлено его большей информативностью, связанной с учетом влияния фактора времени на результаты тестирования, а также уменьшением времени прохождения процедуры испытаний.

Устранение искажающих оценки артефактов, обусловленных воздействием на испытуемого факторов внешней среды, выполняется на основе сравнения наблюдаемых и прогнозируемых результатов прохождения теста при разных уровнях способностей с помощью многомерного цифрового фильтра Калмана, приспособленного для решения задачи тестирования.

Разработан и программно реализован тест «Advanced Progressive Matrices», работающий на основе предложенной концепции и имеющий существенные преимущества перед аналогами.

Благодарности

Автор выражает благодарность доктору психологических наук, члену-корреспонденту РАН, заведующему лабораторией психологии и психофизиологии творчества Института психологии РАН профессору Д. В. Ушакову и доктору технических наук, декану факультета информационных технологий МГППУ профессору Л. С. Куравскому за консультации и обсуждение результатов работы.