Проблема эквивалентности традиционных и компьютеризированных психологических методик

В обширной практике компьютеризации психологических методик накапливаются случаи неэквивалентности компьютеризированных методик своему традиционному варианту. Имеются данные по популяциям и по измеряемым психологическим характеристикам, а также об изменении во времени. Предложено объяснение этого явления с позиции культурно-исторической психологии: новое средство должно быть культурно освоено, его применение должно входить в ключевые компетенции испытуемого.

К настоящему времени проведено много исследований, направленных на выяснение эквивалентности традиционных («бумага и карандаш») и компьютеризированных форм различных психологических методик. Как было показано нами ранее, разные формы методик отличаются по структуре (Бабанин, 2006). Психометрически, т. е. статистически, формы психодиагностической методики считаются эквивалентными, если все их шкалы имеют одинаковые статистические показатели и в обоих вариантах одни и те же испытуемые в группе по их показателям ранжируются одинаково.

В большинстве случаев исследователи пытались показать их психометрическую эквивалентность и таким образом обосновать применение компьютеризированных форм методик. В результате сравнительных исследований сложилась довольно противоречивая картина. С одной стороны, в большинстве показана психометрическая эквивалентность компьютеризированных и традиционных форм методик, с другой – имеются свидетельства об их различии. Эти исследования проводились на материале различных методик применительно к различным популяциям. При этом чаще всего это опросники, а в качестве испытуемых в подавляющем большинстве выступают студенты.

Рассмотрим случаи неэквивалентности методик, сначала психологических. По испытуемым. Обнаружено, что пациенты клиник чаще дают нечестные ответы в компьютеризированных личностных опросниках (Whitener, Klein, 1995). Получены различия и для особой группы респондентов – заключенных тюрьмы (Ford, Vitelli, Stuckless, 1996). Имеются данные о неэквивалентности ряда методик для подростков.

К настоящему времени проведено много исследований, направленных на выяснение эквивалентности традиционных («бумага и карандаш») и компьютеризированных форм различных психологических методик. Как было показано нами ранее, разные формы методик отличаются по структуре (Бабанин, 2006). Психометрически, т. е. статистически, формы психодиагностической методики считаются эквивалентными, если все их шкалы имеют одинаковые статистические показатели и в обоих вариантах одни и те же испытуемые в группе по их показателям ранжируются одинаково.

В большинстве случаев исследователи пытались показать их психометрическую эквивалентность и таким образом обосновать применение компьютеризированных форм методик. В результате сравнительных исследований сложилась довольно противоречивая картина. С одной стороны, в большинстве показана психометрическая эквивалентность компьютеризированных и традиционных форм методик, с другой – имеются свидетельства об их различии. Эти исследования проводились на материале различных методик применительно к различным популяциям. При этом чаще всего это опросники, а в качестве испытуемых в подавляющем большинстве выступают студенты.

Рассмотрим случаи неэквивалентности методик, сначала психологических. По испытуемым. Обнаружено, что пациенты клиник чаще дают нечестные ответы в компьютеризированных личностных опросниках (Whitener, Klein, 1995). Получены различия и для особой группы респондентов – заключенных тюрьмы (Ford, Vitelli, Stuckless, 1996). Имеются данные о неэквивалентности ряда методик для подростков.

По параметрам. В содержательном исследовании О.Н. Арестовой (Арестова, Бабанин, Войскунский, 1995) на примере методики уровень притязаний показано, что при компьютеризации может измениться содержательная валидность методики. В многочисленных статистических исследованиях в основном разницы не обнаружено, исключение составляют показатели, связанные с тревожностью и депрессией: в ситуации компьютеризированного тестирования они оказались выше. В некоторых исследованиях сравнения компьютеризированной и традиционной форм методики MMPI обнаружено превышение значений по шкалам депрессии, паранойи, психастении и шизофрении в традиционном варианте по сравнению с компьютеризированным (Hays, McCallum, 2005). Однако на представителях другой культуры (японской) обнаружено противоположное направление изменения величины шкал MMPI. Установлены отличия в описательной статистике и надежности при исследовании потребности достижения, самооценки, локуса контроля (Whitener, Klein,1995).

Проведенный анализ привел нас к предположению, что здесь мы встретились с феноменом, который не является узкопсихологическим, а имеет общекультурный характер. Поэтому анализ был расширен: в него включили и педагогические исследования. Эти более многочисленные исследования выполнены в рамках образовательного тестирования, прежде всего школьного и вузовского оценивания знаний (Bunderson et al., 1989; Clariana, Wallace, 2002, McDonald, 2002; Millsap, 2000). Здесь также получены неоднозначные данные. В половине исследований разницы не обнаружено (Bunderson et al., 1989), в других получены интересные данные, свидетельствующие о различиях в форме тестирования. Причем для одних тестов лучше выполнение на бумаге, в других – на компьютере. Но традиционное исполнение чаще предпочтительнее (Bunderson et al., 1989). Так проверка знаний по математике и родному языку (английскому) лучше на бумаге, чем на компьютере.

Выделены эффекты пола, расы и возраста. В одном исследовании (Clariana, Wallace, 2002) получено, что белые мужчины при тестировании на компьютере получают более высокое оценки, в то время как мужчины других рас – более низкие, причем для женщин такой разницы не обнаружено. В другом исследовании (Millsap, 2000), наоборот, темнокожие студенты при тестировании на компьютере получали более высокие оценки, а для белых студентов разницы не обнаружено. Выделены также факторы, влияющие на неэквивалентность двух форм методики: фактор социального окружения, социальной желательности, тревожности (общей и компьютерной) и компьютерного опыта. Описан феномен повышенной готовности к искренности и к «самораскрытию» при анонимном компьютеризированном тестировании.

Чем же можно объяснить эти разрозненные, порой противоречащие друг другу факты, полученные различными исследователями в разное время на разных методиках на разных группах в различных условиях? Какая складывается картина? Обратим внимание на то, что для высокообразованных («культурных») испытуемых разницы нет, наоборот, для лиц недостаточно вписавшихся в культуру (больных, заключенных, подростков и т.д.) имеются определенные различия. Напрашивается объяснение с позиции культурно-исторической психологии: информационные технологии являются элементами современной культуры, их надо освоить. Недостаточно иметь свободный доступ к компьютеру, надо его освоить, привыкнуть им активно пользоваться, а это требует перестройки системы навыков, мышления и стереотипов деятельности. Информационные технологии должны вписаться в человеческую деятельность, только тогда они не внесут искажения в психологическую методику и не повлияют на получаемые с ее помощью данные.

Вписывание информационных технологий в современную культуру идет не только со стороны средств, но и со стороны субъекта. Их освоение включает в себя не только операционально-технические навыки, но и целую личностно-смысловую систему планирования и контроля деятельности, включение этих технологий в общую картину мира. О. К. Тихомиров писал, что перед психологами «Возникает проблема вписываемости искусственных систем в человеческую деятельность, их роли в ее формировании и развитии, определения ее структуры, проблема используемости потенциальных возможностей систем в деятельности и выделения факторов, влияющих на нее» (Тихомиров, 1993).

При объяснении этого явления применимы понятия компетентности: «такого интегрального социально-личностно-поведенческого феномена, как результата образования в совокупности мотивационно-ценностных, когнитивных составляющих», и компетенции: «некоторые внутренние, потенциальные, сокрытые психологические новообразования: знания, представления, программы (алгоритмы) действий, систем ценностей и отношений, которые затем выявляются в компетентностях человека» (Зимняя, 2006). В их число входят компетенции общения, интеграции знаний, деятельности. Общекультурная компетентность относится к смысловой организации деятельности, понимании места информационных технологий в конкретной деятельности. Отдельным видом выделяется информационная компетенция. В нее входит умения самостоятельных действий с искусственными объектами, освоения алгоритмов действий, самостоятельного поиска, анализа, отбора и организации информации в искусственной среде. Поэтому развитый уровень общекультурной и информационной компетентности как испытуемого, так и психолога является необходимым условием адекватного применения компьютеризированной методики.

С нашей точки зрения, объяснение практики компьютеризации психологических методик с позиций культурно-исторического подхода с помощью понятий компетенция/компетентность является наиболее продуктивным.

1. Арестова О. Н., Бабанин Л. Н., Войскунский А. Е. Специфика психологических методов в условиях использования компьютера. М.: Изд-во Моск. ун-та, 1995.
2. Бабанин Л. Н. Психологическая методика как объект общепсихологического анализа // Ученые записки кафедры общей психологии МГУ. Вып. 2. М.: Смысл, 2006. С. 177–202.
3. Зимняя И.А. Ключевые компетенции – новая парадигма результата современного образования [Электронный ресурс] // Интернет-журнал «Эйдос». 5 мая 2006. http://www.eidos.ru/ journal/2006/0505.htm.
4. Тихомиров О. К. Информационный век и теория Л. С. Выготского // Психологический журнал. 1993. № 1. С. 114–119.
5. Bunderson С. V., Inouye D. К. and Olsen J. В. The four generations of computerized educational measurement [Текст] // Educational measurement / Ed. by R. L. Linn. American council on education. 1989. С. 367–407.
6. Clariana R., Wallace P. Paper-based versus computer-based assessment: key factors associated with the test mode effect // British Journal of Educational Technology. 2002. V. 3. № 5. С. 593–602.
7. Ford D. B., Vitelli R., Stuckles S. N. The effects of computer versus paper-and-pencil administration on measures of anger and revenge with an inmate population // Computers in human behavior. 1996. V. 12. № 1. С. 159–166.
8. Hays S., McCallum S. A comparison of the pencil-and-paper and computer-administered Minnesota multiphasic personality inventory – adolescent // Psychology in the schools. 2005. V. 42. № 6. С. 605–612.
9. McDonald A. S. The impact of individual differences on the equivalence of computer-based and paper-and-pencil educational assessments // Computers and education. 2002. V. 39. С. 299–312.
10. Millsap C. M. Comparison of computer testing versus traditional paper and pencil testing: Diss. for the degree of PhD. Univ. of North Texas. 2000. http://digital.library.unt.edu/permalink/metadc-2621:1.
11. Whitener E. M., Klein H. J. Equivalence of computerized and traditional research methods: the roles of scanning, social environment, and social desirability // Computers in human behavior. 1995. V. 11. № 1. C. 65–75