Семантическая эквивалентность как основа интермодальной интеграции

Статья посвящена изучению механизмов объединения сенсорной информации разной модальности. Приводятся результаты экспериментального исследования, свидетельствующие о том, что при сопоставлении разнородных объектов наблюдатели легко выделяют и опираются не на модально-специфические характеристики, а на их общее семантическое содержание. Сходные результаты получены для двух типов сопоставления: вербального (сопоставлялись слова, обозначающие ту или иную эмоцию, и рисунки эмоций) и невербального, где в качестве объектов сопоставления выступали рисунки эмоций и эмоциональные лица. Кроме того, данные проведенного исследования свидетельствуют о том, что семантическое содержание успешно вычленяется, как при достаточно большом времени экспозиции стимулов (2 с), так и при решении припороговой задачи (сокращение времени экспозиции до 30 мс, а также до 30 мс с использованием маски), т. е. в условиях отсутствия времени для формирования предметного образа, что говорит о наличии ранней семантической обработки информации. При этом сокращение времени экспозиции до припороговых значений в ряде случаев приводит к более эффективному сопоставлению объектов. Делается предположение о том, что подобный когнитивный механизм лежит в основе сопоставления и интеграции разномодальных объектов любого типа.

Введение

В настоящее время в науке по-прежнему актуальной является проблема интермодальных взаимодействий и понимания условий и механизмов интермодальной интеграции информации.

Мы почти никогда не воспринимаем осязательные, зрительные и слуховые раздражения изолированно: воспринимая предметы внешнего мира, мы видим их глазом, ощущаем прикосновением, иногда воспринимаем их запах, звучание и т. д. Человек, выглядывая из окна, воспринимает не разрозненную мозаику из визуальных, звуковых и тактильных сигналов, но слитный целостный образ или гештальт, соединяющий в себе, к примеру, скачущих лошадей, шум деревьев и запах цветов [22], т. е. единое целое, имеющее смысл. Поэтому очевидно, что интермодальная интеграция (или более принятый в зарубежной науке термин кросс-модальные взаимодействия — cross-modal interactions) повышает точность, значимость и надежность воспринятого [1].

Широко известен пример мнемониста Соломона Шерешевского, с которым А.Р. Лурия проработал почти 30 лет [14]. Его уникальные возможности по запоминанию любого материала базировались на синестетических способностях, причем сразу в нескольких модальностях. Часть данных о синестезии Шерешевского, не вошедших в книгу А.Р. Лурия, можно найти в работе А.Н. Леонтьева [8].

Однако, несмотря на большое количество исследований, сделанных вслед за этим, до сих пор проблема механизмов объединения сенсорной информации и формирования интегрированной репрезентации и единого перцепта далека от своего однозначного решения, а экзотический феномен так называемой истинной синестезии, или реального соощущения, — еще одна загадка на этом пути [16; 21; 40].

Ряд данных дает основание полагать, что наличие синестетических переживаний — это вариант крайнего проявления способности к интермодальному обобщению. Об этом свидетельствуют исследования, указывающие на то, что содержание синестетических соответствий часто имеет тенденцию повторять кросс-модальные связи широкого универсального порядка, такие как, например, высота звука — светлота цвета — низкое или высокое расположение в пространстве [13; 23; 31]. Однако непроизвольность, устойчивость и навязчивый характер синестетических связей не позволяют считать синестезию аналогом кросс-модального переноса [24; 38].

Таким образом, вопрос о том, существует ли единый механизм, который лежит в основе закономерностей образования кросс-модальных связей и синестетических переживаний, остается открытым. Известно, что удовлетворительной теории синестезии и исчерпывающего объяснения механизмов образования кросс-модальных связей не существует. Частично это также связано с различным пониманием феномена и вытекающего из этого многообразия используемых терминов, которое затрудняет сравнение результатов исследований между собой [1]. Ученые, работающие в этой области, используют для описания наблюдаемых феноменов следующие термины: полимодальный, метамодальный, мультимодальный, интермодальный, мультисенсорный, кросс-модальный и т. д. В большинстве случаев данные термины используются как синонимы.

Кроме того, разные авторы и феномен синестезии наделяют разными названиями, подразделяя ее на виды: «истинная» и «неистинная» (С.В. Кравков) [7]; «явная» и «неявная» (Б.М. Величковский и др.) [3]; специфическая и неспецифическая» (Р.Г. Натадзе) [15]; «сильная» и «слабая» (strong and weak) (Г. Мартино и Л. Маркс) [33]. При таком понимании чаще всего один полюс означает, что речь идет о синестезии, как феномене, при котором наблюдается реальное появление ощущений одной модальности в ответ на стимуляцию другой («истинная», «явная», «специфическая», «сильная»). На другом полюсе используемых понятий подразумевается явление метафорического переноса, когда ощущения одной модальности описываются в категориях другой сенсорной системы (С.В. Кравков); явление взаимодействия органов чувств (Б.М. Величковский и др.); экспрессивно обусловленная интермодальная общность ощущений (межчувственных ассоциаций) (Р.Г. Натадзе); межсенсорные соответствия, выражающиеся в перцептивной идентичности и перцептивном взаимодействии в процессе обработки информации и отраженные в языке (Г. Мартино и Л. Маркс). При этом все многообразие описанных явлений обозначается одним термином «синестезия».

Мы при описании своего исследования, используя термин интермодальное обобщение или интермодальная интеграция, находимся в рамках сложившегося в науке категориального аппарата и пытаемся получить результаты, которые могут подвести к пониманию возможных механизмов объединения информации разной модальности, принимая во внимание то обстоятельство, что фактический материал проявлений истинной синестезии (по С.В. Кравкову), по мнению ряда авторов, связан с общесенсорными и мультисенсорными механизмами, присущими также и несинестетическому восприятию, т. е. синестезия является проявлением не только сенсорной деятельности, но в равной степени и когнитивной [31; 37].

Новизна нашего исследования состоит, во-первых, в использовании набора вербальных и невербальных стимулов, требующих когнитивной обработки разного уровня сложности, что при получении сходных результатов их сопоставления может свидетельствовать об универсальности механизмов, лежащих в его основе, а, во-вторых, в использовании разных временных экспозиций стимульного материала (в том числе предельно коротких), что может позволить получить данные об участии в процессе интермодального обобщения ранней семантической обработки.

По-видимому, способность человека выделять смысл из предъявляемой ему разнородной информации, соотносить порой самые далекие по сенсорно-перцептивным характеристикам объекты лежит в основе способности к интермодальной интеграции и тесно соприкасается с проблемой формирования «образа мира» в целом. Как отмечает С.Д. Смирнов, синтетический и целостный характер такого конструкта, как образ мира, позволяет нам ответить на вопрос о том, что же «…обеспечивает синтез чувственного образа из хаоса отдельных ощущений» [17].

Решение вопроса о нейрофизиологических механизмах интегрированной репрезентации интермодальной информации также носит противоречивый характер. Обзор основных направлений современных зарубежных исследований, связанных с этой проблемой, представлен в работе Е.В. Андреевой [1]. Традиционно предполагалось, пишет Е.В. Андреева, что интеграция разномодальной информации на корковом уровне решается специализированными, высокоорганизованными ассоциативными областями неокортекса. Однако автор приводит результаты ряда исследований, свидетельствующих о наличии взаимосвязей сенсорных модальностей уже на ранних этапах кортикальной обработки.

Исследования другого рода, предметом которых стало изучение семантического компонента электрической активности мозга, предоставляют ряд интересных данных. В работах Ч.А. Измайлова, Е.Н. Соколова и С.Г. Коршуновой [5; 6] было показано, что изменение шрифта или ориентации букв, которые могут радикально изменить геометрическую форму слова, не сказываются на восприятии его значения (наблюдается отчуждение семантической характеристики слова от его материального носителя). Авторами было показано, что семантические характеристики стимулов детектируются быстрее, чем конфигурационные, и связаны с более ранним компонентом вызванного потенциала различения (Р120—N180). То есть семантическая обработка информации опережает перцептивную. Ряд авторов [32] подтвердили связь потенциала распознавания Р300 с категориальной характеристикой стимулов.

В качестве отдельной проблемы рассматривается вопрос о том, является ли способность к интермодальным взаимодействиям (обобщениям) врожденной или приобретенной в процессе онтогенеза и обучения. Существуют данные как в пользу врожденности — гипотеза неонатальной синестезии (далее НС) [34], так и приобретенности этой способности — гипотеза кроссмодального переноса (далее КМП) [35].

Согласно гипотезе НС, в раннем детстве (скорее всего в возрасте до 4 месяцев) все младенцы воспринимают окружающий мир с помощью недифференцированных чувств. Звуки могут вызывать одновременно и слуховые, и визуальные, и тактильные ощущения. Примерно с четырехмесячного возраста чувства дифференцируются, и явление синестетического восприятия исчезает. Явление же «взрослой» синестезии, таким образом, представляет собой случаи, когда произошел «сбой» в нормальной фазе развития в детстве в момент дифференциации системы восприятия.

Имеются научные данные и в пользу гипотезы КМП. Роуз, Готтфрид и Бриджер [26] обнаружили, что двенадцатимесячные младенцы дольше рассматривают те объекты, которые они только что исследовали орально. Мельцов и Бортон [35] получили аналогичный результат для младенцев в возрасте одного месяца. Другие авторы обнаружили, что у одномесячных младенцев пульс менялся меньше, когда предъявление пятна белого цвета сопровождалось предъявлением звукового стимула (белого шума) средней интенсивности, соответствующей интенсивности светового пятна [30]. Однако у этих же младенцев обнаружилось значительное изменение пульса, когда свет сопровождался звуком очень высокой или очень низкой интенсивности. Из этого можно заключить, что младенцы реагируют на изменение интенсивности стимуляции и способны сопоставлять по интенсивности визуальные и слуховые стимулы — гипотеза неспецифичной интенсивности [29; 30; 34]. Этого же мнения придерживается и С. Барон-Коэн [20].

Наши исследования направлены на изучение и попытку вычленения роли смыслового контекста (семантической эквивалентности или конгруэнтности) в интермодальных взаимодействиях, когда пары разномодальных стимулов рассматриваются с точки зрения идентичности их значения. Феномены, полученные в этих исследованиях, по нашему мнению, дают возможность приблизиться к пониманию возможных механизмов интермодальной интеграции.

В одном из первых исследований нами было показано существование феномена интермодального сходства, связанного с процессами категоризации и обобщения. Было показано (на материале различных интермодальных сопоставлений: цвет и геометрическая форма, музыкальные отрывки, графические рисунки и вербальные обозначения), что при сопоставлении объектов разной модальности человек опирается не на модально-специфические характеристики, а оперирует общими для этих объектов категориями, имеющими эмоциональную основу.

Методической основой исследования явилась разработка специального семантического дифференциала (СД), содержащего коннотативные, эмоционально-оценочные шкалы, (например, «приятный—неприятный», «печальный—радостный» и т. п). Оценке по шкалам одного и того же СД подвергались все вышеперечисленные стимулы, и были получены сходные семантические профили для конгруэнтных стимулов разной модальности.

Были выделены интермодальные характеристики «интенсивность» и «качество», операциональным аналогом которых явились полученные в результате факторного и кластерного анализа математические структуры. В работе был сделан вывод о том, что подобные интермодальные характеристики могут быть присущи всем ощущениям и с помощью них, главным образом, происходит однозначное эмоциональное опосредование и возникновение субъективного ощущения сходства [9; 10].

Эффекты конгруэнтности для кроссмодальных (аудиовизуальных) пар стимулов, по сравнению с унимодальными, изучались в работах П. Лауриенти [27]. Было обнаружено меньшее время реакции для семантически конгруэнтных кроссмодальных пар по сравнению с унимодальной стимуляцией. По другим данным [28], мультисенсорные следы памяти увеличивают точность последующего узнавания визуальных объектов по сравнению с унисенсорными следами памяти. При этом только семантически конгруэнтные пары (при первичной презентации) оказывали положительное влияние на последующую точность узнавания изображения.

Описанные исследования свидетельствуют о том, что мультисенсорное кодирование, основанное на семантическом сходстве объектов, приводит к более богатой и надежной репрезентации объекта. В настоящее время наблюдается возрождение интереса к эффектам семантической и синестетической конгруэнтности при мультисенсорной обработке информации. Семантическая конгруэнтность обычно относится к тем ситуациям, когда стимулы совпадают или не совпадают с точки зрения идентичности их значения. В науке становится популярным утверждение, что стимулы, которые являются семантически конгруэнтными, скорее всего будут связаны, соотносимы при их восприятии [39]. Изучение роли семантической информации в процессе интермодальной интеграции в целом выделяется в качестве приоритетного направления будущих исследований. А возможность специфицировать электрическую активность мозга по отношению к такой абстрактной характеристике стимула, как значение, вызывает особый интерес (см. выше).

Продолжая линию работ, связанных с ролью смыслового контекста (семантической эквивалентности или конгруэнтности) в интермодальных взаимодействиях, в настоящем исследовании мы выдвинули две основные гипотезы.

1. Сопоставление разномодальных стимулов будет осуществляться не на основе их модально-специфических характеристик, а на основе семантического содержания (семантической эквивалентности, в нашем случае эмоционального сходства). Семантически конгруэнтные пары стимулов будут восприниматься и оцениваться как сходные, неконгруэнтные — как различные. Если это предположение верно, то при оценке сходства разнородных объектов (вербальных и невербальных), имеющих одно и то же семантическое содержание, будут получены сходные результаты.
2. Идентичная семантическая информация, содержащаяся в конгруэнтных парах стимулов, будет одинаково успешно вычленяться вне зависимости от длительности их экспозиции.

Методы исследования

В эксперименте была использована методика оценки семантической отнесенности разномодальных стимулов, разработанная на основе стандартной для психосемантических и лингвистических исследований процедуры оценки семантического сходства [18; 19]. В исходной методике применяются вербальные и невербальные стимулы, которые предлагаются в зрительной и слуховой модальностях. Пары стимулов: «картинка—слово», «слово—картинка», «картинка—картинка», «слово—звук», «слово—слово» — предъявляются в прямом и обратном порядке. Необходимо определить их как сходные или различные по значению.

В нашем случае сопоставлялись: а) рисунки, выражающие ту или иную эмоцию, и вербальные обозначения соответствующих эмоций, которые прошли процедуру экспертной оценки и были признаны экспертами конгруэнтными в направлении «рисунок—слово» и «слово—рисунок», и аналогичные стимулы, которые были признаны неконгруэнтными; б) рисунки и эмоциональные лица, выражающие одну и ту же эмоцию (конгруэнтные) в направлении «рисунок—лицо» и «лицо—рисунок», и аналогичные стимулы, выражающие разные эмоции (неконгруэнтные).

Перед началом исследования давалась инструкция, предлагающая рассмотреть рисунок и оценить по семибалльной шкале, насколько он выражает ту эмоцию, название или лицевая экспрессия которой предъявлялись в паре с этим рисунком. Сочетания рисунков, вербальных обозначений эмоций и экспрессивных лиц были конгруэнтными либо неконгруэнтными с точки зрения эмоционального содержания. В общей сложности было проведено четыре серии эксперимента. Предварительные результаты исследования были представлены в виде докладов на конференциях [11; 12]. По сравнению с тезисами докладов, в настоящей статье был проведен новый анализ данных, позволяющий проверить выдвинутые гипотезы с помощью статистических методов.

Участники исследования: 187 человек (146 женщин, 41 мужчина; возраст — 17—50 лет, медиана возраста — 20 лет): 1-я серия — 64 человека; 2-я серия — 54 человека; 3-я серия — 28 человек; 4-я серия — 41 человек. Все участники имели нормальное или скорректированное зрение.

Стимульный материал. Рисунки взрослых респондентов, выполненные цветными карандашами на листах бумаги формата A4, были получены в ходе ранее проведенных исследований [10]. Части респондентов при этом давалось задание изобразить определенную эмоцию (радость, гнев, печаль, спокойствие), другие изображали эмоцию, которая, по их мнению, была выражена в определенном музыкальном фрагменте. Данные фрагменты подбирались по результатам предварительной оценки эмоционального содержания и воспринимались как выражающие одну из четырех эмоций: радость, гнев, печаль, спокойствие. Далее музыкальные фрагменты, выражающие ту или иную эмоцию, их рисунки и рисунки соответствующих эмоциональных состояний подвергались оценке по одному и тому же набору шкал специально разработанного семантического дифференциала [10]. Профили оценок рисунков одной и той же эмоции по шкалам СД являются сходными [там же]. Всего в настоящем исследовании было использовано по 8 рисунков эмоций «радости» и «гнева» и по 9 рисунков эмоций «печали» и «спокойствия». Рисунки были отсканированы при помощи фотосканера HP Scanjet G4010 (размер изображения 750×530 точек) и подвергнуты цветокоррекции с целью максимального приближения цветов и яркости предъявляемого на экране изображения к исходным карандашным рисункам.

Также в исследовании использовались вербальные обозначения эмоций радости, гнева, печали, спокойствия и черно-белые изображения лица человека, выражающего те же эмоции (натурщик JJ из базы PoFA [25]).

Таким образом, мы получили набор разномодальных стимулов (рисунки, вербальные обозначения и эмоциональные лица), из которых составлялись пары семантически конгруэнтных стимулов, выражающих одну и ту же эмоцию, и пары неконгруэнтных стимулов, выражающих разные эмоции.

Процедура исследования. Исследование проводилось в равномерно освещенном помещении. Стимулы предъявлялись при помощи программы PXLab на экране монитора ViewSonic G90f (частота обновления экрана 100 Гц, разрешение 1024×768 точек) на нейтральном сером фоне. Используемые в исследовании мониторы были откалиброваны при помощи колориметра Spyder 4 Elite и имели одинаковые цветовые профили.

В первой серии эксперимента каждая проба включала: фиксационный крест в центре экрана (1 с); рисунок (2 с); межстимульный интервал (500 мс); название эмоции (1 с); межстимульный интервал (200 мс); вопрос «Насколько рисунок выражает данную эмоцию?» с семибалльной шкалой, где 1 соответствовало значению «совсем не выражает», а 7 — «выражает в максимальной степени». Испытуемый выбирал значение на этой шкале при помощи компьютерной мышки, затем нажатием клавиши «пробел» подтверждал свой ответ и переходил к следующей пробе. Каждый из 34 рисунков предъявлялся по одному разу в паре с каждым из 4 вербальных обозначений эмоций (радость, гнев, печаль, спокойствие), что составляло в сумме 136 проб. Порядок проб был случайным. Дополнительно регистрировалось время ответа в каждой пробе (по нажатию клавиши «пробел»).

Во второй серии на экране последовательно экспонировались фиксационный крест (1 с); рисунок (2 с); межстимульный интервал (500 мс); экспрессия лица (2 с); межстимульный интервал (200 мс); вопрос «Насколько рисунок выражает эмоцию, выраженную на лице?». В остальном процедура была аналогична первой серии.

Третья серия отличалась от второй тем, что рисунок и экспрессия экспонировались на 30 мс. В четвертой серии время экспозиции также составляло 30 мс, а до и после экспрессивного лица демонстрировалась шумовая черно-белая маска (500 мс). Третья и четвертая серии преследовали целью, частично используя тот же стимульный материал, предложить испытуемым решить задачу сопоставления объектов в условиях максимального затруднения процесса восприятия, которое достигалось путем маскировки и уменьшения времени экспозиции.

В каждой из серий присутствовали как конгруэнтные пробы, в которых изображенная на рисунке эмоция соответствовала вербальному обозначению (серия 1) или экспрессии лица (серии 2—4), так и неконгруэнтные, в которых эмоциональное содержание рисунка не соответствовало экспрессии либо названию эмоции. Пример конгруэнтной пробы — сочетание рисунка эмоции «радость» с названием эмоции «радость»; пример неконгруэнтной пробы — рисунок мелодии, выражающей «гнев», в сочетании со спокойным лицом.

Анализ данных проводился в среде статистической обработки R (версия 3.6.3) с использованием пакетов lme4 (версия 1.1.23), lmerTest (версия 3.1.2) и multcomp (версия 1.4.13). Предварительно рассчитывалось среднее значение и стандартное отклонение времени ответа для каждого участника; пробы, время ответа в которых превышало среднее на 2 стандартных отклонения, исключались из дальнейшего анализа.

Далее на основании объединенных данных серий 1 и 2 строилась линейная регрессионная модель со смешанными эффектами (также называемая многоуровневой моделью). Такой тип модели позволяет выявить влияние фиксированных факторов на зависимую переменную, подобно классическому дисперсионному анализу, и вместе с тем дает возможность учесть индивидуальную вариативность ответов, повышая тем самым точность подгонки модели. Фиксированными факторами в построенной модели выступали следующие:

фактор «Эмоция» — эмоция, выраженная на лице либо в вербальном описании (4 градации: радость; гнев; печаль; спокойствие);

фактор «Рисунок» — эмоция, изображенная на рисунке (также 4 градации: радость; гнев; печаль; спокойствие);

фактор «Серия» — способ оценки (2 градации: вербальное сопоставление в серии 1 либо невербальное сопоставление в серии 2);

взаимодействия этих факторов второго и третьего порядка.

В модель также включались случайные эффекты — свободные коэффициенты для испытуемого и рисунка. Их содержательный смысл состоит в том, что они позволяют учесть вариативность средних значений зависимой переменной между отдельными участниками исследования, а также между отдельными рисунками, что в конечном счете позволяет точнее смоделировать зависимую переменную. Случайные коэффициенты наклона регрессии не включались в модель по причине относительно небольшого количества данных. Общий свободный коэффициент в модель также не включался. Зависимой переменной выступала оценка соответствия эмоции и рисунка по семибалльной шкале. Чтобы оценить качество модели, использовался псевдо-коэффициент детерминации R2 Найджелкерка, который позволяет сравнить несколько моделей и выбрать из них ту, которая наиболее точно описывает данные. Затем на основании итоговой модели вычислялись апостериорные контрасты с поправкой Бенджамини—Хохберга для проверки следующих частных гипотез, которые следуют из первой основной гипотезы: 1.1) в конгруэнтных пробах оценки не зависят от способа сопоставления (образно-вербального либо невербального); 1.2) оценки в конгруэнтных парах выше, чем в неконгруэнтных.

Чтобы выявить внутреннюю обобщенную структуру оценок, полученных при разных способах сопоставления (невербальном и образно-вербальном), проводился факторный анализ данных серий 1 и 2.

Данные, полученные в сериях 2, 3 и 4, сопоставлялись между собой с целью выявления влияний предельных условий экспозиции экспрессии лица на оценки сходства эмоций, представленных на рисунке и лице. Строилась линейная модель со смешанными эффектами. В качестве фиксированных факторов в модель входили: «Экспрессия» — экспрессия лица; «Рисунок» — эмоция, выраженная на рисунке; «Серия» — тип экспозиции (серия 2 — длительная экспозиция без маски; серия 3 — короткая экспозиция без маски; серия 4 — короткая экспозиция с маской); взаимодействия этих факторов. В модель включались случайные эффекты испытуемого и рисунка и не включался общий свободный коэффициент. Зависимая переменная — оценки по семибалльной шкале. С помощью апостериорных контрастов с поправкой Бенджамини—Хохберга проверялось влияние типа экспозиции на оценки сходства экспрессий лица и эмоционального содержания рисунков в конгруэнтных пробах. Согласно второй основной гипотезе, мы ожидали, что затруднение условий экспозиции не будет влиять на оценки эмоций.

Результаты исследования

Сравнение вербального и невербального способа сопоставления (серии 1 и 2)

Регрессионная модель, построенная по результатам серий 1 и 2, объясняет 27,7% разброса данных (псевдо-R2 Найджелкерка: 0,277). Случайный эффект испытуемого составил 0,29 (ст. откл. — 0,54), случайный эффект рисунка: 0,01 (ст. откл. — 0,10). Все фиксированные факторы и их взаимодействия оказались значимы (p<0,001), кроме взаимодействия факторов «Серия» и «Рисунок» (табл. 1). Однако исключение данного взаимодействия значимо изменяло качество подгонки модели, вследствие чего для дальнейшего расчета контрастов использовалась полная модель.

Таблица 1

Результаты оценки регрессионной модели (серии 1 и 2)

Фактор	F	ст. св.	p
Эмоция	297,4	3; 15312,5	<0,001***
Рисунок	11,7	3; 30,1	<0,001***
Серия	12,7	1; 116	<0,001***
Эмоция×Рисунок	476,6	9; 15312,5	<0,001***
Эмоция×Серия	12,8	3; 15312,4	<0,001***
Рисунок×Серия	1,6	3; 15312,5	0,189
Эмоция×Рисунок×Серия	13,2	9; 15312,3	<0,001***

Примечание: Эмоция — вербальное обозначение эмоции в серии 1 либо экспрессия лица в серии 2; Рисунок — эмоция, выраженная на рисунке; Серия — образно-вербальное либо невербальное сопоставление (серия 1 или 2). F — отношение Фишера; ст. св. — степени свободы; p — уровень значимости: *** — p < 0,001; ** — p < 0,01; * — p < 0,05.

Для конгруэнтных пар при помощи одновременных контрастов определялась связь оценки с типом сопоставления: образно-вербальным (серия 1) или невербальным (серия 2). Результаты показали, что сходство радости, изображенной на рисунке, с радостной экспрессией лица оценивается значимо выше, чем сходство радости, изображенной на рисунке, с вербальным обозначением эмоции радости (табл. 2; рис. 1). Для эмоций гнева, печали и спокойствия различий между двумя типами сопоставления не выявлено.

Таблица 2

Сравнение образно-вербального и невербального сопоставления (серии 1 и 2)

Контраст	z	p
Гнев (серия 2 > серия 1)	0,64	0,925
Печаль (серия 2 > серия 1)	-0,759	0,871
Радость (серия 2 > серия 1)	2,909	0,013*
Спокойствие (серия 2 > серия 1)	-1,707	0,264

Далее в каждой из серий и для каждой из эмоций сопоставлялись оценки в конгруэнтных и неконгруэнтных пробах. В большинстве случаев сходство эмоций в конгруэнтных пробах оценивается значимо выше, чем в неконгруэнтных (табл. 3; рис. 1). Исключение составляют лишь рисунки «спокойствия» в серии 2 (невербальное сопоставление), для которых оценки, полученные при сравнении рисунка с лицевыми экспрессиями радости либо спокойствия, не различаются.

Таблица 3

Сравнение оценок в конгруэнтных и неконгруэнтных пробах (серии 1 и 2)

Тип сопоставления	Эмоция на рисунке	Контраст	z	p
Образно-вербальное (серия 1)	Гнев	Гнев > печаль	18,4	<0,001***
		Гнев > радость	14,962	<0,001***
		Гнев > спокойствие	25,532	<0,001***
	Печаль	Печаль > гнев	20,496	<0,001***
		Печаль > радость	16,646	<0,001***
		Печаль > спокойствие	5,008	<0,001***
	Радость	Радость > гнев	31,864	<0,001***
		Радость > печаль	27,435	<0,001***
		Радость > спокойствие	16,808	<0,001***
	Спокойствие	Спокойствие > гнев	31,914	<0,001***
		Спокойствие > печаль	14,805	<0,001***
		Спокойствие > радость	10,291	<0,001***
Невербальное (серия 2)	Гнев	Гнев > печаль	14,462	<0,001***
		Гнев > радость	12,603	<0,001***
		Гнев > спокойствие	15,86	<0,001***
	Печаль	Печаль > гнев	12,04	<0,001***
		Печаль > радость	8,237	<0,001***
		Печаль > спокойствие	3,682	0,005**
	Радость	Радость > гнев	26,299	<0,001***
		Радость > печаль	25,506	<0,001***
		Радость > спокойствие	17,864	<0,001***
	Спокойствие	Спокойствие > гнев	20,815	<0,001***
		Спокойствие > печаль	10,572	<0,001***
		Спокойствие > радость	-0,014	1

Примечание: p — уровень значимости: *** — p < 0,001; ** — p < 0,01.

Таким образом, первая частная гипотеза о том, что образно-вербальное и невербальное сравнение приводят к одинаковым результатам, подтвердилась для эмоций гнева, печали и спокойствия, но не для эмоции радости. Вторая частная гипотеза, согласно которой в конгруэнтных парах «рисунок—название эмоции» и «рисунок—экспрессия лица» оценки сходства эмоций выше, чем в неконгруэнтных, в серии с невербальным сопоставлением полностью подтвердилась для эмоций гнева, радости и печали и частично — для эмоции спокойствия; в серии с образно-вербальным сопоставлением гипотеза подтвердилась полностью для всех четырех эмоций.

Факторный анализ оценок, полученных при сопоставлении рисунков и вербальных обозначений эмоциональных состояний, а также рисунков и лиц, выражающих эмоциональные состояния, позволил выделить один и тот же набор факторов. Анализ проводился отдельно для конгруэнтных и неконгруэнтных пар, как для образно-вербального, так и для невербального сопоставления, и были получены аналогичные результаты (табл. 4 и 5).

Таблица 4

Нагрузки по факторам для образно-вербального сопоставления
(метод Principal components с вращением Varimax normalized)

Эмоция	Конгруэнтные пары		Неконгруэнтные пары
	Фактор 1	Фактор 2	Фактор 1	Фактор 2
Гнев	0,054783	0,723004	0,758717	-0,045180
Печаль	0,770367	0,133008	0,015969	0,730863
Радость	-0,060907	0,773802	0,743506	0,071495
Спокойствие	0,780498	-0,137513	0,009558	0,722460
Дисперсия фактора	1,209353	1,158106	1,128798	1,063261
Доля общей дисперсии	0,302338	0,289526	0,282200	0,265815

Примечание: жирным выделены значимые нагрузки по факторам.

Таблица 5

Нагрузки по факторам для невербального сопоставления
(метод Principal components с вращением Varimax normalized)

Эмоция	Конгруэнтные пары		Неконгруэнтные пары
	Фактор 1	Фактор 2	Фактор 1	Фактор 2
Гнев	0,689122	-0,258169	0,668247	-0,403679
Печаль	-0,111267	0,664041	-0,124741	-0,814408
Радость	0,764088	0,211672	0,835696	0,156770
Спокойствие	0,087413	0,704267	-0,131804	0,485760
Дисперсия фактора	1,078741	1,048399	1,177874	1,086757
Доля общей дисперсии	0,269685	0,262100	0,294468	0,271689

Примечание: жирным выделены значимые нагрузки по факторам.

Во всех четырех случаях в один из факторов с высокими нагрузками вошли переменные, связанные с эмоциональными состояниями «гнев» и «радость» (интенсивные эмоции), в другой фактор — переменные, связанные с эмоциональными состояниями «печаль» и «спокойствие» (неинтенсивные эмоции). Таким образом, для всех сопоставляемых пар мы выделили общую характеристику — интенсивность эмоции, которая используется испытуемыми при сопоставлении совершенно разнородных объектов.

В целом, мы можем заключить, что первая основная гипотеза исследования подтвердилась и оценка вербальных и невербальных объектов, имеющих одинаковое семантическое содержание (в данном случае — эмоциональную окраску), происходит сходным образом.

Влияние времени экспозиции и маскировки при невербальном способе сопоставления (серии 2, 3 и 4)

Регрессионная модель, построенная по результатам серий 2, 3 и 4, объясняет 21,1% разброса данных (псевдо-R2 Найджелкерка — 0,211). Случайный эффект испытуемого составил 0,35 (ст. откл. — 0,59), случайный эффект рисунка: 0,01 (ст. откл. — 0,06). Включенные в модель фиксированные факторы и их взаимодействия оказались значимы (p<0,01), за исключением взаимодействия факторов «Серия» и «Рисунок», значимость которого проявлялась на уровне тенденции (табл. 6).

Попарные сравнения оценок в релевантных пробах между тремя сериями показали, что для рисунков гнева максимальные оценки наблюдаются при экспозиции лица на 30 мс без маски, значимо более низкие оценки — при 30 мс с маской, и минимальные — при экспозиции 2 с. Для рисунков печали различия наблюдаются только между экспозициями на 30 мс с маской и без маски. Для рисунков радости максимальные оценки получены в серии с экспозицией 30 мс без маски; две другие серии значимо не различаются между собой. Наконец, для рисунков спокойствия наличие маски значимо снижает оценки по сравнению с другими сериями, различий между которыми не выявлено (табл. 7; рис. 2).

Таким образом, полученные результаты говорят о влиянии времени и способа экспозиции на оценки эмоционального содержания рисунков, что противоречит второй основной гипотезе. Наиболее эффективным является краткое предъявление изображения на 30 мс; введение маскировочного паттерна либо увеличение времени экспозиции может затруднять оценку эмоционального содержания разномодальных объектов и снижать их сходство.

Таблица 6

Результаты оценки регрессионной модели (серии 2, 3 и 4)

Фактор	F	ст. св.	p
Экспрессия	626,9596	4; 660,6	<0,001***
Рисунок	4,4652	3; 33	0,009**
Серия	35,1648	2; 120	<0,001***
Экспрессия×Рисунок	133,6144	9; 15948,4	<0,001***
Экспрессия×Серия	140,2454	6; 15948,1	<0,001***
Рисунок×Серия	1,9824	6; 15948,3	0,064
Экспрессия×Рисунок×Серия	16,551	18; 15948,1	<0,001***

Примечание: Экспрессия — экспрессия лица; Рисунок — эмоция, выраженная на рисунке; Серия — тип экспозиции (серия 2 — длительная экспозиция без маски; серия 3 — короткая экспозиция без маски; серия 4 — короткая экспозиция с маской). F — отношение Фишера; ст. св. — степени свободы; p — уровень значимости.

Таблица 7

Сравнение оценок в конгруэнтных пробах при разной продолжительности
экспозиции лица (серии 2, 3 и 4)

Эмоция	Контраст	z	p
Гнев	Экспозиция лица 2 с > 30 мс	-6,816	< 0,001***
	Экспозиция лица 2 с > 30 мс с маской	-3,622	0,003**
	Экспозиция лица 30 мс > 30 мс с маской	3,412	0,007*
Печаль	Экспозиция лица 2 с > 30 мс	-2,659	0,074
	Экспозиция лица 2 с > 30 мс с маской	2,188	0,226
	Экспозиция лица 30 мс > 30 мс с маской	4,374	< 0,001***
Радость	Экспозиция лица 2 с > 30 мс	-3,435	0,007**
	Экспозиция лица 2 с > 30 мс с маской	1,331	0,787
	Экспозиция лица 30 мс > 30 мс с маской	4,398	< 0,001***
Спокойствие	Экспозиция лица 2 с > 30 мс	-0,512	0,999
	Экспозиция лица 2 с > 30 мс с маской	9,37	< 0,001***
	Экспозиция лица 30 мс > 30 мс с маской	8,408	< 0,001***

Рис. 1. Средние значения и доверительные интервалы оценок выраженности четырех эмоций
на рисунках эмоциональных состояний в сериях 1 и 2

Рис. 2. Средние значения и доверительные интервалы оценок выраженности четырех эмоций
на рисунках эмоциональных состояний в сериях 2, 3 и 4

Обсуждение результатов

Результаты проведенного исследования свидетельствуют о том, что при интермодальном сопоставлении для наблюдателя не является важным, в каком виде закодирована информация (в данном случае та или иная эмоция) — в графическом изображении, в слове или в лицевой экспрессии. Поскольку часть рисунков была получена в результате прослушивания соответствующих музыкальных фрагментов, в ряд межмодальных переходов можно добавить и мелодию. Это говорит о том, что задача определения сходства между совершенно разнородными объектами решается достаточно легко. Это происходит за счет категоризации, обобщения по некоторым непроизвольно выделяемым характеристикам, не относящимся непосредственно к сенсорно-перцептивному содержанию этих объектов. Как показали наши предыдущие исследования, это происходит в результате работы механизма категоризации, базирующегося на эмоциональном подобии [9; 10].

Данный тип категоризации функционирует на неосознанном уровне, категории не вербализованы, а их психологическая реальность обнаруживается лишь в процессе психосемантических экспериментов или в метафорических сравнениях. Известно, что при описании самих эмоций выделяются те же компоненты или свойства, что и при описании ощущений. Об этом в своей работе пишет В. Вундт, который относит к общим свойствам, как «всех простых психических содержаний», так и эмоций, такие характеристики, как интенсивность и качество [4].

Данные настоящего исследования позволили выделить в результате факторного анализа два общих для всех изучаемых объектов фактора, связанные с интенсивностью эмоции. Наличие общего факторного пространства для всех групп предъявляемых стимулов, общей для всех разнородных объектов характеристики, во-первых, подтверждает полученные ранее результаты [9; 10] и, во-вторых, дает нам основание предположить существование одного и того же когнитивного механизма, который присутствует при интермодальном сопоставлении объектов любого типа.

Кроме того, результаты третьей и четвертой серий говорят о том, что сокращение времени экспозиции до припороговых значений не ухудшает результатов сопоставления, а в ряде случаев, напротив, делает его более эффективным. Это может свидетельствовать о ранней генетической и микрогенетической природе механизмов нахождения соответствия на основе семантического значения объектов, их семантической эквивалентности.

Наше исследование подтверждает идею о том, что семантическая обработка является не завершающим этапом формирования образа, а предшествует ему, т. е. происходит уже на самых ранних этапах восприятия [2; 36; 41]. Судя по всему, как указывает Б.М. Величковский, микрогенезу перцептивных категорий соответствует микрогенез значения [2].

Таким образом, изучение когнитивных механизмов интермодальной интеграции информации подводит нас к исследованию глубинных механизмов мышления, семантического кодирования, формирования понятий и т. п. Результаты нашего исследования свидетельствуют о влиянии на процессы интермодальной интеграции семантической эквивалентности или конгруэнтности, когда пары разномодальных стимулов рассматриваются с точки зрения идентичности значения. Как показало исследование, эквивалентные по семантическому значению пары стимулов воспринимаются как идентичные, независимо от того, в какой форме они были предъявлены: вербальной или невербальной.

Можно также предположить, как отмечает Б.М. Величковский, что модальность того или иного воздействия (отнесенность его к зрению, слуху и т. д.) не является исходным моментом восприятия [2]. Впечатление о соотнесенности образа с некоторыми базовыми категориями возникает во времени раньше, чем знание о том, с помощью чего воспринят объект.

Выводы

Оценка вербальных и невербальных объектов, имеющих одинаковую эмоциональную окраску, происходит сходным образом. Сопоставление разномодальных стимулов происходит на основании их семантического содержания, в частности, интенсивности выраженной в них эмоции. Семантическая информация наиболее эффективно вычленяется на раннем этапе перцептивной обработки. Введение маскировочного паттерна либо увеличение времени экспозиции могут затруднять оценку эмоционального содержания разномодальных объектов и снижать субъективное ощущение сходства.

1. Андреева Е.В. Феномен кроссмодальных взаимодействий: современное состояние проблемы в зарубежной психологии // Российский научный журнал. 2013. Том 1. № 32. С. 219—225.
2. Величковский Б.М. Современная когнитивная психология. М.: Изд-во МГУ, 1982. 336 с.
3. Величковский Б.М., Зинченко В.П., Лурия А.Р. Психология восприятия. М.: Издательство Московского университета, 1973. 247 с.
4. Вундт В. Психология душевных волнений // Психология эмоций. Тексты / Ред. В.К. Вилюнас, Ю.Б. Гиппенрейтер. М.: Изд-во МГУ, 1984. С. 47—63.
5. Измайлов Ч.А., Соколов Е.Н., Коршунова С.Г. Цветовое пространство человека, основанное на данных корковых вызванных потенциалов // Сенсорные системы. 2003. Том 17. № 1. С. 32—44.
6. Измайлов Ч.А., Соколов Е.Н., Коршунова С.Г., Кадик А.А. Семантический компонент вызванного потенциала различения // Психология. Современные направления междисциплинарных исследований / Ред. А.Л. Журавлев, Н.В. Тарабрина. М.: Изд-во ИПРАН, 2003. С. 295—308.
7. Кравков С.В. Взаимодействие органов чувств. М.: Изд-во АН СССР, 1948. 128 с.
8. Леонтьев А.Н. Развитие памяти: Экспериментальное исследование высших психологических функций. М.-Л.: Учпедгиз, 1931. 276 с.
9. Лупенко Е.А. Интермодальное сходство как результат категоризации // Экспериментальная психология. 2009. Том 2. № 2. С. 84—103.
10. Лупенко Е.А. Исследование психологической природы интермодальной общности ощущений // Психологический журнал. 2008. № 1. С. 69—78.
11. Лупенко Е.А., Королькова О.А. Интермодальное сопоставление объектов с эмоциональным содержанием // Естественно-научный подход в современной психологии / Ред. В.А. Барабанщиков. М.: Изд-во ИПРАН, 2014. С. 426—433.
12. Лупенко Е.А., Королькова О.А. Эмоциональное обобщение как когнитивный механизм // Седьмая международная конференция по когнитивной науке: тезисы докладов. Светлогорск, 20—24 июня 2016 г. / Ред. Ю.И. Александров, К.В. Анохин. Светлогорск: Изд-во «Институт психологии РАН», 2016. С. 398—399.
13. Лурия А.Р. Лекции по общей психологии. СПб.: Питер, 2006. 320 с.
14. Лурия А.Р. Маленькая книжка о большой памяти. М.: Издательство МГУ, 1980. 88 с.
15. Натадзе Р.Г. К вопросу о психологической природе интермодальной общности ощущений // Вопросы психологии. 1979. № 6. С. 49—57.
16. Сидоров-Дорсо А.В. Современные исследования синестезии естественного развития // Вопросы психологии. 2013. Том 4. С. 147—158.
17. Смирнов С.Д. Понятие «образ мира» и его значение для психологии познавательных процессов // А.Н. Леонтьев и современная психология. М.: Изд-во МГУ, 1983. С. 149—154.
18. Шахбазова Е.С. Метод исследования межсистемных и межмодальных взаимодействий // Психологические исследования: электронный научный журнал. 2011. Том 4. № 18. doi: 10.54359/ps.v4i18.839
19. Шахбазова Е.С. Перцептивно-вербальные взаимодействия в когнитивной сфере при рассеянном склерозе в подростковом возрасте: автореф. дис. … канд. психол. наук. М.: 2012.
20. Baron-Cohen S. Is there a normal phase of synaesthesia in development // Psyche. 1996. Vol. 2. № 27. P. 223—228.
21. Baron-Cohen S., Harrison J.E. Synaesthesia: Classic and Contemporary Readings. Oxford: Blackwell Publishing Ltd, 1996. 296 p.
22. Campen C. van. The Hidden Sense. Cambridge, MA: The MIT Press, 2007. 185 p. DOI: 10.7551/mitpress/7492.001.0001
23. Cytowic R.E. Synesthesia: A Union of the Senses (2nd edition). Cambridge, Mass.: MIT Press, 2002. 394 p.
24. Deroy O., Spence C. Why we are not all synesthetes (not even weakly so) // Psychonomic Bulletin & Review. 2013. Vol. 20. № 4. P. 643—664. DOI:10.3758/s13423-013-0387-2
25. Ekman P. Pictures of facial affect. Oakland, CA: Paul Ekman, 1993.
26. Gottfried A.W., Rose S.A., Bridger W.H. Effects of visual, haptic, and manipulatory experiences on infants’ visual recognition memory of objects // Developmental Psychology. 1978. Vol. 14. № 3. P. 305—312. DOI:10.1037/0012-1649.14.3.305
27. Laurienti P.J., Kraft R.A., Maldjian J.A., Burdette J.H., Wallace M.T. Semantic congruence is a critical factor in multisensory behavioral performance // Experimental Brain Research. 2004. Vol. 158. № 4. P. 405—414. DOI:10.1007/s00221-004-1913-2
28. Lehmann S., Murray M.M. The role of multisensory memories in unisensory object discrimination // Cognitive Brain Research. 2005. Vol. 24. № 2. P. 326—334. DOI:10.1016/j.cogbrainres.2005.02.005
29. Lewkowicz D.J. Development of intersensory perception in human infants // The development of intersensory perception: Comparative perspectives / Eds. D.J. Lewkowicz, R. Lickliter. N.Y.: Lawrence Erlbaum Associates, 1994. P. 165—203.
30. Lewkowicz D.J., Turkewitz G. Cross-modal equivalence in early infancy: Auditory-visual intensity matching // Developmental Psychology. 1980. Vol. 16. № 6. P. 597—607. DOI:10.1037/0012-1649.16.6.597
31. Marks L.E. The Unity of the Senses: Interrelationships Among the Modalities. New York: Academic Press, 1978. 289 p.
32. Martín-Loeches M., Hinojosa J.A., Fernández-Frías C., Rubia F.J. Functional differences in the semantic processing of concrete and abstract words // Neuropsychologia. 2001. Vol. 39. № 10. P. 1086—1096. DOI:10.1016/S0028-3932(01)00033-1
33. Martino G., Marks L.E. Synesthesia: Strong and Weak // Current Directions in Psychological Science. 2001. Vol. 10. № 2. P. 61—65. DOI:10.1111/1467-8721.00116
34. Maurer D. Neonatal Synesthesia: Implications for the Processing of Speech And Faces // Developmental Neurocognition: Speech and Face Processing in the First Year of Life. Dordrecht: Springer Netherlands, 1993. P. 109—124. DOI:10.1007/978-94-015-8234-6_10
35. Meltzoff A.N., Borton R.W. Intermodal matching by human neonates // Nature. 1979. Vol. 282. № 5737. P. 403—404. DOI:10.1038/282403a0
36. Polich J., Donchin E. P300 and the word frequency effect // Electroencephalography and Clinical Neurophysiology. 1988. Vol. 70. № 1. P. 33—45. DOI:10.1016/0013-4694(88)90192-7
37. Ramachandran V.S. A Brief Tour of Human Consciousness: From Impostor Poodles to Purple Numbers. New York: Pi Press, 2004. 208 p.
38. Sagiv N., Ilbeigi A., Ben-Tal O. Reflections on synaesthesia, perception, and cognition // Intellectica. 2011. Vol. 55. № 1. P. 81—94.
39. Spence C. Crossmodal correspondences: A tutorial review // Attention, Perception, and Psychophysics. 2011. Vol. 73. № 4. P. 971—995. DOI:10.3758/s13414-010-0073-7
40. The Oxford Handbook of Synesthesia / Eds. J. Simner, E. Hubbard. Oxford: Oxford University Press, 2013. 1104 p. DOI:10.1093/oxfordhb/9780199603329.001.0001
41. Woltz D.J. Perceptual and conceptual priming in a semantic reprocessing task // Memory and Cognition. 1996. Vol. 24. № 4. P. 429—440. DOI:10.3758/BF03200932

PlumX

Метрики публикации