Фоносемантический компонент билингвального ментального лексикона: модели распознавания слов и механизмы лексической селекции

Контекст и актуальность. Изучение вопроса значимости графической формы слов в восприятии и интерпретации их фоносемантического компонента определяет новый подход к оценке влияния изучаемого языка на первичную языковую личность и позволяет определить новый вектор развития теории преподавания ИЯ. Цель. Статья направлена на определение роли эффекта когнатов при оценке языковой осведомлённости и гибкости ментального лексикона носителей двух языков. Гипотеза. Метод психолингвистического эксперимента на принятие лексического решения использовался ранее в исследованиях речевых патологий и других патологических состояний, однако является при этом основным средством изучения национального языкового сознания для выявления закономерностей при идентификации слова. Методы и материалы. Метод фоносемантического анализа ориентирован на изучение структуры того или иного языка и примарной мотивированности его языкового знака. Также в рамках работы над данной статьёй применяется соматический метод объективного анализа, в частности регистрация движения глаз.

Введение

Изучение особенностей восприятия языка билингвами часто сводится к заключению о том, что слова, форма и значение которых либо совпадают, либо прямо соотносятся между собой в языках, претерпевают более простой процесс обработки получаемой извне информации, нежели слова, разделяющие исключительно значение. Этот феномен «облегчённого» восприятия в отечественных исследованиях известен как эффект когнатов.

Большая часть проведённых ранее исследований демонстрирует реализацию данного эффекта в процессе визуального распознавания слов, в то время как аудиальная модальность восприятия в целом остаётся малоизученной, что определяет актуальность обозначенной в статье проблемы. В частности, проблема исследования заключается в необходимости изучения вопроса влияния лексического расстояния между языками на процессы восприятия информации в обеих модальностях — визуальной и аудиальной.

В данной статье приводится теоретическая справка и описание эмпирических данных исследований, посвящённых изучению взаимовлияния орфографической и фонологической систем функциональных языков (различных языковых пар) в сознании искусственных билингвов. В качестве предмета исследования определяется фонематический слух искусственных билингвов. Основным средством практического исследования рассматриваемых работ выступает задание на принятие лексического решения в языке L2 (втором, или иностранном). Количественный анализ проводится на основе данных, полученных в ходе применения технологии айтрекинга (системы отслеживания глаз). В качестве материала выступают слова с высокой или/и низкой степенью фонологического и орфографического сходства (абсолютные эквиваленты). Также в задания включены орфографически идентичные слова (абсолютные когнаты).

Результаты рассматриваемых исследований предполагают, что сходство слов в рамках одной модальности, — орфографическое сходство в визуальной и фонологическое в аудиальной, — способствует восприятию большего количества поступающей информации и, соответственно, вызывает меньшее количество ошибок при её обработке. В это же время сходство между двумя видами модальностей ему препятствует. Помимо этого, исследования показывают, что необходимо провести чёткую границу — концептуальную и практическую — между типами сходств в изучении самих когнатов.

Теоретическая значимость состоит в следующем утверждении: репрезентации предметов мира остаются активны в обеих модальностях родного языка (L1) в процессе обработки языкового материала, что требует учёта при построении моделей восприятия и обработки информации.

Методологическая основа

На данном этапе изучения билингвизма большинство исследований разделяет точку зрения, устанавливающую взаимозависимость двух языков: это означает, что билингв не является «двумя монолингвами в одном теле» (Frances et al., 2021). Само существование автономного вида билингвизма не представляется возможным ни при условии естественного, ни искусственного (учебного) его развития.

Данная идея находит своё обоснование в концепции языковой коактивации, предполагающей, что ни один из языков функционального билингва не бывает полностью «выключенным» (Rankin et al., 2016). Данный факт в полной мере объясняет явления интерференции и интеркаляции, которые реализуются в сознании искусственных билингвов. Родной язык принимает непосредственное участие в формировании мысли на иностранном языке (Мильруд, Максимова, 2017). Так же и наиболее устоявшиеся связи изучаемого языка внедряются в ассоциативную сеть понятий L1 — образуется единая сеть знания, в которой каждый словесный стимул может вести к нескольким реакциям: вне зависимости от «активного» языка, ассоциация может быть вызвана не только исходя из семантического наполнения слова, но и на основании его графической или звуковой формы (Демьянков).

Процесс порождения речи включает в себя произведение в сознании лексической селекции — осуществление доступа к единицам ментального лексикона и выбора соответствующей лексемы. Селекция является одним из двух видов процессов, через которые проходят элементы ментального лексикона по принципам сходства и смежности (Якобсон, 1996). Таким образом, формирование ассоциативных (по Ф. де Соссюру), или парадигматических (по Р.О. Якобсону) отношений между понятиями внутри одного языка, предположительно, соответствует процессу выбора соответствующего понятия из сети L2.

Процесс порождения речи основывается на уже имеющемся знании индивида. Можно провести параллель между процессами речевосприятия/речепорождения и восприятием стимула/реакцией на стимул. Любая реакция на стимул реализуется по принципам одного из двух типов механизма восприятия: “top-down processing” — модели восприятия, которая реализуют нисходящие процессы обработки информации, или “bottom-up processing” — модели, реализующей восходящие типы обработки, соответственно (Riener, 2019). Таким образом, получаемая из внешнего мира информация — в том числе и языковая — преобразуется в опыт и формирует знание, которое занимает своё место в системе нейронной сети и впоследствии влияет на восприятие, трансмиссию и интерпретацию других стимулов.

Однако прежде чем говорить о процессе порождения речи, который, условно, является реакцией на поступающий извне стимул, необходимо обратиться к проблеме распознавания языковых кодов или особенностей восприятия звуковых и графических стимулов.

Ряд представленных далее исследований раскрывает данную идею посредством оценки взаимосвязи между процессами визуального и слухового распознавания иноязычных лексем искусственными билингвами и влияния фонологического и орфографического расстояния их переводных эквивалентов.

Основания для гипотезы о непосредственной связи графической и звуковой формы между языками L1 и L2

Отечественные исследования в области фоносемантики активно развивались в начале 70-х годов XX века и были сконцентрированы на проблеме мотивированности языкового знака. Значимые исследования отечественной психолингвистики связаны с именами А.А. Леонтьева, В.В. Левицкого, Е.Г. Эткинда, А.П. Журавлёва, а также И.Н. Горелова. В частности, гипотеза о наличии объективной закономерности между звуковой формой номинаций и мотивированностью звукового выражения «для зрительно, осязательно и т.п. воспринимаемых объектов» (Горелов, 1969, с. 19). Подобного рода закономерность обусловливается механизмами синестезии — нейрологического феномена, при котором раздражение в одной сенсорной системе ведёт к автоматическому отклику в другой (синдром Шерешевского). Позже в работе В.В. Левицкого «Звуковой символизм: Основные итоги» были изложены основные положения, подтвердившиеся рядом экспериментов, проведённых на материале различных языков, и основным является довольно простой, не немаловажный вывод: «звукосимволические законы являются статистическими универсалиями» (Левицкий, 1998, с. 68).

Выявление механизмов и оценка восприятия устной речи необходимы для установления закономерностей в формировании ассоциативных связей между звуковым и графических оформлением лексических единиц, поскольку звуковая форма непосредственно связывается с обозначающим её графическим знаком (Clifton, 2015).

Слуховые ощущения, как и ощущения, возникающие в результате восприятия визуальных образов, относятся к разряду экстероцептивных, т.е. обусловливаются информацией, получаемой человеком через посредство внешних рецепторов (к ним же относятся тактильные и вкусовые ощущения).

Исследование, проведённое при помощи системы отслеживания глаз (технологии eye-tracking), проведенное Д. Даханом, Дж.С. Магнусоном и М.К. Таненхаусом (2001), показало, что частотность слов значительно увеличивает вероятность их слухового распознавания. Результаты экспериментов показали, что визуальное распознавание при прослушивании высокочастотных слов происходит быстрее, нежели низкочастотных.

Отметим, что слуховое распознавание слов является инкрементальным, т.е. слушатель начинает обрабатывать входной звуковой сигнал до того, как будет воспринят конец произнесенного слова (DongSuk, 2012). Данный факт свидетельствует о наличии у слушающего способности достраивать новое знание, основываясь на полученном ранее опыте, по причине чего пропорционально повышается вероятность ошибки распознавания сигнала и, вместе с тем, смысл содержащей интерпретации искажённого сигнала.

Типичными экспериментальными парадигмами, используемыми для изучения ранних стадий обработки звучащей речи, являются задания следующих типов: 1) метод теневого повтора (shadowing), 2) мониторинг (auditory monitoring) и 3) гейтинг (gating), в которых слушатель незамедлительно реагирует на услышанные им слова.

Частотность слов также является ключевой переменной в слуховом распознавании. Эффект частоты слов обнаруживается в ряде исследований с использованием различных слуховых парадигм, обозначенных выше. В совокупности данные показывают, что для распознавания высокочастотных слов требуется значительно меньшее количество времени: помимо повышенной скорости реакции наблюдается также сниженное количество ошибок восприятия, нежели при прослушивании низкочастотных слов.

В исследовании Б.Шульпена, Т. Дикстра, Г. Шриферса и М. Хаспера (Schulpen, Dijkstra, Schriefers, Hasper, 2003) изучалась роль специфической для языка информации в кросс-модальном прайминге. Результаты свидетельствуют о том, что при предъявлении стимулов происходит активация языковых омофонов, как родного языка, так и иностранного.

В исследовании Е. Лагроу, Р. Дж. Хартсуикера и В. Дайка (Lagrou, Hartsuiker, Duyk, 2011) были получены дополнительные доказательства неизбирательного лексического доступа при распознавании слов на слух билингвами. Исследуя эффект интерференции омофонов с L2 на L1 (и наоборот), они обнаружили, что голландско-английские билингвы медленнее реагировали на омофоны, чем на контрольные слова в задаче на распознавание лексики на английском и голландском (монолингвальном) языках. Таким образом, результаты показали, что лексический доступ при слуховой обработке речи у билингвов не зависит от языка как на L1, так и на L2.

В настоящее время двуязычная модель лексического доступа (BIMOLA) (Grosjean, 1988, 1997; Léwy, Grosjean, 1996; Léwy, Grosjean, Grosjean, Racine, Versin, 2005) является единственной моделью, которая была разработана для объяснения двуязычного распознавания слов на слух. Она представляет собой локалистскую коннекционистскую модель, которая основана на модели TRACE распознавания слов на слух монолингвами (McClelland & Elman, 1986). Эта модель была разработана для учета монолингвального и билингвального языковых режимов. Как и TRACE, BIMOLA состоит из интерактивной структуры трех различных слуховых слоев, т.е. черт, фонем и слов. Слова обоих языков обрабатываются параллельно (что соответствует понятию языкового неизбирательного доступа), но механизмы обработки различаются между слуховыми слоями.

Визуальное распознавание слов отличается от слухового двумя важными особенностями. Во-первых, если испытуемый прослушивает слово лишь один раз и в течение очень короткого периода времени, то читатель может вернуться и повторно проанализировать печатное слово столько раз, сколько необходимо. Во-вторых, звучащие слова представлены в виде непрерывного речевого потока — звуками, сливающимися друг с другом из-за коартикуляции. Печатный же текст определяет границы слов, и отдельные буквы могут быть идентифицированы гораздо легче в случае визуально представленных слов.

С начала 1970-х годов было разработано несколько моделей визуального распознавания слов (Belke, 2004; Jacobs, Grainger, 1994; Lupker, 2005). Эти модели можно разделить на две группы:

1) Локалистские коннекционистские модели, которые основаны на существовании ментального лексикона (Coltheart, Curtis, Atkins, Haller, 1993; Coltheart, Rastle, Perry, Langdon, Ziegler, 2001; Zorzi, Houghton, Butterworth, 1998);

2) Распределенные коннекционистские модели (Harm, Seidenberg, 1999, 2004; Plaut, McClelland, Seidenberg, Patterson, 1996; Seidenberg, McClelland, 1989), которые отрицают существование ментального лексикона, но предполагают, что слова представлены в высокосвязанных, распределенных сублексических репрезентациях.

Фундаментальные принципы одноязычного визуального распознавания слов могут быть применены и к двуязычной области. То есть двуязычное распознавание слов — это интерактивный процесс, включающий лексическую конкуренцию и, например, на него влияют такие факторы, как частота слов L2 (например, Lemhöfer, Dijkstra, Schriefers, Baayen, Grainger, Zwitserlood, 2008) и плотность орфографического соседства (van Heuven, Dijkstra, Grainger, 1998).

Большинство недавних исследований поддержали неизбирательный языковой взгляд на билингвальное восприятие в зрительной модальности. Они показали активацию нецелевого языка во время обработки межъязыковых омографов (Beauvillain, Grainger, 1987; de Groot, Delmaar, Lupker, 2000; Dijkstra, Grainger, van Heuven, 1999; Dijkstra, Timmermans, Schriefers, 2000; Jared, Szucs, 2002) и когнатов (de Groot, Borgborough, 1999; Dijkstra, Timmermans, Schriefers, 2000).

Активация между сублексическим и лексическим уровнями происходит либо непосредственно между сублексическим орфографическим входным лексиконом и фонологическими представлениями на уровне слова, либо через центральный интерфейс между орфографией и фонологией. Основной характеристикой модели является её взаимосвязь с лексическим бимодальным инпутом. Входные данные стимула не ограничиваются его орфографией, а дополняются визуальным и произносительным компонентами, которые обрабатываются этой моделью посредством взаимной активации. Двунаправленные связи между орфографическим и фонологическим компонентами позволяют оценивать фонологическое влияние на обработку печатных слов и учитывать орфографическое влияние на обработку слов устной речи.

Фактически, только две модели были явно разработаны для визуального распознавания слов, а именно: модель двуязычной активации (BIA) и её вариация BIA+. Обе модели предполагают неизбирательную активацию слов в общем лексиконе обоих языков.

1. Модель двуязычной интерактивной активации (BIA) (Dijkstra, van Heuven, 1998; van Heuven, Dijkstra, Grainger, 1998; van Heuven, 2000) — это локалистская коннекционистская модель двуязычного визуального распознавания слов, которая предполагает два основных допущения: 1) двуязычный лексикон интегрирован между языками; 2) доступ к лексикону происходит в неизбирательной языковой манере.
2. Модель BIA+ является модификацией и расширением модели BIA. В отличие от своей предшественницы, модель BIA+ содержит фонологические и семантические представления. Таким образом, модель состоит из высокоинтерактивной сети орфографических, фонологических и семантических представлений. Он включает в себя интегративный лексикон и языковой неизбирательный взгляд на лексический доступ.

В большинстве исследований эффектов согласованности при визуальной обработке слов изучались соответствия от орфографии к фонологии. Однако эффекты согласованности были обнаружены и в другом направлении, то есть при сопоставлении фонологии с орфографией (Perry, 2003; Stone, Vanhoy, van Orden, 1997).

До сих пор исследования, посвященные эффекту последовательности, проводились исключительно на английском или французском языках, поскольку эти языки характеризуются крайне непоследовательным соответствием между орфографией и фонологией (Зенкевич, 2019, с. 101).

1. Гипотеза орфографической глубины (ODH) предполагает, что при прочтении слова человек адаптирует стратегии обработки слов родного языка к характеристикам орфографической системы, с которой они сталкиваются.
2. Психолингвистическая теория размера зерна (PGST). Как и ODH, психолингвистическая теория размера зерна (PGST), разработанная Й.С. Зиглером и У. Госуоми (Ziegler, Goswami, 2005, 2006), предполагает, что фундаментальные различия в механизмах чтения развиваются как реакция на орфографическую систему. PGST фокусируется на размере единиц информации, которые перекодируются в фонологические структуры. Например, ребенок, который ещё не овладел грамотой, во всех языках чувствителен к более крупным единицам фонологического размера, т.е. целым словам и слогам.

Билингвы переносят стратегии орфографической обработки из первого языка во второй при зрительном распознавании слов. Однако остается неизвестным, влияет ли орфографическая глубина системы письма первого языка на степень орфографической активации при слуховом распознавании слов иностранного языка.

Методология исследования

Исследование Томаса Бурмаша (2012) демонстрирует реализацию модели билингвального распознавания слов, которая бы способствовала реализации орфографических и фонологических связей при слуховом восприятии. В исследовании определяются некоторые критерии оценки данных поведенческих парадигм измерения скорости полученных реакций:

1)    Точность: измеряется в показателях ошибок, определяемых как количество неправильных ответов, делённое на количество всех ответов. Высокий коэффициент ошибок для определенных стимулов предполагает, что процессы, лежащие в основе этих понятий, были более сложными, чем для стимулов с более низким коэффициентом ошибок.

2)    Время: определяется как промежуток времени между появлением предъявленного стимула и реакцией участников эксперимента: например, нажатием кнопки ответа при выполнении задания на принятие лексического решения или произнесением слова в задании на называние.

Количество ошибок и время ответа были подходящими для повторения и расширения предыдущих результатов по орфографической активации во время обработки устной речи. Автор работы делает ряд умозаключений, объясняющих полученные результаты, противоречащие исследованиям, проведённым ранее (Seidenberg, Tanenhaus,1979; Damian, Bowers, 2009b):

1. В списке стимулов задания было всего 44% подходящих пунктов. Различия могут быть обусловлены специфическими характеристиками выбранных стимульных материалов.
2. Анализ времени реакции в эксперименте включал ковариативный фактор длительности стимула. Этот фактор должным образом не контролировался в исследованиях Seidenberg & Tanenhaus (1979) и Damian & Bowers (2009b). Результаты дисперсионного анализа (ANOVA) данных без учета ковариаты длительности стимула продемонстрировали высоко значимый эффект орфографии на восприятие рифмы при анализе индивидуальных показателей участников, который, однако, потерял значимость, когда ковариативная длительность стимула была исключена.

За последние годы несколько исследований показали, что различия в языке создают различия в фундаментальных процессах познания и опыта говорящего, например, в мышлении о цветах (Roberson, Hanley, 2007; Winawer, Witthoft, Frank, Wu, Wade, Boroditsky, 2007), пространстве (Levinson, Kita, Haun, Rasch, 2002), времени (Boroditsky, Gaby, 2010) и структуры события (Fausey, Long, Inamori, Boroditsky, 2010; Papafragou, Hulbert, Trueswell, 2008). Результаты таких исследований соответствуют выводу о том, что орфографическая глубина системы языка также оказывает основательное и устойчивое влияние на когнитивные основы восприятия языка.

1. Горелов, И.Н. (1969). О возможной примарной мотивированности языкового знака. В: Материалы семинара по проблеме мотивированности языкового знака. ИЯ АН СССР (с. 17—20). Л.: Изд-во «Наука».
   Gorelov, I.N. (1969). On the possible prima facie motivation of the linguistic sign. In: Proceedings of the seminar on the problem of the motivation of the linguistic sign. FL AS USSR (pp. 17—20). Leningrad: Nauka Publ. (In Russ.)
2. Демьянков, В.З. (1994). Морфологическая интерпретация текста и ее моделирование. М.: Изд-во МГУ.
   Demyankov, V.Z. (1994). Morphological interpretation of the text and its modelling. Moscow: MSU Publ. (In Russ.)
3. Зенкевич, И.В. (2019). Факторы интереса к изучению русского языка в США. Филология: научные исследования, 4, 99—106. https://doi.org/10.7256/2454-0749.2019.4.30343
   Zenkevich, I.V. (2019). Factors of interest in the study of Russian language in the USA. Philology: scientific research, 4, 99—106. (In Russ.) https://doi.org/10.7256/2454-0749.2019.4.30343
4. Левицкий, В.В. (1998). Звуковой символизм: Основные итоги. Черновцы: Рута.
   Levitsky, V.V. (1998). Sound symbolism: Main results. Chernivtsi: Ruta (In Russ.)
5. Мильруд, Р.П., Максимова, И.Р. (2017). Учебный билингвизм: вчера, сегодня и завтра. Язык и культура, 37. https://doi.org/10.17223/19996195/37/13
   Milrud, R.P., Maksimova, I.R. (2017). Learning bilingualism: yesterday, today and tomorrow. Language and Culture, 37 (In Russ.) https://doi.org/10.17223/19996195/37/13
6. Якобсон, Р.О. (1996). Язык и бессознательное. М.: Гнозис.
   Jakobson, R.O. (1996). Language and the unconscious. Moscow: Gnosis (In Russ.)
7. Clifton, C. (2015). The Roles of Phonology in Silent Reading: A Selective Review. Explicit and Implicit Prosody in Sentence Processing: Studies in Honor of Janet Dean Fodor. Ser.: Studies in theoretical psycholinguistics, 46. Springer International Publ., 161—176. https://doi.org/10.1007/978-3-319-12961-7_9
8. DongSuk, Y. (1999). Robust speech recognition using neural networks and hidden Markov models. Adaptations using non-linear transformations. New Jersey: The State University of New Jersey.
9. Dornbusch, T. Orthographic influences on L2 auditory word processing. 2012.
10. Frances, С., Navarra-Barindelli, E., Martin, D.C. (2021). Inhibitory and facilitatory effects of phonological and orthographic similarity on L2 word recognition across modalities in bilinguals. Scientific Reports. https://doi.org/10.1038/s41598-021-92259-z
11. Hayes-Harb, R., Barrio, S. (2021). The influence of orthography in second language phonological acquisition. Language Teaching, 54. University of Utah. Cambridge University Press: Salt Lake City: USA, 297—326. https://doi.org/10.1017/s0261444820000658
12. Lee, Y., Moreno, A.M., Park, H. Carello, C., Turvey, T.M. (2006). Phonological assimilation and visual word recognition. J Psycholinguist Res., 35. Springer Science+Business Media, LLC, 513—530. https://doi.org/10.1007/s10936-006-9027-6
13. Rankin, J., Grosso, S., Reiterev, S. (2016). Effect of L1 co-activation on the processing of L2 mopho-syntax in German-speaking learners of English. In: Proceedings of the 13th Generative Approaches to Second Language Acquisition Conference. Somerville. MA (pp. 196—207).
14. Riener, C. (2019). New Approaches and Debates on Top-Down Perceptual Processing. Teaching of Psychology, 46, 267—272. https://doi.org/1177/0098628319853943