Система регистрации движений глаз SMI High Speed: особенности использования

3467

Аннотация

Cтатья посвящена описанию предлагаемой авторами методики обработки экспериментальных данных, получаемых на установке для регистрации движений глаз SMI High Speed. Особенное внимание уделено рекомендациям по выбору алгоритма детекции фиксаций, расчету статистики для выделенных зон интереса, а также рассмотрению особенностей регистрации величины раскрытия зрачка.

Общая информация

Ключевые слова: регистрация движений глаз, фиксация, саккада, алгоритмы детекции фиксаций и саккад, калибровка, тахистоскопия, область интереса

Рубрика издания: Инструментарий

Для цитаты: Жегалло А.В. Система регистрации движений глаз SMI High Speed: особенности использования // Экспериментальная психология. 2009. Том 2. № 4. С. 111–117.

Полный текст

Характеристики системы SMI High Speed

Система SMI High Speed (Демидов, Жегалло, 2008) использует принцип видеореги­страции движений глаз, при которой направление взгляда определяется на основе вектора смещения между позициями центра зрачка и роговичного блика (Pupil–CR метод); частота регистрации в монокулярном режиме составляет 1250 или 500 Гц; в бинокулярном режи­ме – 500 Гц; разрешающая способность 0,01о; типичная точность определения направления взгляда – 0,25 – 0,5о; диапазон линейности ±30опо горизонтали, 30о вверх, 45овниз. В состав системы входит программное обеспечение, предназначенное для предъявления стимульно­го материала (Experiment Center), регистрации данных (iView X) и анализа результатов эксперимента (BeGaze). В настоящее время большой опыт практической работы с системой позволяет сформулировать ряд дополнительных рекомендаций.

Предъявление стимульного материала

Для организации предъявления стимульного материала в состав системы входит программное обеспечение Experiment Center. С его помощью можно последовательно по­казывать текст, статические изображения и видеофрагменты. Поскольку минимальное вре­мя экспозиции статического изображения составляет 500 мс, предъявление изображений с более коротким временем экспозиции возможно лишь в случае использования допол­нительного программного обеспечения. При необходимости предъявления сложных сти­мульных последовательностей с коротким временем экспозиции отдельных изображений система SMI рекомендует использовать ПО Presentation фирмы Neurobehavioral Systems (http://www.neurobs.com/). Однако следует отметить, что наши попытки использовать указанное выше программное обеспечение для проведения тахистоскопических исследо­ваний (Жегалло, 2006; Барабанщиков, Демидов, 2008) выявили ряд проблем: крайне не­привычный (по сравнению с Pascal и С) язык программирования сценариев, низкая (для коммерческой программы) точность экспозиции – плюс-минус кадр развертки, отсутствие поддержки русских шрифтов. Таким образом, использование ПО Presentation не представ­ляется нам целесообразным. Информационный поиск показал, что в Cognition and Brain

1 Исследование выполнено при поддержке РФФИ, проект №08-06-00316а, №09-06-12003 офи-м, РГНФ, проект № 09-06-01108а.

Sciences Unit (CBU) (Кембридж) совместно с системами видеорегистрации движений глаз SMI используют ПО E-Prime фирмы Psychology Software Tools (http://www.pstnet.com/). Предварительное знакомство с E-Prime показало, что программа характеризуется высо­кой стабильностью времени экспозиции (на последовательности из 100 предъявлений по 50 мс отклонений от заданного времени экспозиции не обнаружено). На сайте CBU (http:// imaging.mrc-cbu.cam.ac.uk/meg/EyeTrackingWithEprime) достаточно подробно описаны принципы коммуникации между E-Prime и ПО iView X, обеспечивающим сбор данных на системах SMI. Коммуникация осуществляется с использованием системы команд iView

X Remote Commands. В настоящее время мы видим два пути решения проблемы предъ­явления стимульного материала: либо приобретение лицензионной версии программы E-Prime (эксперимент в этом случае представляет собой программу на внутреннем языке E-Prime), либо разработка собственного программного обеспечения. Основная проблема в обоих случаях связана с необходимостью использования системы команд iView X Remote Commands.

Моргания и детекция фиксаций

К сожалению, алгоритм детекции морганий, используемый программным обеспече­нием, входящим в состав системы SMI High Speed, не документирован. Сопоставление ис­ходных данных и их дешифровки, выполненной средствами штатного ПО, позволяет сде­лать следующие выводы.

В состав моргания включаются непосредственно предшествующие ему, а также не­посредственно следующие за ним временные интервалы с корректными данными продол­жительностью около 10 мс. Данный прием позволяет исключить из обработки переходные процессы, в ходе которых направление взгляда определяется корректно, но величина рас­крытия зрачка оказывается несколько меньше нормальной. Таким образом, система позво­ляет получать корректную информацию о средней величине раскрытия зрачка.

Относительно продолжительный интервал, в ходе которого регистрируется практи­чески непрерывное отсутствие данных, при обработке может быть разделен на несколько отдельных событий «моргание». Так, например, непрерывный интервал в 854 мс, в ходе ко­торого корректные данные о направлении взгляда отсутствовали, система обработки раз­делила на 11 событий «моргание» продолжительностью от 23 до 218 мс.

Пример. Фрагмент последовательности событий, выделенных ПО SMI High Speed, включающий две группы последовательных событий Blink (моргание).

Для событий Fixation включена следующая информация: глаз, с которого про­изводится регистрация (всегда L), номер пробы (всегда 1); номер события; абсолют­ное время начала события (микросекунды); абсолютное время конца события (микро­секунды); продолжительность события (микросекунды); X-координата (пиксели экра­на); Y-координата (пиксели экрана); дисперсия по X (пиксели экрана); дисперсия по Y (пиксели экрана).

Для событий Blink включена следующая информация: глаз, с которого производится регистрация (всегда L), номер пробы (всегда 1); номер события; абсолютное время начала события (микросекунды); абсолютное время конца события (микросекунды); продолжи­тельность события (микросекунды).

Таким образом, система позволяет получить корректную информацию об общей про­должительности морганий (периодов отсутствия корректных данных), но не об их числе и продолжительности отдельных событий.

Кратковременная (2–4 мс) частичная окклюзия зрачка, при которой определение центра зрачка и позиции роговичного блика остается возможным, не рассматривается си­стемой как моргание. При этом, однако, происходит резкое изменение Y–координаты цен­тра зрачка. В случае использования алгоритма детекции Velocity Threshold Identification (Salvucci, Goldberg, 2000), выделяющего саккады как фрагменты трассы, характеризующие­ся высокой угловой скоростью перемещения, такая частичная окклюзия приводит к искус­ственному разбиению продолжительной фиксации на несколько более коротких. При этом минимальная продолжительность таких искусственно выделенных фиксаций при частоте регистрации 500 Гц составляет 3 мс. Данная проблема обсуждалась в ходе семинара, прово­дившегося ООО «Нейроботикс» (дилером фирмы SMI) 28 октября в Институте проблем передачи информации им. А. А.Харкевича, где представитель фирмы SMI Кристиан Лаппе признал факт ее наличия и добавил, что в ближайшее время SMI предполагает перейти к использованию нового адаптивного алгоритма детекции саккад и фиксаций, предложен­ного Marcus Nystrom и Kenneth Holmqvist, сотрудниками Lund Humanities Lab (Nystrom, Holmqvist, 2009). В настоящее время на сайте Lund Humanities Lab доступна предваритель­ная версия публикации, описывающей данный алгоритм, а также реализующая его про­грамма для пакета Mathlab.

В качестве временной меры (до перехода к использованию нового адаптивного алгоритма) мы предлагаем отказаться от использования алгоритма Velocity Threshold Identification и использовать более стабильно работающий Dispersion Threshold Identification алгоритм (однако необходимо отметить, что основным его недостатком является невозмож­ность получения детальной информации о динамике саккад).

Следует обозначить еще одну проблему, особенно актуальную при относительно ко­ротком времени экспозиции стимульного материала, – при выполнении детекции фиксаций не используется информация о предъявляемых изображениях. Таким образом, возникает вопрос, как поступить с фиксацией, которая началась при рассматривании изображения 1, а завершилась при рассматривании сменившего его изображения 2. Исключение таких фик­саций из анализа при коротком времени экспозиции привело бы к потере существенной части экспериментальных данных, а отнесение ее к одному из двух изображений – к внесе­нию искажений (в частности, при этом может сложиться ситуация, когда суммарная про­должительность фиксаций превышает время предъявления изображения). На наш взгляд, наиболее правильным решением в данном случае было бы искусственное разделение таких фиксаций на две: одну – относящуюся к изображению 1, вторую – к изображению 2.

Процедура калибровки

Процедура калибровки представляет собой последовательное предъявление на экра­не точек калибровки. При этом испытуемый должен фиксировать взгляд на предъявляемой точке калибровки. Таким образом, система получает информацию, как соотносить поло­жение зрачка на изображении, регистрируемом видеокамерой, с направлением взгляда ис­пытуемого. Необходимым условием успешной калибровки является отсутствие окклюзий зрачка в случае, когда взгляд направлен на края рабочей области (экрана). Эксперимента­тор должен визуально (по видеоизображению глаза) контролировать отсутствие окклюзий при проведении процедуры калибровки.

Первоначально система SMI High Speed работала с программным обеспечением iView X 2.0 и Experiment Center 2.0. Недостаток этой версии ПО заключался в том, что система выдавала только среднюю точность калибровки по всему набору калибровочных точек, а информация о точности калибровки для каждой из точек по отдельности была недоступна, в результате чего возникают значительные отклонения направления взгляда от централь­ной фиксационной точки (согласно данным проводившихся нами экспериментов).

По нашей просьбе ООО «Нейроботикс» выполнило замену ПО iView X и Experiment Center на версию 2.2, позволяющую, в частности, осуществлять визуальный контроль каче­ства калибровки по отдельности для каждой из калибровочных точек.

К сожалению, в документации к iView Remote Commands отсутствует описание, ка­ким образом можно получить детальную информацию о качестве калибровки. Выполнен­ный нами анализ протокола взаимодействия между ПО iView X и Experiment Center пока­зал, что для этой цели используется недокументированная команда ET_CAQ.

Следует отметить, что помимо калибровки направления взгляда система предусма­тривает также проведение калибровки по диаметру зрачка. Для этой цели необходимо ис­пользовать круглый тест-объект известного диаметра, находящийся в позиции, соответ­ствующей глазу испытуемого. По-видимому, оптимальным решением в данном случае было бы крепление тест-объекта к искусственной голове.

Обработка экспериментальных данных

После проведения экспериментальных исследований встает проблема обработки экс­периментальных данных. Одним из способов такой обработки является расчет статистики по зонам интереса. На рассматриваемом испытуемым статическом изображении исследова­тель выделяет зоны интереса в соответствии с имеющимися у него гипотезами исследования, а затем для каждой экспериментальной ситуации выполняет расчет интересующих его показателей (общее время рассматривания, число фиксаций, средняя продолжительность фиксаций, средняя величина раскрытия зрачка и т. д.) для каждой из выделенных зон инте­реса.

ПО BeGaze, поставляемое с системой SMI High Speed, в целом позволяет решить дан­ную задачу, однако при попытке обработки экспериментальных данных мы столкнулись с рядом проблем:

Во-первых, производительность BeGaze 2.2 при обработке относительно большого объема экспериментальных данных (выборка из 31 человека, время записи для каждого из испытуемых около 7 мин, суммарный объем первичных файлов данных – 450 Mb) ока­залась крайне низкой, продолжительность отдельных операций доступа к данным состав­ляла несколько минут. Поскольку мы располагаем единственной лицензией на BeGaze и не можем перенести ее на другой компьютер без нарушения функциональности системы (один и тот же ключ защиты используется BeGaze и Experiment Center), одновременное проведение экспериментов и обработка ранее полученных результатов становятся невоз­можными.

Во-вторых, BeGaze 2.2 не позволяет при нанесении зон интереса использовать уве­личение изображения более 1:1, что делает весьма затруднительным обеспечение точного нанесения относительно небольших зон интереса.

В-третьих, включение в анализ отдельных экспериментальных ситуаций возможно только вручную в интерактивном режиме, что при большом объеме выборки (31 испытуе­мый, по 63 экспериментальных ситуации для каждого) оказывается крайне неудобно.

В-четвертых, окончательная статистическая обработка предполагает экспорт дан­ных из BeGaze и последующее использование стандартных статистических пакетов (SPSS, Statistica и т. п.). Для выполнения этой операции необходимо перенести экспор­тированные данные на другой компьютер, поскольку установка дополнительного про­граммного обеспечения на компьютер, работающий в составе установки SMI High Speed, нежелательна.

С целью оптимизации процедуры обработки нами была разработана следующая ме­тодика:

1.    Первичные экспериментальные данные конвертируются из формата iView Data File в текстовый формат с помощью утилиты IDF Converter, входящей в состав ПО, постав­ляемого с системой SMI High Speed.

2.    Сквозная детекция фиксаций в массиве полученных файлов выполняется с помо­щью написанной нами программы, использующей алгоритм детекции Dispersion Threshold Identification (при создании программы был использован исходный код референсной реализации алгоритма, входящий в состав системы регистрации движений глаз Eye gaze Analyzing System фирмы Interactive Minds). Параметры работы алгоритма: минимальная продолжительность фиксации – 50 мс, максимальная дисперсия – 20 пикселей. Из анализа предварительно исключаются периоды отсутствия корректных данных. Фиксации, относя­щиеся к двум соседним изображениям, искусственно разделяются на две части (фрагменты фиксаций продолжительностью менее 50 мс отбрасываются). Результатом работы является сводный файл, включающий в себя информацию о всех фиксациях (позиция, продолжи­тельность, средняя величина раскрытия зрачка, номер испытуемого, номер предъявленного изображения). Размер сводного файла составляет 2 Mb.

3.    Определение координат выделяемых прямоугольных зон интереса выполняется в графическом редакторе с 4-кратным увеличением.

4.    Расчет показателей по зонам интереса для каждой из экспериментальных ситуа­ций производится в системе статистической обработки R (R Development Core Team, 2008) с помощью специально написанной программы на языке R. Следует отметить, что поскольку данная программа включает процедуру расчета статистики для произвольной прямоуголь­ной зоны интереса и произвольного набора данных, она может быть легко адаптирована для последующих исследований. Результатом работы является сводный файл, включающий в себя информацию по всем выделенным зонам интереса для каждой из интересующих нас экспериментальных ситуаций.

5.    Окончательная статистическая обработка и построение иллюстраций проводит­ся в той же системе статистической обработки R. Также возможен импорт файла, получен­ного на предыдущем шаге, в стандартные статистические пакеты.

Выводы

Для обеспечения эффективного использования установки SMI High Speed необходи­мо решение следующих задач:

1.  Совершенствование методики предъявления стимульного материала с помощью дополнительных компьютерных программ, обеспечивающих возможность предъявления сигнала с коротким (до 10 мс) временем экспозиции. Наиболее быстрый путь решения дан­ной задачи состоит, по-видимому, в использовании стандартных систем, предназначенных для проведения компьютеризованных экспериментов (E-Prime и др.). В некоторых случаях, однако, может оказаться необходимой разработка собственных оригинальных программ.

2.  Совершенствование методики калибровки диаметра зрачка.

3.  Совершенствование методики обработки экспериментальных данных. Наиболее эффективный путь использования установки состоит в использовании ее исключительно для проведения экспериментальных исследований. Всю обработку полученных результатов начиная с детекции саккад и фиксаций целесообразно проводить на других компьютерах с использованием дополнительного программного обеспечения (по крайней мере, до выпуска SMI новой версии ПО, реализующей новый алгоритм детекции саккад и фиксаций).

Литература

  1. Барабанщиков В. А., Демидов А. А. Динамика восприятия индивидуально-психологических особенностей человека по выражению его лица в микроинтервалах времени // Психология. Высшая школа экономики. 2008. Т. 5. № 2. С. 109–116.
  2. Демидов А. А. Жегалло А. В. Оборудование SMI для регистрации движений глаз: тест-драйв // Экспериментальная психология. 2008. № 1. С. 149–159.
  3. Жегалло А. В. Динамика восприятия экспрессий лица: к верификации модели восприятия сложных изображений Г. Хакена // Образ российской психологии в регионах страны и в мире: Материалы Международного форума и Школы молодых ученых ИП РАН, 24–28 сентября 2006 г. М.: ИП РАН. С. 216–220.
  4. Nystrom M., Holmqvist K. An Adaptive Algorithm for Fixation, Saccade, and Glissade Detection in Eye-Tracking Data // Behavior Research Methods. 2009. V. 8–12.
  5. R Development Core Team (2008). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria, ISBN 3-900051-07-0, URL http://www.R-project.org.
  6. Salvucci D., Goldberg J. Identifying fixations and saccades in eye-tracking protocols // Proceedings of the Eye Tracking Research and Applications Symposium, New York: ACM Press, 2000. P. 71–81.

Информация об авторах

Жегалло Александр Владимирович, кандидат психологических наук, Старший научный сотрудник лаборатории системных исследований психики, Институт психологии Российской академии наук (ФГБУН ИП РАН), Научный сотрудник центра экспериментальной психологии МГППУ, Москва, Россия, ORCID: https://orcid.org/0000-0002-5307-0083, e-mail: zhegalloav@ipran.ru

Метрики

Просмотров

Всего: 3052
В прошлом месяце: 9
В текущем месяце: 7

Скачиваний

Всего: 3467
В прошлом месяце: 3
В текущем месяце: 1