Современные технологии трансформации изображений в изучении восприятия человека по выражению его лица

В настоящее время при изучении психологических особенностей человека по выра­жению его лица все чаще используются, особенно в экспериментальной психологии, ком­пьютерные графические технологии, программы для работы с изображениями. На наш взгляд, это обусловлено несколькими причинами. С одной стороны, компьютерные про­граммы позволяют оперировать исходным фотоизображением и создавать его новые моди­фикации, давая возможность экспериментатору синтезировать оригинальные выражения лица человека. Использование синтетических фотоизображений при изучении восприя­тия психологических особенностей человека по выражению его лица открывает широкие возможности перед исследователями. Например, изучение категориальности восприятия экспрессий осуществляется путем создания с помощью техники морфинга переходного ряда фотоизображений лица человека между двумя исходными, выраженными базовыми эмоциями (Жегалло, 2007; Etcoff, Magee,1992; Calder et al., 1996). Для изучения привле­кательности человека часто используется техника прототипирования (Вгаun еt аl, 2001; Thornhill, Gangestad, 1993). В современных исследованиях также довольно часто при­меняется процедура инверсии лица, как, впрочем, и создание композитного лица – лица, сконструированного из различных частей, когда верхняя половина принадлежит одному человеку, а нижняя – другому (Penton-Voak at al., 2006). С другой стороны, создание сти­мульного материала становится более доступным, открывает возможности для самостоя­тельного конструирования при помощи специальных программ необходимых для исследо­ваний изображений.

Целью данной статьи является обзор методов применяемой в современных психо­логических экспериментальных исследованиях компьютерной графики, на основе ко­торых разрабатываются оригинальные методики, позволяющие точнее и глубже изучать индивидуально-психологические особенности личности (Болдырев, 2006; Дивеев, 2009), эмоциональные состояния человека (Жегалло, 2007; Хозе, 2008), его привлекатель­ность и т. д.

Рис.1. Морфинг фотоизображений лица

Морфинг изображений

Морфинг (morphing) – технология компьютерной графики, создающая плавный пе­реходный ряд изображений от одного объекта к другому. Сам термин происходит от слова metamorphosing – проведение преобразования, в котором один образ постепенно преобра­зуется в другой. Данный метод впервые был использован в 1990 году для создания спец-эффектов в киноиндустрии. С тех пор морфирование изображений получило широкое при­менение в различных областях деятельности человека. Существует несколько разновидно­стей морфинга, в том числе линейный, сегментный и взвешенный (Флеминг, Доббс, 2002).

Линейный морфинг. Процедура линейного морфинга позволяет из пары исходных 2D изображений А и В построить третье, обладающее в заданной степени свойствами каждого из исходных изображений. Для решения этой задачи на исходных изображениях опреде­ляется набор взаимно соответствующих ключевых точек, образующих триангуляционную сетку. В случае когда исходные изображения представляют собой лица, ключевые точки расставляются в соответствии с их анатомическим устройством, например, в соответствии с расположением глаз, бровей, рта, носа, ушей и т. д. (рис. 1).

На основе построенной сетки рассчитывается отображение, трансформирующее каж­дую ячейку сетки изображения А в соответствующую ячейку сетки изображения В и таким образом перестраивающее изображение А в изображение В, т. е. каждой точке изображе­ния А (х1,у1) можно поставить в соответствие точку изображения В (х2,y2). С помощью уравнений, описывающих процесс трансформации, рассчитывается позиция и яркость то­чек промежуточного изображения, соответствующих той или иной степени завершенности процесса. Если, например, процесс трансформации произведен на 30 %, то промежуточное изображение будет представлять собой морф, состоящий из 70 % А и 30 % В. В результате при достаточно подробном наборе ключевых точек процедура морфинга позволяет постро­ить плавный переходный ряд заданной длины между А и В, характеризующийся постоян­ной степенью визуального различия между соседними изображениями.

Современные исследования восприятия экспрессии лица (Жегалло, 2007; Calder et al., 1996) используют описанную выше базовую технику морфинга. В то же время данная процеду­ра обладает целым рядом дополнительных, представляющих определенный интерес возможно­стей, как, например, применение техники нелинейных сеток, когда ключевые точки вместо от­резков прямых соединяются кривыми Безье, что в результате позволит существенно улучшить качество морфинга при одновременном сокращении числа необходимых ключевых точек.

Взвешенный морфинг позволяет трансформировать одну базовую модель сразу в две морфинг-мишени. Главное достоинство этой технологии состоит в возможности осущест­вления синхронизации движения губ натурщика как с его речью, так и с мимикой лица в целом. Рассмотрим принципиальное отличие взвешенного морфинга от других его ви­дов. При морфинге базового объекта А на 50 % с помощью целевого объекта – плачущий рот (с взвешенным коэффициентом 20 %) получается верхняя модель колонки В (рис. 2). При обработке этого же базового объекта еще на 50 %, но с другим целевым объектом – смею­щийся рот (с коэффициентом 70 %) – получает­ся нижняя модель столбца В.

Инструментарий взвешенного морфинга позволяет для каждого целевого объекта уста­навливать свои весовые коэффициенты или про­цент морфинга, создавая таким образом множе­ство вариантов мишеней на основе нескольких целевых объектов. Результат совмещения обоих «портретов» представлен в колонке С.

Если требуется создание каких-либо иных вариантов изображения того же лица, необхо­димо лишь изменить процентное соотношение «вкладов» разных морфинг-мишеней в оконча­тельное изображение: 20/80, 60/40 и т. д. Сумма процентов не должна превышать 100, хотя во многих программах данное условие можно нарушить и получить весьма интересные результаты. Таким образом, взвешенный морфинг позволяет создавать из одного базового объекта несколько измененных с последующим созданием необходимого выражения лица.

Варпинг изображений

Варпинг (warping) – технология варпинга аналогична сегментному морфингу и в каком-то смысле тождественна последнему, но отличается тем, что не связана жестко с на­бором целевых объектов (рот, глаза, нос и т. д.). При использовании варпинга, так же как и при морфинге, оператор (исследователь) формирует лишь опорные фигуры или задает ключевые точки, которые позволяют компьютеру выполнить правильный переход. Ис­пользуя варпинг (вaрп-морфинг), можно заданным образом изменить исходное изображе­ние, например, наложить на лицо не только прямую (сегментный морфинг), но и кривую улыбку, расширить или сузить глаза, изменить внутреннюю структуру частей лица непри­вычным способом и т. д. Технология варпинга дает возможность создавать оригинальный стимульный материал, не прибегая к кропотливым поискам подходящих моделей, напри­мер, моделировать лица с определенными признаками или конструировать химерические лица или необычные композитные лица.

В методике, направленной на изучение восприятия эмоциональных состояний чело­века (рис. 3), с использованием технологии варпинга трансформировались энцефаломе­трические индексы внутренней структуры лица: ширина глаз, высота глаз или величина лба, длина носа, высота рта или величина подбородка, которые и выступили в роли основ­ных варьируемых переменных (Хозе, 2008). Трансформации лиц обеспечивались соглас­но правилам преобразований схематических изображений в экспериментах Э. Брунсвика (Brunswik, 1956; Brunswik, Reiter, 1937). Согласно его исследованиям, графическая схема, максимально соответствующая экспрессии радости –F3, характеризуется высоким лбом, широким расположением глаз, средним расположением верхнего края носа и укороченным его кончиком, верхним расположением рта (см. рис. 3,a). Графическая схема, максимально соответствующая экспрессии грусти – T7, характеризуется низким лбом, узким расположе­нием глаз, удлиненным кончиком носа и низким расположением рта (см. рис. 3,b).

Рис. 3. Схематические лица, используемые в экспериментах Э. Брунсвика: радость – F3, грусть – T7.

Путем соответствующей трансформации базового фотоизображения нейтрального лица 041h из базы фотоэталонов (POFA) П. Экмана (рис. 4,a) были построены изображе­ния псевдорадости (см. рис. 4,b) и псевдогрусти (см. рис. 4,c). При построении изображений решено было ограничиться 70 % варпингом в силу того, что дальнейшие модификации при­давали бы лицам неестественные с конституциональной точки зрения соотношения частей.

Рис. 4. Стимульный материал метода исследования восприятия эмоциональных состояний человека. Варпинг внутренней структуры лица (a – исходное изображение, b – трансформация, порождающая впе­чатление радости, c – трансформация, порождающая впечатление грусти)

Прототипирование изображений

Прототипирование (prototyping) – технология компьютерной графики, создающая изображение с усредненными характеристиками из множества заданных объектов. Ито­говое изображение общего или усредненного типа лица выступает в качестве прототипа той или иной группы. Такими группами могут быть, например, все мужчины, или мужчины одной семьи, или представители разных этносов, или прототип одного человека, выделен­ный из разных снимков его лица, сделанных еще и в разные годы. Одним из первых, кто разрабатывал идею прототипа, был Френсис Гальтон. Во второй половине XIX столетия он делал фотоснимки и накладывал их друг на друга, чтобы получить усредненный тип лица (рис. 5,а). Сейчас мы можем достичь лучшего результата, используя компьютерную гра­фику (см. рис. 5,б). На рис. 5,в и 5,г изображены прототипы красоты мужского и женского лица, специально созданные из фотоизображений лиц тех натурщиков, которым испытуе­мые поставили высокий балл по шкале привлекательности (Вгаun еt аl., 2001).

Использование разных видов прототипов позволяет изучать различия средних харак­теристик общих групп, например, чем именно отличаются друг от друга лица мужчин и женщин.

Возможности компьютерной графики также позволяют, сохраняя индивидуальные свойства лица натурщика, изменять различные его характеристики, такие, как возраст, при­влекательность, маскулинность–феминность, «детскость лица» и многие другие. На рис. 6 изображено изменение этнической принадлежности натурщика с сохранением его индиви­дуальных отличий.

Карикатурирование изображений

Карикатурирование (caricaturing)– это вид преобразования, в котором преувеличи­ваются идиосинкразические черты лица, чтобы подчеркнуть характерные для этого чело­века отличительные признаки и таким образом сделать его лицо полностью не похожим на другие. Впервые компьютерную технологию создания карикатур применила Сьюзан Бреннан (Вrеnnan, 1985). Та же технология применяется и для создания прототипических лиц. На фотоизображение наносится набор ключевых точек, прорисовывающих основные структуры лица. Эти точки соединяют, и образуется форма лица, состоящая из линий. Если снять такой же набор точек с других лиц, а потом все их соединить, получится линейная форма усредненного типа лица. Чтобы создать карикатуру, необходимо исказить и преуве­личить расположение нетипичных структур лица. Эксперименты с карикатурными лицами кинозвезд показали, что карикатуры распознаются быстрее, чем нормальные лица. Кроме того, карикатурному лицу отдается предпочтение как наиболее похожему на его обладателя при выборе из двух альтернатив – карикатурного и естественного (Веnson, Perrett, 1991).

Если карикатуры легко распознаются, то антикарикатуры, наоборот, менее узнавае­мы (Rhode еt аl.,1987). Создавая антикарикатуры лица, исследователь приближает точки, отвечающие за его особенность, к точкам прототипического лица. Возможно создание изо­бражений антилица, т. е. лица, имеющего противоположные особенности по отношению к изначальному. Толстые губы преобразуются в тонкие, маленькие глаза – в большие и т. д. Так же можно конструировать «лунное» лицо и делать многие другие преобразования.

Трехмерная графика

Модель морфируемого синтеза 3D изображений. В последние 15 лет наблюдается существенный прогресс в создании интерактивных 3D изображений. В современной ком­пьютерной графике трехмерное изображение рассматривается как комбинация объемной полигональной сетки и натянутой на нее текстуры, описывающей цвет изображения. Это означает, что техники морфинга и в особенности варпинга естественным образом приме­нимы для создания трехмерных изображений. Использование достижений в разработках трехмерной графики представляет собой перспективное направление в психологических исследованиях человека по выражению его лица.

На рис. 7 показана процедура трехмерного варпинга лица голливудской кинозвезды Тома Хэнкса с помощью компьютерной модели морфируемого синтеза 3D изображений лица (Вlаnz, Vetter, 1999). Она позволяет из простого 2D изображения лица (1) создать его 3D форму (2) и текстуру (3). Форма и текстура прорисовываются на базе данных 3D лиц, созданной путем трехмерного лазерного сканирования, которое осуществляется следую­щим образом: человек, лицо которого будет сканироваться, садится на вращающийся стул, который находится перед пучком лазерного света. В лазерном световом потоке отражаются все подробности формы и текстуры лица человека и записываются таким образом, что лицо предстает в виде большого числа лазерных слепков-профилей. Опорные точки соседних профилей соединяют вместе с образованием каркасной модели с полигональной сеткой, которая графически представляет собой объемные криволинейные поверхности головы и лица человека. Каждой точке присваивается коэффициент, величина которого определяет степень ее влияния на часть поверхности, проходящей вблизи точки. От взаимного рас­положения точек и величины коэффициентов зависит форма и «гладкость» поверхности в целом. Конструируемое лицо содержит набор таких модельных коэффициентов, на основе которых путем поточечного сопоставления в векторном пространстве проб форм и текстур создаются новые естественно воспринимаемые лица. Модель лица, экстрагированную из 2D изображения, можно вращать или преобразовывать в необходимом ракурсе. Так, лицо Т. Хэнкса трансформировалось в полное (4) и худое (5), а также приобретало нахмуренное выражение (6) и веселое (7).

Рис. 7. Процедура варпинга в модели морфируемого синтеза 3D изображений лица, где 1 – исходное изображение, 2 – 3D форма лица, 3 – текстура лица, 4–7 – преобразованное лицо (4 – полное, 5 – худое, 6 – нахмуренное, 7 – улыбающееся)

Программное обеспечение

Основную долю рынка программных средств обработки трехмерной графики занимают три пакета: ЗD Studio Мах (компании Кinetiх), Softimage ЗD (компании Microsoft) и Мауа (консорциум известных компаний Аlias, Wavefront, ТD1). На сегодняшний день Мауа является наиболее передовым пакетом в классе средств создания и обработки трехмерной графики для персональных компьютеров. Что касается программ для работы с 2D изображениями, то их представлено немногим более десятка. Самые известные из них: Abrosoft Fantamorph, FunMorph, MorphMan, WinMorph, Morph Buster, Magic Morph, Morpheus, Morpher и др.