Айтрекинг в психологической науке и практике - Коллектив авторов

Для обеспечения синхронизации компонентов системы, записи данных и их обработки разработано оригинальное программное обеспечение. Оно включает в себя две программы: программное обеспечение Fastvideo Lab для скоростной видеосъемки (Программное обеспечение Fastvideo Lab для скоростной видеосъемки, электронный ресурс) и разработанная нами программа VisualStimulator.

Программное обеспечение, поставляемое с камерой, дает пользователю широкий спектр возможностей для ведения высокоскоростной съемки. Доступны, в частности, настройка режимов работы камеры – изменение области сканирования сенсора, частоты захвата кадров, времени экспозиции, выделение фрагмента кадра и др., просмотр изображения на экране монитора, непрерывная запись видеопотока в память ПК или в файл на жесткий диск, чтение, просмотр и преобразование записанных данных.

Регистрация движений зрачка в ИК свете, направленном под углом к оптической оси камеры, основана на эффекте «темного зрачка», когда вторичное отражение от сетчатки глаза не поступает в камеру. Отображение зрачка на кадре является, как правило, самой затемненной областью, интенсивность пикселей в которой меньше, чем интенсивность пикселей в других частях кадра. Наиболее распространенное и простое определение центра положения зрачка сводится к усреднению х и у координат пикселей, интенсивность которых не превышает заранее выбранного порогового значения. Заметим, что точность этого метода ограничена наличием светодиодных бликов подсветки на роговице глаза, так как положение этих бликов может совпадать с положением зрачка. Кроме того, на точность могут влиять области с еще большим затемнением (ресницы, затемнения у краев кадра и др.). С другой стороны, результат зависит от выбора порога бинаризации изображения, а фиксированное значение порога делает этот метод практически неприменимым в режиме реального времени из-за изменений затемнения зрачка в процессе съемки.

Стандартное программное обеспечение камеры было дополнено автоматическим алгоритмом (фильтром) распознавания зрачка на изображении (Программное обеспечение для видео нистагмографии, электронный ресурс), изначально разработанным «Фаствидео» для медицинских систем видеонистагмографии на основе аналоговых ИК камер (Видео нистагмограф, электронный ресурс). Координаты зрачка на изображении определяются по его эллиптическому контуру, который является проекцией контура зрачка на плоскость сенсора камеры при любом направлении взора испытуемого. Заметим, что метод нечувствителен к бликам ИК подсветки и работает в случаях, когда зрачок частично прикрыт веками или ресницами (рисунок 1).

Рис. 1

В используемой нами версии алгоритм был в значительной степени переработан с целью увеличения производительности, что позволило применять его в режиме реального времени со 100 %-й эффективностью при частоте работы камеры 300 кадров в секунду и выше и размерах изображения от 320x240 до 640x480 пикселей. Измерения показали, что время, необходимое для выделения зрачка на кадре с размером 640x480 пикселей, не превышает 3 мс на ПК с процессором уровня Intel® Core™ i7-920 (2,66 ГГц).

Предельная точность определения центра эллиптической области оценивалась в модельном эксперименте с изображением черного круга на белом фоне. Было установлено, что при различных проекциях изображения на плоскость матрицы видеокамеры, координаты центра определяются с точностью лучшей, чем один пиксель сенсора, что соответствует предельной точности угла поворота глаза 0,5 градуса. Эта точность ограничена шумами матрицы, механическими колебаниями установки, стабильностью освещенности изображения, а также точностью работы выбранного алгоритма.

В наших измерениях камера, программа и фильтр настраиваются на непрерывную съемку и запись видео в файл. Временная привязка координат зрачка ведется от момента запуска камеры по порядковому номеру кадра с учетом периода следования кадров. Координаты, время и номера кадров передаются в программу VisualStimualtor по мере регистрации с помощью интерфейса межпроцессного взаимодействия mailslot (Центр разработки Windows, электронный ресурс).

Для анализа движений глаз нами было разработано оригинальное программное обеспечение VisualStimulator, использующее в качестве предъявляемых стимулов статические изображения (рисунки), динамические ряды (видеофайлы), а также имеющее возможность реализовывать захват экрана монитора, на котором происходит предъявление. Последний пункт может быть очень важен при решении задач, связанных с процессами навигации по сайтам, анализу расположения элементов на рабочем столе и т. д.

Программа управления камерой определяет координаты взора в системе координат сенсора, переход от измеренных координат к координатам предъявляемого изображения производится в программе VisualStimulator. Детальный обзор методов, позволяющих связать координаты «сенсор-стимул», представлен в работе Шила (Sheela, 2011). В нашей программе переход от измеренных координат (х, у) к предъявляемым (X, У) осуществляется с помощью отображающей функции вида:

где коэффициенты и (i = 1.. 6) определяются методом наименьших квадратов из калибровочного измерения.

Калибровка состоит в последовательной демонстрации на экране монитора точек с известными координатами (X, Y) с синхронной регистрацией направленного на них взора испытуемого с координатами (х, у) (рисунок 2). Точки расположены в узлах калибровочной сетки монитора, число узлов по вертикали и по горизонтали задается в настройках программы. При демонстрации изображений на мониторе с соотношением сторон 16:9 использовалось 18 точек, соответствующих шести узлам сетки по горизонтали и трем – по вертикали. Предъявление точек проводится с заданной длительностью по одной, друг за другом.

Рис. 2. Пример удачной калибровки с наложенными на калибровочные точки восстановленными позициями взора. Фиксация в центре – начальная позиция взора испытуемого

Первоначально координаты трека анализируются независимо друг от друга. Каждый временной ряд аппроксимируется кусочной ступенчатой функцией (Lemire, 2007), разбивающей последовательность на интервалы, в пределах которых координата не изменяется или изменяется незначительно. Пересечения полученных интервалов во времени определяют положения фиксаций на треке (рисунок 3). Восстановление положения фиксаций на экране монитора проводится с помощью отображающей функции по координатам, полученным из усреднения измерений на выделенных временных интервалах. Угловое изменение направления взора между двумя последовательными фиксациями определяет амплитуду саккады. В случае, когда амплитуда не превышает 1,4°, две последовательные фиксации объединяются в одну. Выбор данного критерия многократно обсуждался в литературе (Velichkovsky et al., 2005) и может быть обусловлен целями эксперимента, а также анатомо-физиологическими свойствами сетчатки. Так, известно, что угловой размер фовеа глаза человека составляет около 2°. Примером причины выбора иного амплитудного критерия, обусловленного целями эксперимента, может быть, например, необходимость оценки стабильности фиксации взора на одной точке длительное время. В этом случае критичными могут быть также микросаккады и дрейф. Отметим также, что в программе предусмотрена возможность опциональной настройки данного критерия.

Рис. 3. Зарегистрированные X и Y координаты взора в зависимости от времени. Найденные интервалы фиксаций показаны горизонтальными линиями с подписями, соответствующими их длительности в миллисекундах

В случае, когда изучается зрительное внимание в стандартных глазодвигательных парадигмах, интерес представляют саккадические движения глаз. При объединении фиксаций, которые отстоят друг от друга на угол, меньший, чем заданный параметр, происходит пересчет лежащих рядом амплитуд саккад, а также общей длительности полученной новой фиксации, которая является суммой двух объединяемых.

Камера устанавливается сбоку под прямым углом к направлению взора испытуемого и регистрирует изображение глаза, отраженное от «теплого зеркала» – специального эмиссионного фильтра, пропускающего свет видимого спектра и отражающего волны инфракрасного диапазона (более 800 нм). Эмиссионный фильтр располагается в плоскости, расположенной под углом 45° к плоскости зрачка. Это позволяет убрать видеокамеру из поля зрения испытуемого, а также расположить ее в плоскости, параллельной плоскости зрачка. Такое расположение видеокамеры позволяет избежать погрешностей, обусловленных угловыми искажениями при вычислении координат центра зрачка.