Компьютерное моделирование зрительных механизмов группирования, избирательных к пространственным модуляциям контраста

Аннотация

Д.В. Явна

Дата поступления статьи: 18.11.2013

В работе излагаются особенности реализации и результаты тестирования компьютерной модели зрительных механизмов второго порядка, специфичных к пространственным модуляциям контраста. В основе модели лежат представления о ранних стадиях зрительной обработки как двух последовательных операциях линейной фильтрации с промежуточными нелинейными преобразованиями сенсорных сигналов (принцип «фильтрация-выпрямление-фильтрация»). Избирательность моделируемого механизма к пространственным модуляциям контраста достигается благодаря особой организации его тормозных флангов, неизбирательных к ориентации и пространственной частоте элементов текстуры.

Ключевые слова: Зрительные механизмы второго порядка, фильтрация изображений, текстура, пространственная модуляция, компьютерное моделирование

05.13.01 - Системный анализ, управление и обработка информации (по отраслям)

05.13.18 - Математическое моделирование, численные методы и комплексы программ

Введение

Обработка информации в зрительной системе млекопитающих может рассматриваться как последовательность операций анализа и синтеза, обеспечивающих формирование внутренних репрезентаций видимого мира. Эти репрезентации порождаются разными нейрональными структурами, отличаются степенью обобщённости своего содержания, варьирующего от отдельных свойств объекта до его целостных образов, и обеспечивают протекание психических процессов ощущения и восприятия.
Механизмы зрительной обработки, принципы формирования когнитивных блоков на разных её этапах занимают важное место в исследованиях, ведущихся в рамках наук о мозге и психике – физиологии сенсорных систем, психофизиологии, психологии. Вместе с тем сведения о них востребованы и в ряде областей технического знания, таких как обработка изображений и сигналов, распознавание образов, искусственный интеллект. Рассматриваемая в настоящей работе психофизиологически обоснованная модель может оказаться полезной для решения задач сегментации и оценки некоторых свойств изображений.

Психофизиологические предпосылки моделирования
Наиболее ранний, преимущественно аналитический этап зрительной обработки достаточно подробно изучен и формализован, что обеспечивает относительную простоту его моделирования. Видимая сцена на этом этапе представляется в виде набора первичных примитивов – локальных градиентов яркости, причём зрительная система различает их контраст на разных пространственных частотах (далее ПЧ) и ориентациях, сохраняя информацию об их пространственной локализации. Эти первичные примитивы могут использоваться мозгом при построении более сложных образов. Физиологическая основа этого этапа обработки обеспечивается функционированием нервных клеток сетчатки, наружного коленчатого тела таламуса и т.н. простых нейронов проекционной зрительной коры. Иными словами, на ранних этапах обработки зрительной информации мозг формирует дискретное описание видимой сцены средствами множества разнонастроенных и параллельно работающих каналов.
Различение человеком ПЧ и ориентации первичных примитивов обеспечивается избирательностью зрительных каналов, основанной на особенностях организации рецептивных полей (далее РП) формирующих эти каналы нейронов. Так, у человека описаны 6 пространственно-частотных психофизических каналов [1], характеризующихся следующими пиковыми значениями пропускания ПЧ: 0,5; 1; 2; 4; 8; 16 циклов/угл. град. Ширина полосы пропускания этих каналов на половине амплитуды составляет около 2 октав, причём полоса сужается по мере увеличения пиковой частоты. Так, для 0,5 она составляет 2,5 октавы, для 16 – 1,25 [2]. Известна также ширина полосы пропускания психофизического канала по ориентации, она оценивается примерно в 30 град. [3]. О числе ориентационных предпочтений зрительных психофизических каналов судить сложно, т.к. контрастная чувствительность человека примерно одинакова для разных ориентаций стимула [4]. Есть основания полагать, что существует минимум 6 предпочтительных ориентаций [3].
Функция каждого из этих каналов может быть смоделирована как операция линейной фильтрации; в качестве ядра фильтра часто используют двумерную функцию Габора [5]. Примеры импульсных характеристик таких фильтров показаны на рис. 1. Эта функция применяется в технике, например, при фильтрации цифровых изображений в задачах обнаружения краёв объектов [6], для представления электрофизиологических сигналов [7].
Психофизические каналы, осуществляющие выделение первичных при­митивов, принято именовать зрительными механизмами или фильтрами первого порядка (далее ЗФПП).

Рис. 1. Двумерная карта весовой функции РП простого нейрона первичной зрительной коры, чувствительного к: а – вертикально ориентированной линии; б – горизонтально ориентированной линии; в – вертикально ориентированной решётке; г – горизонтальному яркостному градиенту. Светлым показаны on-, тёмным – off-зоны. Веса рассчитаны как значения двумерной функции Габора (по [6]).

Существенной для текущего обсуждения особенностью ЗФПП является то, что они реагируют в ограниченной области, передавая сведения о локальных изменениях яркости (локальном контрасте). Результат их работы в непосредственном виде не содержит информации о пространственных изменениях локальных признаков (контраста, ориентации, ПЧ), которая, тем не менее, оказывается чрезвычайно важной для человеческого восприятия. Имевшие в прошлом место попытки объяснения целого ряда феноменов раннего паттернового зрения исключительно свойствами ЗФПП (например, на основании модели множественных детекторов) потерпели неудачу [8]. Одним из актуальных на настоящий момент подходов к интерпретации результатов экспериментов на восприятие стимулов, содержащих пространственные изменения  контраста, ориентации и ПЧ при постоянных средней яркости и цвете (признаки второго порядка), связан с применением модели «фильтрация-выпрямление-фильтрация» (далее ФВФ), называемой также линейно-нелинейно-линейной моделью.
ФВФ-модель и зрительные механизмы второго порядка
Оценка пространственных изменений (модуляций) контраста в изображении может основываться на операции выпрямления выходов ЗФПП, например, взятии выходного сигнала по модулю. Так, областям с высокой амплитудой изменений локального контраста будут соответствовать высокие значения выпрямленных выходов ЗФПП. Но локальный характер описания изображения при этом сохранится, поэтому логично допустить существование механизмов пространственной интеграции этих выходов. Такие механизмы принято именовать зрительными механизмами второго порядка. Функционально они, как и ЗФПП, являются фильтрами (вероятно, линейными), поэтому в моделях часто обозначаются как зрительные фильтры второго порядка (далее ЗФВП). Первоначально идеи о существовании ЗФВП выдвигались на основании данных психофизических экспериментов [9], в дальнейшем этим идеям были найдены нейрофизиологические и нейропсихологические подтверждения [10, 11]. Разработка моделей ЗФВП является частным случаем решения проблемы связывания [12].
Принцип работы ФВФ-модели показан на рис. 2. На первой стадии осуществляется свёртка входного изображения с наборами узкополосных линейных фильтров ряда пространственных шкал и ориентаций (ЗФПП). Выход первой стадии фильтрации подвергается нелинейным преобразованиям – как правило, полноволновому выпрямлению. ЗФВП имеют более крупные РП и объединяют нелинейно трансформированные выходы фильтров первого порядка.

Рис.  2. –   ФВФ-механизм и его реакция на контрастно-модулированный стимул (по [13]) .

И ЗФПП, и ЗФВП являются полосовыми фильтрами. Обращаем внимание читателя на то, что термин «порядок фильтра» в контексте обсуждаемых моделей буквально означает порядок включения фильтрующего механизма в последовательность операций обработки зрительной информации. Понимание термина существенно отличается от принятого в радио­электронике и близких к ней областях [14]. Так, порядок фильтра не связан с крутизной его АЧХ. Более того, есть основания полагать, что полосы  пропускания ЗФВП по ПЧ и ориентации даже несколько шире, чем у ЗФПП [3, 15], при этом центральные ПЧ ЗФВП существенно ниже таковых у ЗФПП.
Применяя фильтрацию второго порядка к выпрямленным выходам ЗФПП, можно выделять и/или оконтуривать области, содержащие изменения локального контраста разной амплитуды и частоты, обнаруживаемые ЗФПП и механизмами ректификации. Однако принятие такого подхода приводит нас к проблеме специфичности ЗФВП: объединение выходов каналов с определённой ориентационной и пространственно-частотной настройкой на ЗФВП будет вызывать довольно сильный ответ вне зависимости от типа пространственных изменений – будь то модуляция ориентации, пространственной частоты или контраста. Нужно сказать, что первоначально модели ЗФВП создавались как неспецифичные к типу модулируемого признака. Впервые проблему специфичности ЗФВП сформулировал Kingdom с соавт. [13], после чего последовал ряд работ, посвящённых её решению [см. 16 для обзора].
Результаты ряда психофизических исследований, проведённых в течение последнего десятилетия, указывают на независимость механизмов, обнаруживающих модуляции пространственной частоты, ориентации и контраста. Это потребовало пересмотра существующей модели ФВФ путём описания механизма работы обнаружителей стимулов второго порядка, специфичных к типу пространственно интегрируемого признака (модуляций ориентации, ПЧ и контраста).

Рис. 3. Пространственные модуляции текстуры по ПЧ (слева) и ориентации (справа).

На рис. 3 показана текстура, левая половина которой промодулирована по ПЧ, правая – по ориентации. Наше зрение позволяет без труда оценить особенности левой и правой половин изображения. Вместе с тем общепринятая (неспецифичная к типу интегрируемого признака) модель ЗФВП сделать это не может – ЗФВП обнаружат только сам факт присутствия пространственных модуляций определённой частоты и ориентации. Следовательно, если эта модель верна, должен существовать механизм более высокого порядка, позволяющий различать типы пространственных модуляций. Однако более логичным и экспериментально обоснованным будет допустить различение модуляций уже на уровне механизмов второго порядка.

Компьютерная реализация модели
Изменения, вносимые в общепринятую ФВФ-модель с целью решения проблемы специфичности ЗФВП, не меняют её общей структуры. Полностью сохраняется принцип двухстадийной фильтрации с промежуточной нелинейностью. Специфичность ЗФВП к модуляциям контраста достигается перестройкой входов ЗФВП (РП ЗФВП), а именно их тормозной части.
На возбудительный вход ЗФВП подаются выпрямленные выходы ЗФПП, настроенного только на одну ПЧ и ориентацию; тормозные фланги формируются выпрямленными выходами ЗФПП, настроенными на остальные ориентации и частоты. Общее количество ориентационных и пространственно-частотных предпочтений ЗФПП определяется на основании психофизиологических данных. Следствием такой организации РП является неизбирательность тормозных флангов к ориентации и ПЧ элементов текстуры. Текстуры, модулированные по ориентации или ПЧ, не снижают фланговое торможение и не будут активировать ЗФВП. Немодулированная текстура также не вызовет активацию фильтра, поскольку фланговое торможение превысит или окажется равным возбуждению. Однако увеличение контраста в центре и снижение его на флангах приведет к активации ЗФВП.
Рассмотрим подробности компьютерной реализации модели ЗФВП. Программа считывает входной графический файл и размещает в памяти его  яркостное представление, после чего рассчитываются импульсные характеристики всех требуемых ЗФПП исходя из требований к их пространственно-частотной и ориентационной избирательности.  Так, если требуется задействовать в модели 5 пространственно-частотных каналов первого порядка (например, с предпочтительной длиной периода в  44; 22; 11; 5,5; 2,75 пикселей), избирательных к 6 ориентациям (например, 0;30;60;90;120;150 градусов), будет рассчитано 5∙6=30 импульсных характеристик ЗФПП. Полосы пропускания фильтров по ПЧ и ориентации могут быть произвольно изменены, по умолчанию они составляют соответственно 2 октавы и 30 град.
Яркостное представление входного изображения подвергается «декомпозиции» на «слои», содержащие элементы разной ПЧ и ориентации, путём свёртки с каждым из полученных ядер. Так как размеры матриц значений ядер фильтров могут быть достаточно велики, с целью ускорения расчётов свёртка осуществляется в частотной области с использованием двумерного быстрого преобразования Фурье.
В качестве ядра ЗФВП в модели также используется двумерная функция Габора, удобная для описания оппонентной структуры РП. Нужно отметить, что это является существенно большим допущением, чем применение её для моделирования ЗФПП, однако не противоречит логике ФВФ-модели. Изображение на выходе ЗФВП (I) рассчитывается как поэлементная сумма свёрток (*) матрицы, содержащей положительные значения импульсной характеристики фильтра (G_p), с изображением, подаваемым на возбудительный вход(I_e), и матрицы, содержащей отрицательные значения импульсной характеристики фильтра(G_n), с изображением, подаваемым на тормозный вход (Ii):
I=[G_p * I_e] + [G_n * Ii].
Изображение I_e, подаваемое на возбудительный вход, представляет собой слой исходного изображения, выделенный в результате фильтрации в одном из каналов первого порядка. На тормозный вход ЗФВП подаётся фактически частично восстановленное путём объединения выделенных ЗФПП слоёв исходное изображение I_i. Для восстановления может использоваться произвольное число слоёв (по умолчанию все). Объединение может проводиться разными способами, по умолчанию в программе принято рассчитывать значение каждого пикселя восстановленного изображения как m-норму вектора, состоящего из пикселей всех объединяемых слоев с теми же координатами, что и восстанавливаемый. Таким образом, в изображение, подаваемое на тормозный вход, попадут максимально яркие точки.
Важным аспектом модели, касающимся объединения выходов ЗФПП на ЗФВП, является соотношение их ориентационных и пространственно-частотных настроек [17, 18]. На основании ранее полученных психофизиологических данных в программе приняты следующие умолчания: ориентации ЗФПП и ЗФВП совпадают, предпочтительная ПЧ ЗФПП в 8 раз выше таковой ЗФВП, что соответствует оптимальному для человеческого восприятия соотношению частот несущей и огибающей в модулированной по контрасту текстуре. Ширина полосы пропускания ЗФВП по ориентации составляет 30 град., но она может быть произвольно изменена.
Программа была протестирована на текстурах, модулированных по контрасту, ориентации и ПЧ, применявшихся ранее в психофизических экспериментах [15, 16]. Действительно, программная реализация модели ЗФВП, специфичных к модуляциям контраста, позволяет обнаруживать в текстуре пространственные модуляции контраста (рис. 4), причём реакция на пространственные модуляции ориентации и ПЧ подавляется благодаря фланговому торможению.

Рис. 4. Модулированная по контрасту текстура (слева) и реакция модели на неё (справа). Яркие полосы соответствуют областям, содержащим элементы с контрастом выше среднего.

Следует отметить, что использованный нами подход к моделированию специфичности ЗФВП не является единственно возможным. Так, ранее Kingdom с соавт. [13] предложил модель специфичности механизмов, чувствительных к модуляции ориентации и ПЧ, в которой вводится дополнительная стадия нормализации контраста после выпрямления. Обнаружение модуляций контраста осуществляется механизмом с традиционной ФВФ-организацией, демонстрирующим максимальную реакцию именно на модуляции контраста. Подход предполагает существование этапа выбора зрительной системой того обнаружителя, который наиболее чувствителен к предъявленным модуляциям.
По нашему мнению, модель специфичности, основанная на неизбирательности тормозных флангов ЗФВП, по своей логике является более «экономичной» по сравнению с моделью с контрастно-нормализованными входами. Кроме того, она проще объясняет отсутствие взаимодействия контрастно-модулированных текстур и стимулов, модулированных по ПЧ и ориентации, в наших опытах с адаптацией и маскировкой [16, 19].
Программа написана на языке Фортран 2003 с использованием  функций библиотеки FFTW3 [20] и может быть откомпилирована для большинства современных вычислительных платформ, причём  имеется возможность эффективного распараллеливания отдельных участков кода. Программа имеет интерфейс командной строки и не обращается к средствам вывода в графическую консоль, сохраняя результаты работы в растровый файл. Она предназначена прежде всего для решения исследовательских задач в области психофизиологии зрительного восприятия, но может быть использована и как средство компьютерной графики, позволяя выявлять на изображении области с определённой амплитудой перепадов контраста для разных пространственных частот и ориентаций. В последнем случае количество выполняемых программой расчётов может быть значительно сокращено без существенных изменений результата за счёт отказа от полной «декомпозиции» и частичного восстановления входного изображения при формировании тормозного входа ЗФВП. На тормозный вход ЗФВП может быть подано исходное неотфильтрованное изображение.
Работа выполнена при финансовой поддержке РГНФ в рамках научно-исследовательского проекта № 12-06-00169/13.

Литература

1. Wilson H.R., Gelb D.J. Modified line-element theory for spatial-frequency and width discrimination [Текст] // J. Opt. Soc. Am. A. 1984. Vol. 1, no. 1. P. 124–131.
2. Wilson H.R., McFarlane D.K., Phillips G.C. Spatial frequency tuning of orientation selective units estimated by oblique masking [Текст] // Vision Res. 1983. Vol. 23, no. 9. P. 873–882.
3. Ellemberg D., Allen H.A., Hess R.F. Second-order spatial frequency and orientation channels in human vision [Текст] // Vision Res. 2006. Vol. 46, no. 17. P. 2798–2803.
4. Olzak L.A., Thomas J.P. Seeing spatial patterns // Handbook of perception and human performance [Текст] / Ed. by K.R. Boff, L. Kaufman, J.P. Thomas. New York: Wiley. 1986. Vol. 1. Chapter 7.
5. Daugman J.G. Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters [Текст] // J. Opt. Soc. Am. A. 1985. Vol. 2, no. 7. P. 1160–1169.
6. Grigorescu C., Petkov N., Westenberg M.A. Contour detection based on nonclassical receptive field inhibition [Текст] // IEEE Trans. Image Processing. 2003. Vol. 12, no. 7. P. 729–739.
7. Тарасова И.А., Леонова А.В., Синютин С.А. Алгоритмы фильтрации сигналов биоэлектрической природы [Электронный ресурс] // Инженерный вестник Дона. 2012.  №4, ч. 2. – Режим доступа: http://ivdon.ru/magazine/archive/n4p2y2012/1481 (доступ свободный) – Загл. с экрана. – Яз. рус.
8. Graham N.V. Beyond multiple pattern analyzers modeled as linear filters (as classical V1 simple cells): Useful additions of the last 25 years [Текст] // Vision Res. 2011. Vol. 51, no. 13. P. 1397–1430.
9. Henning G.B., Hertz B.G., Broadbent D.E. Some experiments bearing on the hypothesis that the visual system analyses spatial patterns in independent bands of spatial frequency [Текст] // Vision Res. 1975. Vol. 15, no. 8-9. P. 887–897.
10. Mareschal I., Baker C.L.Jr. Temporal and spatial response to second-order stimuli in cat area 18 [Текст] // J. Neurophysiol. 1998. Vol. 80, no. 6. P. 2811–2823.
11. Vaina L.M., Makris N., Kennedy D., Cowey A. The selective impairment of the perception of first-order motion by unilateral cortical brain damage [Текст] // Vis. Neurosci. 1998. Vol. 15, no. 2. P. 333–348.
12. Миняева Н.Р. Вызванная активность мозга при восприятии фигур Канизса [Электронный ресурс] // Инженерный вестник Дона. 2012.  №4, ч. 1. – Режим доступа: http://ivdon.ru/magazine/archive/n4p1y2012/1131 (доступ свободный) – Загл. с экрана. – Яз. рус.
13. Kingdom F.A.A., Prins N., Hayes A. Mechanism independence for texture-modulation detection is consistent with a filter-rectify-filter mechanism [Текст] // Vis. Neurosci. 2003. Vol. 20, no. 1. P. 65–76.
14. Крутчинский С.Г., Устинова Е.С., Будяков П.С., Прокопенко Н.Н.  Высокочастотные полосовые RC фильтры на повторителях тока [Электронный ресурс] // Инженерный вестник Дона. 2012.  №4, ч. 2. – Режим доступа: http://ivdon.ru/magazine/archive/n3y2012/1035 (доступ свободный) – Загл. с экрана. – Яз. рус.
15. Babenko V.V., Yavna D.V., Soloviev A.A., Miftakhova M.B. Spatial selectivity of visual mechanisms sensitive to contrast modulation [Текст] // Journal of Optical Technology. 2011. Vol. 78, no. 12. P. 771–776.
16. Явна Д.В. Исследование специфичности зрительных механизмов второго порядка в психофизической парадигме адаптации [Текст] // Известия Выс­ших учебных заведений. Северо-Кавказский регион. Общественные науки. 2012. № 6. С. 112–117.
17. Бабенко В.В., Ермаков П.Н., Божинская М.А. Соотношение пространствен­но-частотных настроек зрительных фильтров первого и второго порядка [Текст] // Психологический журнал. 2010. Т. 31, № 2. С. 48–57.
18. Бабенко В.В. Зрительные механизмы, избирательные к общей протяженности периодического паттерна [Текст] // Физиология человека. 1999. Т. 25. № 2. С. 30.
19. Babenko V., Yavna D. Specificity of the visual second-order mechanisms [Текст] // Perception. Supplement. 2008. Vol. 37. P. 78.
20. Frigo M., Johnson S.G. The Design and Implementation of FFTW3 [Текст] // Proceedings of the IEEE. 2005. Vol. 93, no. 2. P. 216–231.