Борискевич А.А. Цифровая обработка речи и изображений

529kb. 28.04.2007 17:38 985kb. 28.04.2007 17:39 1022kb. 28.04.2007 17:42

тема10.doc

Тема 10. Предварительная обработка изображений (2 часа) .

10.1 Фильтрация изображений

Обычно изображения, сформированные различными информационными системами, искажаются действием помех. Это затрудняет как их визуальный анализ человеком-оператором, так и автоматическую обработку в ПЭВМ. При решении некоторых задач обработки изображений в роли помех могут выступать и те или иные компоненты самого изображения. Например, при анализе космического снимка земной поверхности может стоять задача определения границ между ее отдельными участками - лесом и полем, водой и сушей и т.п. С точки зрения этой задачи отдельные детали изображения внутри разделяемых областей являются помехой.

Ослабление действия помех достигается фильтрацией. При фильтрации яркость (сигнал) каждой точки исходного изображения, искаженного помехой, заменяется некоторым другим значением яркости, которое признается в наименьшей степени искаженным помехой. Что может послужить основой для таких решений? Изображение часто представляет собой двумерную функцию пространственных координат, которая изменяется по этим координатам медленнее (иногда значительно медленнее), чем помеха, также являющаяся двумерной функцией. Это позволяет при оценке полезного сигнала в каждой точке кадра принять во внимание некоторое множество соседних точек, воспользовавшись определенной похожестью сигнала в этих точках. В других случаях, наоборот, признаком полезного сигнала являются резкие перепады яркости. Однако, как правило, частота этих перепадов относительно невелика, так что на значительных промежутках между ними сигнал либо постоянен, либо изменяется медленно. И в этом случае свойства сигнала проявляются при наблюдении его не только в локальной точке, но и при анализе ее окрестности. Заметим, что понятие окрестности является достаточно условным. Она может быть образована лишь ближайшими по кадру соседями, но могут быть окрестности, содержащие достаточно много и достаточно сильно удаленных точек кадра. В этом последнем случае, конечно, степень влияния далеких и близких точек на решения, принимаемые фильтром в данной точке кадра, будет совершенно различной.

Таким образом, идеология фильтрации основывается на рациональном использовании данных как из рабочей точки, так и из ее окрестности. В этом проявляется существенное отличие фильтрации от рассмотренных выше поэлементных процедур: фильтрация не может быть поэлементной процедурой обработки изображений.

Задача заключается в том, чтобы найти такую рациональную вычислительную процедуру, которая позволяла бы достигать наилучших результатов. Общепринято при решении этой задачи опираться на использование вероятностных моделей изображения и помехи, а также на применение статистических критериев оптимальности. Причины этого понятны - это случайный характер как информационного сигнала, так и помехи и это стремление получить минимальное в среднем отличие результата обработки от идеального сигнала. Многообразие методов и алгоритмов связано с большим разнообразием сюжетов, которые приходится описывать различными математическими моделями. Кроме того, применяются различные критерии оптимальности, что также ведет к разнообразию методов фильтрации. Наконец, даже при совпадении моделей и критериев очень часто из-за математических трудностей не удается найти оптимальную процедуру. Сложность нахождения точных решений порождает различные варианты приближенных методов и процедур.
^ Оптимальная линейная фильтрация. Уравнение Винера-Хопфа. Пусть - значение яркости изображения - полезного сигнала на пересечении -ой строки и -го столбца, а наблюдаемое на входе фильтра изображение описывается моделью:

Здесь - значение помехи в точке с координатами ,
- функция, описывающая взаимодействие сигнала и помехи, а и - соответственно число строк и столбцов в кадре.

В дальнейшем будем придерживаться принятой при цифровой обработке изображений декартовой системы координат с началом в левом верхнем углу кадра и с положительными направлениями из этой точки вниз и вправо. На рис. 10.1 показаны примеры окрестностей различных типов, изображенные в виде совокупностей точек. Центром окрестностей, рабочей точкой, в которой осуществляется обработка, является точка с координатами (на рис. 3.1 не зачернена). В зависимости от типа окрестности различают каузальную, некаузальную и полукаузальную фильтрацию изображений. Понятие


а)	б)	в)
Рис. 10.1 Примеры окрестностей различных видов

каузальности (причинно-следственной зависимости) связывают с соотношением координат текущей точки и точек, входящих в окрестность. Если обе координаты (номер строки и номер столбца) всех точек окрестности не превышают соответствующих координат текущей точки, то окрестность и использующая ее обработка называются каузальными. Пример такой окрестности представлен на рис. 10.1.а.

Некоторые точки окрестности, приведенной на рис. 10.1.б, удовлетворяют принципу каузальности. Вместе с тем, здесь имеются и такие точки, обе координаты которых превышают соответствующие координаты рабочей точки. Фильтрация, опирающаяся на использование окрестностей с сочетанием таких свойств, называется некаузальной.

Окрестности, показанной на рис. 10.1.в, соответствует полукаузальная фильтрация. Одна из координат всех точек окрестности - в данном примере номер строки - не превышает соответствующей координаты рабочей точки. Вторая же координата - в примере номер столбца - у некоторых точек также не превышает соответствующей координаты рабочей точки. Однако среди точек окрестности имеются и такие, у которых эта вторая координата превышает соответствующую координату рабочей точки.

Смысл, заложенный в данную классификацию, состоит в том, что, согласно принципу причинности, на формирование отклика физически осуществимого фильтра не могут оказывать влияния элементы входного сигнала, не поступившие к моменту формирования выходного отсчета. Этот принцип естественным образом «работает» в динамических системах, где все происходящие в них процессы являются временными процессами. При цифровой обработке изображений часто приходится иметь дело с ранее сформированными изображениями, уже хранящимися в памяти устройства обработки. В этом смысле соотношение координат, строго говоря, уже не играет такой принципиальной причинной роли, как при обработке сигналов в реальном масштабе времени. Вместе с тем, традиционно сложилась описанная выше классификация процедур обработки изображений, которой, в определенной мере, будем придерживаться и мы в последующем изложении.

При линейной фильтрации выходной эффект определяется линейной комбинацией входных данных:

В этом выражении - результат фильтрации полезного сигнала в точке кадра с координатами ; - множество точек (точнее - множество их координат), образующих окрестность; - весовые коэффициенты, совокупность которых представляет собой двумерную импульсную характеристику (ИХ). Если область конечна, то импульсная характеристика имеет конечную длину и фильтр называется КИХ-фильтром. В противном случае импульсная характеристика имеет бесконечную длину, а фильтр название БИХ-фильтра. В выражении (10.2) принято, что ИХ не зависит от координат точки , в которой определяется выходной эффект. Процедуры обработки изображений, обладающие свойством независимости от координат, называются однородными.

Наиболее распространенным критерием оптимальности, применяемым для оценки качества обработки, является критерий минимума среднего квадрата ошибок. Применительно к фильтрации запишем его выражение в виде:

, (10.3)

Где
- символ математического ожидания. Согласно (10.3) отыскание оптимального фильтра заключается в определении его ИХ таким образом, чтобы средний квадрат ошибки , выражающей различие между сигналом и оценкой , формируемой фильтром, был минимальным. Математическое ожидание вычисляется по всем случайным величинам, содержащимся в (10.3), что означает ориентацию критерия на учет средних ошибок.

Оптимизационную задачу (10.3) нетрудно свести к решению уравнения или системы уравнений. Для этого вычислим производную от левой части этого выражения по коэффициенту и приравняем ее нулю. Учитывая, что операции дифференцирования, суммирования и математического ожидания являются линейными и поэтому перестановочны, приходим к выражению:

Входящие в него математические ожидания являются, как нетрудно видеть, отсчетами корреляционных функций, для которых введем следующие обозначения:

С их учетом (3.4) примет более компактный вид:

Считая автокорреляционную
и взаимно корреляционную
функции известными, замечаем, что (10.5) представляет собой линейное относительно искомых коэффициентов алгебраическое уравнение. Число неизвестных в этом уравнении равняется числу точек в окрестности и является конечным в случае КИХ-фильтра и бесконечным при БИХ-фильтрации. Ограничимся в данном параграфе рассмотрением КИХ-фильтрации. Линейное алгебраическое уравнение со многими неизвестными имеет бесконечное множество решений. Если повторить дифференцирование (10.3) по остальным неизвестным, то получим еще уравнений, отличающихся друг от друга левыми частями и коэффициентами в правых частях, т.к. определяющие их корреляции вычисляются каждый раз в различных точках. В результате образуется система линейных алгебраических уравнений с неизвестными, называемая в теории фильтрации уравнением Винера-Хопфа :

(10.6)

Если разрешить ее относительно всех неизвестных , то будет найдена искомая импульсная характеристика линейного фильтра, минимизирующего средний квадрат ошибок фильтрации.

Определим средний квадрат ошибок оптимальной фильтрации. Для этого необходимо выполнить возведение в квадрат в выражении (10.3) и учесть в полученном выражении уравнение Винера-Хопфа (10.6). В результате нетрудно получить:

, (10.7)

Где - средний квадрат ошибок фильтрации.

Остановимся на анализе изменения средней яркости изображения при его фильтрации. Вычислив математическое ожидание от обеих частей (10.2), находим:

, (10.8)

Где принято, что средняя яркость входного изображения не зависит от координат и, как результат, получено, что и средняя яркость выходного изображения
также постоянна во всех точках кадра. Очень часто при обработке стремятся сохранить среднюю яркость изображения. Как следует из полученного выражения, достичь этого удается при выполнении равенства

, (10.9)

Которое является дополнительным требованием к импульсной характеристике фильтра. Поэтому оптимизационную задачу (10.3) необходимо решать с учетом данного ограничения типа равенства.

Вместо этого часто перед фильтрацией осуществляют вычитание средней яркости из входного изображения. Как следует из (10.8), среднее значение яркости на выходе фильтра при этом также равно нулю независимо от свойств импульсной характеристики. Это позволяет решать систему уравнений (10.6), игнорируя преобразование средней яркости. Желаемое же ее значение восстанавливается после фильтрации простым прибавлением к выходному эффекту.

^ Масочная фильтрация изображений при наличии аддитивного белого шума. Распространенным видом помехи является белый шум, аддитивно воздействующий на изображение. Наблюдаемое в этом случае изображение (10.1) имеет вид:

А корреляционная функция шума описывается выражением:

Здесь – дисперсия шума, а - символ Кронекера. Считаем, что входной сигнал центрирован, т.е. имеет нулевое математическое ожидание, а изображение и шум взаимно независимы, поэтому для корреляционной функции входного сигнала справедливо:

Где - дисперсия, а - нормированная корреляционная функция полезного сигнала. Нетрудно видеть, что в этих условиях взаимная корреляционная функция совпадает с корреляционной функцией полезного сигнала . Поэтому уравнение Винера -Хопфа (3.6) приводится к виду:

, (10.11)

Где - отношение дисперсий сигнала и шума.

Преобразуем также выражение (10.7) для ошибок фильтрации, для чего запишем в явном виде то из уравнений в (10.11), которое соответствует значениям : , откуда находим:

. Сравнивая это соотношение с (10.7), окончательно получаем:

Где - относительный средний квадрат ошибок фильтрации. Таким образом, для определения ошибок фильтрации необходимо знать отношение сигнал/шум (которое входит также и в уравнение Винера-Хопфа) и значение оптимальной импульсной характеристики в точке (0,0).

Для того чтобы при решении уравнения (10.11) воспользоваться существующими программными средствами ЭВМ, необходимо выполнить его упорядоченное преобразование к каноническому векторно-матричному виду. Для этого требуется совокупность неизвестных величин представить в виде вектора . Точно также множество величин, образующих левые части (10.11), следует представить в виде вектора , а множество коэффициентов правой части в виде матрицы размера . Тогда уравнение и его решение примут вид:

В практике цифровой обработки изображений широко используется масочная фильтрация. Ее линейная разновидность является одним из вариантов двумерной КИХ-фильтрации. В качестве маски используется множество весовых коэффициентов, заданных во всех точках окрестности , обычно симметрично окружающих рабочую точку кадра. Распространенным видом окрестности, часто применяемым на практике, является квадрат 33 с рабочим элементом в центре, изображенный на рис. 10.1.б. Применяют различные разновидности масок, одним из эвристических вариантов является равномерная маска, все девять весовых коэффициентов которой равны 1/9. Такой выбор коэффициентов отвечает условию сохранения средней яркости (10.9) и поэтому в процессе обработки центрировать изображение не требуется.

Визуально эффективность фильтрации можно оценить с помощью рис.10.2. На рис. 10.2.а показан зашумленный портрет (изображение без шума приведено на рис. 9.3.а) при отношении сигнал/шум равном -5дБ. Результат масочной фильтрации при оптимальном виде ИХ, найденной из (10.11), приведен на рис.10.2.б. Результат фильтрации, выполненной равномерным масочным оператором не приводится, поскольку с визуальной точки зрения он мало отличается от рис.10.2.б. При этом, однако, с количественной точки зрения различия достаточно заметны: если при оптимальной КИХ относительная ошибка , то при равномерной КИХ она возрастает почти на 30% и составляет . Различие резко возрастает при более высоком уровне шума. Так, например, при отношении сигнал/шум равном -10дБ имеем и , т.е. применение равномерной КИХ вместо оптимальной приводит в этом случае к увеличению ошибок более чем вдвое.

Здесь полезно отметить определенное разногласие в оценках качества, даваемых человеческим глазом и применяемыми количественными показателями. Глаз является слишком совершенным изобретением природы, чтобы с ним могли соревноваться достаточно примитивные математические показатели типа среднего квадрата ошибок. Поэтому некоторые результаты, рассматриваемые с точки зрения математических показателей как катастрофические, визуально могут быть вполне удовлетворительными. Означает ли это, что математические критерии вообще непригодны при цифровой обработке изображений? Конечно, нет. Цифровая обработка изображений находит применение в различных информационных системах с автоматическим принятием решений, основанным на этой обработке.

Функционирование таких систем, где отсутствует человеческий глаз, полностью подчинено математическим критериям и качество их работы оценивается только математическими показателями. Понятно, что и качество изображений, используемых в этих системах, также должно оцениваться только математическими критериями.

В заключение данного параграфа подчеркнем, что в целом применение описанных процедур фильтрации приводит к существенному снижению уровня шума на изображении. Количественно эффективность данной обработки можно охарактеризовать коэффициентом улучшения отношения сигнал/шум , где учтено, что величина определяет отношение сигнал/шум после фильтрации. Улучшение зависит от уровня шума на исходном изображении и составляет в приведенном эксперименте при дБ и при дБ. Коэффициент улучшения тем выше, чем сильнее шум на исходном изображении.
^ Рекуррентная каузальная фильтрация изображений. Проблема борьбы с шумом не решается полностью применением масочных фильтров по следующим причинам. Во-первых, ограниченность размера окрестности, используемой масочным фильтром, приводит к его потенциально ограниченной способности к подавлению шума. Это проявляется при значительном уровне шума на изображении - в меньшей степени при оптимальном выборе КИХ, сильнее при неоптимальной КИХ. Можно, конечно, увеличивать размер окрестности, прибегая к использованию КИХ-фильтров с более длинными импульсными характеристиками. Однако при этом усиливается второй недостаток масочного фильтра, состоящий в его и без того достаточно высокой вычислительной трудоемкости.

В настоящее время отсутствуют методы двумерной фильтрации, в которых сочетаются предельно достижимое качество фильтрации и низкие требования к вычислительным ресурсам ЭВМ, реализующей обработку. Существует много подходов к решению данной проблемы, но все они для достижения компромисса между точностью и реализуемостью прибегают к тем или иным приближениям. Рассмотрим один из них.

Идея заключается в использовании двумерного БИХ-фильтра с таким видом импульсной характеристики, при которой его практическая реализация была бы простой, и с такими параметрами этой импульсной характеристики, при которых эффективность фильтрации приближалась бы к потенциально возможной. Создать фильтр с такими свойствами удается на основе аналогии с одномерным фильтром Калмана.

Наиболее простым примером одномерной фильтрации является калмановская фильтрация однородной стационарной гауссовской последовательности, имеющей корреляционную функцию экспоненциального вида

Здесь - дисперсия последовательности, а - коэффициент ее одношаговой корреляции, определяемый параметром , имеющим смысл ширины спектра последовательности. При ее наблюдении на фоне гауссовского белого шума оптимальный каузальный фильтр реализуется рекуррентным алгоритмом, который в стационарном (установившемся) режиме фильтрации имеет вид:

Нетрудно установить, что импульсная характеристика этого фильтра имеет экспоненциальный вид:

Где - параметр, лежащий в пределах , и получивший название коэффициента усиления фильтра Калмана. Первое слагаемое в алгоритме (10.12) определяет вклад в оценку сигнала на текущем -м шаге фильтрации, вносимый оценкой предыдущего шага, и называется одношаговым прогнозом. Второе учитывает влияние текущего наблюдения и называется новой информацией. Коэффициент усиления определяет чувствительность фильтра к этой новой информации. При высоком уровне шума параметр приближается к нулю. При этом, кроме общего снижения ИХ, увеличивается параметр , приближаясь к единице. Это означает удлинение импульсной характеристики и, следовательно, сужение полосы пропускаемых фильтром частот. Очевидно, эти свойства ИХ способствуют эффективной фильтрации шума. При снижении шума, наоборот, стремится к единице, - к нулю, что соответствует расширению полосы частот до бесконечности. Здесь уместно отметить, что фильтрация не только ослабляет действие шума, но, к сожалению, и вносит так называемые динамические искажения в полезный сигнал. Механизм этих искажений очень прост и заключается в неравной передаче на выход фильтра различных спектральных компонент сигнала. Фильтр Калмана “ведет себя” вполне разумно, когда при исчезновении шума на входе расширяет полосу пропускаемых частот до бесконечности, поскольку именно при этом условии исчезают и динамические ошибки фильтрации.

Отталкиваясь от (3.13) как от одномерного аналога, будем находить двумерную БИХ для каузальной фильтрации изображений от некоррелированного шума в виде двумерной экспоненты:

Здесь, как и в случае одномерного фильтра, - коэффициент одношаговой корреляции изображения по строке и по столбцу, которые будем здесь считать одинаковыми. Для определения параметра (или ), остающегося единственным неизвестным параметром двумерного фильтра, воспользуемся уравнением Винера-Хопфа в форме (3.4), переписав его в виде:

Замечая, что выражение в круглых скобках является ошибкой фильтрации, представим эту формулу в виде:

. (10.15)

Смысл данного выражения состоит в том, что при оптимальной линейной фильтрации ошибка ортогональна всем элементам наблюдаемых данных, используемых при фильтрации. Но тогда нетрудно убедиться и в ортогональности ошибки и результата фильтрации (получаемой оценки)

, (10.16)

Для чего достаточно вычислить левую часть этого выражения с учетом (10.2) и (10.15).

Для дальнейшего необходимо воспользоваться в (10.16) принятым представлением импульсной характеристики (10.14), в результате данное соотношение превращается в уравнение относительно искомого параметра . В него входят корреляционная функция сигнала и взаимно-корреляционная функция сигнала и наблюдаемых данных. Поэтому необходимо конкретизировать корреляционную функцию сигнала, в качестве которой воспользуемся биэкспоненциальным представлением:

. (10.17)

С учетом этого, считая, что кадр имеет бесконечные размеры (это позволяет принять бесконечными соответствующие пределы суммирования в (10.2), можно получить следующее алгебраическое уравнение

(10.18)
относительно параметра , численное решение которого не представляет проблемы. Анализируя (3.18), легко заметить, что при это уравнение

Удовлетворяется при , а при его решением является . Эти предельные значения можно интерпретировать как изменения частотно-полосовых характеристик двумерного фильтра, аналогичные поведению параметров фильтра Калмана в подобных предельных ситуациях.

Подставив в (10.7) выражения ИХ (10.14) и корреляционной функции (10.17), можно получить следующую формулу для среднего квадрата ошибок фильтрации:

Рекуррентный характер алгоритма (10.19) является важным положительным качеством рассматриваемого фильтра. Как следует из (10.19), его работа требует выполнения на каждом шаге обработки всего трех операций умножения и трех суммирования, причем структура алгоритма универсальна и, в частности, не зависит от отношения сигнал/шум. Для сравнения, масочный фильтр с размером окрестности 33 элементов требует выполнения на каждом шаге при общем виде КИХ девяти умножений и восьми суммирований. Таким образом, по количеству операций рекуррентный фильтр выигрывает у простейшего масочного практически в три раза. Очевидно, что попытка улучшить качество фильтрации масочным фильтром за счет увеличения размера применяемой окрестности приводит к увеличению числа операций и дальнейшему увеличению его проигрыша по этой характеристике.

При фильтрации реальных изображений ограниченного размера возникает граничная проблема получения оценок в точках нулевой строки и нулевого столбца. Естественным решением является использование здесь обычной (одномерной) калмановской фильтрации.

Пример применения описанного двумерного фильтра показан на рис. 10.3, где представлен результат эксперимента с тем же портретом и при том же отношении сигнал/шум -5 дБ, что и при испытании масочного фильтра.

Поэтому здесь не приводится показанное на рис.10.2.а входное изображение с шумом. Результат двумерной рекуррентной фильтрации представлен на рис.10.3.а, а на рис.10.3.б для сравнения повторен результат оптимальной масочной фильтрации (рис.10.2.б). Визуальная оценка говорит в пользу двумерного рекуррентного фильтра, поскольку уровень остаточного шума на рис.10.3.а ниже. Сравнение по среднему квадрату ошибок совпадает с субъективной оценкой: величина при масочной фильтрации составляет, как говорилось ранее, 0.309, а при двумерной рекуррентной - 0.29. Различие заметно усиливается при более высоком уровне шума. Так, при отношении сигнал/шум -10 дБ имеем соответственно равным 0.57 и 0.43.

Необходимо отметить, однако, следующее. Вместе с уменьшением уровня шума при двумерной рекуррентной фильтрации наблюдается более значительная утрата резкости обработанного изображения. Это является проявлением упоминавшихся выше динамических искажений, более сильных при бесконечной импульсной характеристике, чем при конечной.

Во-вторых, рассмотренный двумерный фильтр не является абсолютно оптимальным, поскольку его структура определена волевым решением при выборе ИХ в виде (10.14). Поэтому и получаемое при его помощи ослабление шума не является предельным.

^ Применение фильтра Винера для некаузальной двумерной фильтрации. Потенциально наилучшие результаты обработки изображения, в частности, результаты фильтрации, достигаются при использовании некаузального принципа, поскольку этот принцип основан на применении абсолютно всех исходных данных при обработке каждой точки кадра. Понятно, что при рациональном использования этих данных получаемый эффект максимален. Одним из известных вариантов линейной некаузальной фильтрации изображений является фильтр Винера. Его применение связано с предположением о стационарности изображения. Поскольку наличие краев изображения служит нарушением стационарности, то винеровская фильтрация, не является строго оптимальной. Однако при размерах кадра, значительно превышающих интервал корреляции изображения, влияние границ является малым. Эти соображения служат важным стимулом к применению винеровской фильтрации для борьбы с шумом.

Технически фильтр Винера реализуется при помощи дискретного преобразования Фурье в частотной области . Поэтому, прежде чем рассматривать уравнение Винера-Хопфа, которое остается методологической основой фильтрации помех и в этом случае, нам необходимо познакомиться с двумерным дискретным преобразованием Фурье (ДПФ), некоторыми его свойствами и принципами линейной фильтрации на основе ДПФ.
^ 10.2 Двумерное дискретное преобразование Фурье

Обозначим через (10.20)

Двумерное поле (двумерный сигнал), описывающее дискретное изображение размера строк и столбцов. Вне указанных границ этот сигнал не определен. Выполним периодическое продолжение данного финитного сигнала, введя двумерный периодический сигнал

. (10.21)

Если сигнал существует только внутри прямоугольника со сторонами элементов

Мы полагаем, что на практике наиболее широко применимым метопом деконволюции слелуегг считать мультипликативный метод винеровской фильтрации (см. § 16). Рассматриваемый здесь пример иллюстрирует различные практические аспекты винеровской фильтрации с применением некоторых методов предварительной обработки, описанных в § 15.

На рис. 3, а показан фрагмент изображения а из примера 1. Здесь мы принимаем изображение а за истинное изображение (см. § 4, первый абзац). Предположим теперь, что этот фрагмент фотографируется несфокусированной камерой, так что получается искаженное изображение с которой свертывается изображение а для получения изображения имеет форму однородного кружка (см. табл. 1.1) диаметром 15 элементов, что соответствует изображению а на рис. 2 в примере 2. Допустим, что, если не считать несфокусированности объектива, получаемые нами фотографии имеют столь высокое качество, что на искаженном изображении в имеется только шум квантования, связанный с восьмиразрядной точностью дискретизации. Далее мы покажем, что такое практически незашумленное исходное идеальное искаженное изображение [см. определения (3.4) и Изображение - это полный искаженный вариант изображения а. Последнее содержит 242 х 242 элементов, тогда как изображение состоит из 256 х 256 элементов. Поскольку диаметр ФРТ равен 15 элементам, максимальное горизонтальное (или вертикальное) размытие каждой точки на изображении а составляет 7 элементов слева и справа (или нверх и вниз), чем и объясняется, что изображение имеет на 14 элементов больше, чем изображение а, как в горизонтальном, так и в вертикальном направлениях. Поскольку изображение является «незашумленным», можно без труда практически идеально восстановить изображение а методом винеровской фильтрации. Отмстим, что «полнота» изображения имеет даже более существенное значение, чем отсутствие зашумленности. Различные виды искаженных изображений, которые встречается в практических приложениях, всегда записаны в кадрах конечных размеров, так что информация, содержащаяся в «заданном» искаженном изображении, всегда как-то «обрезана» вблизи границ. При попытках восстановить истинное изображение, исходя из усеченного искаженного изображения, мы обычно встречаемся со значительными трудностями.

Тэперь предположим, что вместо изображения у нас имеется изображение 6, состоящее из центральных 228 х 228 элементов изображения Резкое усечение по внешней границе изображения в сводят на нет процедуры восстановления, если не принять соответствующих мер. На практике эти краевые эффекты оказываются даже более

(кликните для просмотра скана)

важными, чем зашумленность изображения. Поэтому качество восстановленных изображения, полученных на основе изображения я, незначительно изменилось бы, если бы мы добавили к последнему некий реальный уровень шума. (Конечно, нам ничего не стоило добавить шум к изображению и, но тогда нам пришлось бы кшорить о влиянии уровня шума, что сильно увеличило бы объем данного примера. Читатель, у которого возннка сомнения по поводу того, что эффект усечении можез быть более существенным, чем влияние шума в реальных искаженных изображениях, может обратиться к литературе. указанной в вволных замечаниях к данной главе).

Изображения и демонстрируют, что происходит, когда винерозекан фильтрации осуществляется без отмеченных мер предосторожности (т. е. без предварительной обработки. рассматриваемо» в § 15). Величина введенная в формуле (16.5), предполагается постоянной, т. е. равной константе фильтра которая введена после формулы (16.8). При получении изображений гид были взяты жачення константы равные 0.0009 и 0,01. Артефакты в виде «ряби» и низкая четкость «восстановленных» деталей типичны для искаженных изображений, подвергнутых винеровской фильтрации без предварительной обработки. Эти два изображения позволяют сделать еще один важный практический вывол: качество восстановленного изображения в какой-то мере зависит от взятого значения константы

Отмстим олин вычислительный момент практического характера, связанный к изображениями Поскольку винсровская фильтрация оенпнанз на преобразовании Фурье, для экономии машинного времени приходится прибегать к алгоритму БПФ (см. § 12 и пример 2). Для этого нужно, чтобы изображения, которые трубуется фильтровать. состояли из элементов, где целое положительное число. Мы могли бы «дополнить нулями» изображение в [см. § 12, перед абэаием, содержащим формулы (12.14) - (12.17)]. Но мы предпочли «участить» его методом билинейной интерполяции (см. § 45 и текст, относящийся к формуле (47.1)]. гак чтобы и нем было элементов. После вннеровскон фильтрации «частота» каждого восстановленного изображения (т. е. была снопа уменьшена до элементов.

Прежде чем демонстрировать выгоды предварительной обработки, рассмотрим кадра которые определены в § 15 и представлены на рис. 3. о. Кадр это кадр записи, в пределах которого существует фактически записанное изображение (см. § 4). В нашем примере кадр из 228 х 228 элементов, содержащий изображение в. Иногда оказывается удобным считать, что имеется некое «исходное изображение». лишь частью которого является рассматриваемое истинное изображение (т. е. в нашем примере изображение а). Но если фактически записанное изображение есть все, что нам известно, то мы можем получить какую-либо информацию только о той части исходного изображения, которая непосредственно влияет на фактически записанное изображение. Действие состоит в том, что каждая точка исходного изображения размывается к некую область плоскости изображения с центром в Исходной точке, по площади равную кадру ФРТ. Последний представляет собой минимальный прямоугольный кадр, содержащий все точки х, в которых величина заметно отлична от нуля (в данном примере это квадрат размером элементов). Вообще говоря, ширина ФРТ неодинакова слева (скажем, в пределах элементов), справа (в пределах элементов), вверху (в пределах элементов) и внизу (в пределах элементов); поэтому кадр состоит из элементов, так как нулевое искажение характеризуется кадром ФРТ, содержащим один элемент (а не нуль элементов!) в рассматриваемом примере Таким образом, ФРТ размывает часть исходною изображения, лежащую в пределах области в кадр на рис. 3, а), размеры которого равны размерам области плюс элементов в горизонтальном направлении и элементов в вертикальном направлении (в нашем примере кадр состоит их элементов). Обратно, ФРТ размывает на область по

крайней мере частично, каждую точку исходного изображения, которая лежит в пределах калра И. Поэтому часть исходного изображения, лежащая в пределах кадра и есть та часть, которая оказывает непосредственное влияние на фактически записанное изображение. Назовем эту часть исходною изображения истинным изображением (в нашем примере это изображение а). Кроме того, размывает истинное изображение на больший кадр на рис. 3. а), размеры которою равны размерам кадра увеличенным на элементов изображения в горизонтальном направлении и элементов в вертикальном направлении; в нашем примере кадр (состоит из 256 х 256 элементов (это кадр, ограничивающий изображение 6).

Желательно иметь какой-то объективный критерий качества восстановления. Мы здесь выбрали критерий средней абсолютной ошибки

Элемент восстановленного изображения, истинного изображения (обозначение показывает, что все элементы изображения лежат в пределах калра . На рис. 3. и представлена зависимость величины (5 от Кривая А подтверждает вывод, сделанный выше о том, что изображение а можно более или менее хорошо восстановить по изображению если величина достаточно мала, то величина (2 становится ничтожно малой. Кривая И показывает, что наилучшее восстановление изображения в (без предварительной обработки) соответствует весьма значительному уровню зашумленности (эквивалентный среднеквадратичный «уровень шума» составляет что существенно выше, чем в большей части важных практических приложений, и этим подтверждается сделанный ранее вывод о том. что эффект усечения изображения в может доминировать над влиянием любого реального уровня зашумленности).

Чтобы критерий ошибки имел значимость, все изображения, рассматриваемые в данном примере, нормированы так, что все квантованные отсчеты изображений лежат в пределах

Теперь мы можем проиллюстрировать улучшение качества восстановленного изображения, которое достигается методом предварительной обработки - расширением границ, описанным в абзаце, содержащем формулу (15.34), и в шести последующих абзацах. Изображение это результат применения метода расширения границ с целью получить из изображения в оценку идеального искаженного изображения (которое существует на кадре Подчеркнем, что не может быть и речи о том, чтобы достоверно восстановить часть изображения лежащую между границами кадров . От применения метола расширения границ можно ожидать только компенсации эффектов усечения - о восстановлении истинного изображения вне области нечего и думать. Изображение есть наилучший результат восстановления по изображению (соответствует минимуму кривой С на рис. 3, н). По сравнению с изображением здесь заметное улучшение, но многие детали изображения остаются еще несколько искаженными и имеется остаточная «рябь», которая обусловлена тем, что простое расширение границ не позволяет получить искаженное изображение, достаточно близкое к свертке истинною изображения с в этом проявляется принципиальная несогласованность конечных сверток (см. § 14).

Изображение з - это полученная из изображения в методом расширения границ с перекрыванием оценка периодически продолженного (с перекрыванием) искаженною изображения (оно повторяется в плоскости изображения в смежных ячейках, каждая из которых конгруэнтна кадру изображение з отвечает одной такой ячейке). Изображение и - наилучшее восстановленное изображение, которое можно получить из изображения изображение и соответствует минимуму кривой на рис. Налицо значительное улучшение по сравнению с изображением Хотя некоторые мелкие

детали, имеющиеся на изображении а, не четко восстанавливаются на изображении и. шссь значительно меньше «ряби», которая сильно портит изображения и в меньшей степени Это проявление принципиальной несогласованности периодических сверток, отмеченное в следующем абзаце после формулы (14.8). Здесь видно, насколько важно с чисто практической точки зрения следить за тем, чтобы расчеты как можно более согласовались с формулами математической физики, на которых оснеован тот или иной процесс обработки, если это, конечно, можно сделать без больших усложнения. Изображение к - результат применения винеровской фильтрации к изображению при Изображение к лишь немного хуже изображения и, чем подтверждается наш вывод о том, что качество восстановленного изображения почти не зависит от величины если она достаточно близка к оптимальному значению.

Теперь покажем, к чему приводит в случае винеровского фильтра применение неверной ФРТ. Изображение восстановлено по изображению з с применением гауссовской ФРТ (см. табл. 1.1.) вместо ФРТ, отвечающей расфокусировке. Эффективный диаметр гауссовского «колокола» был таким же, как и диаметр кружка ФРТ в случае расфокусировки (этот кружок представлен на рис. 2 а, а случай гауссовского размытия - на рис. 1, е). Изображение получено в результате восстановления с ФРТ. отвечающей расфокусировке, но при диаметре кружка, равном 19. а не 15 элементам изображения. Константа в случае изображений была взята такой же, как и в случае изображения и. Изображения заметно хуже изображения и. чем подтверждается наш вывод о том, что правильная оценка формы ФРТ важнее, чем точное задание оптимального значения константы фильтра

Результаты восстановления расфокусированных изображений

При расфокусировке искажающая система хорошо аппроксимируется цилиндрической функцией рассеяния точки (ФРТ) радиуса r.

Цилиндрическая ФРТ

Ниже приведены результаты восстановления трёх реальных расфокусированных изображений одного и того же объекта (страницы книги). Съёмка проводилась без штатива с расстояния примерно 50 см. Степень расфокусировки объектива вручную увеличивалась от кадра к кадру. Параметры фильтра Винера r и отношение сигнал/шум (SNR) подбирались вручную таким образом, чтобы обеспечить наилучшее визуальное качество восстановления. Для компенсации краевых эффектов производится плавное уменьшение яркости изображения на краях.

Изображение A

Результат восстановления изображения A. r = 53, SNR = 5200

Изображение B

Результат восстановления изображения B. r = 66, SNR = 4400

Изображение C

Результат восстановления изображения C. r = 102, SNR = 7100

Видно, что даже при существенной расфокусировке читаемость текста практически
полностью восстанавливается.

Результаты восстановления смазанных изображений автомобильных номеров

Смаз изображения возникает при взаимном движении камеры и объекта относительно друг друга во время экспозиции. Рассмотрим только тот случай, когда снимаемый объект линейно перемещается относительно неподвижной камеры. В таком случае искажающая система хорошо аппроксимируется ФРТ в виде отрезка, который направлен вдоль движения объекта. Такая ФРТ задаётся двумя параметрами: L длина и THETA угол смаза.

ФРТ при линейном смазе

Ниже представлено искажённое изображение двух легковых автомобилей, полученное при недостаточно короткой экспозиции, приведшей к появлению заметного смаза.

Искажённое изображение двух легковых автомобилей

Ниже представлены результаты восстановления номеров обоих автомобилей с помощью фильтра Винера. Значение параметров L, THETA и SNR подбирались таким образом, чтобы обеспечить наилучшее визуальное качество восстановления номера автомобиля.

Результат восстановления номера светлого автомобиля. L = 78, THETA = 15, SNR = 300

Результат восстановления номера тёмного автомобиля. L = 125, THETA = 0, SNR = 700

Видно, что даже при значительном смазе удаётся восстановить читаемость номеров
автомобилей.

Алгоритм фильтрации реализован на C++ OpenCV в виде консольного приложения.
Исходные коды можно найти по ссылкам ниже.

Литература

R.C. Gonzalez, R.E. Woods. Digital image fundamentals. 1987.
И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор. Цифровая обработка изображений в информационных системах. 2000.

Фильтр Винера использует оптимальный критерий в виде минимизации среднеквадратичного отклонения между фильтрованным изображением и истинным объектным изображениемf (i ,j ). В частотном домене фильтр Винера имеет вид :

(5.18)

где |N (u ,v )| 2 и |F (u ,v )| 2 – спектр мощности щума n (i ,j ) и объекта f (i ,j ) (см. уравнение 5.13).

Первый член в правой части уравнения (5.18) есть обратный фильтр, который доминирует на низких частотах, второй член обладает эффектом низкочастотной фильтрации, которая управляется отношением мощности спектра шума к мощности спектра объекта. Это отношение определяет, когда фильтр Винера переключается с восстановления изображения от эффекта разрешения (обратный фильтр) к подавлению шума. Член MTF в фильтре Винера предполагается стационарной функцией (т.е. инвариантной относительно положения источника и геометрии объекта), поэтому он измеряется на средней глубине.

Так как спектр мощности шума и объекта заранее не известны, то следует использовать их оценки. В работе описывается методика оценки этих функций из измеренных сцинтиграмм. Основываясь на модели шума , спектр мощности считается независимым от частоты и равным полному числу отсчетов изображения. Оценка объектного спектра мощности проводится в следующей последовательности. Первое, спектр мощности двумерного изображения сжимается в одномерный путем усреднения по кольцевым областям в частотном прстранстве. Спектр мощности на низких частотах оценивается как разность между спектром мощности изображения и оцененным спектром мощности шума и последующим делением на среднее MTF . На высоких частотах объектный спектр мощности оценивается с помощью метода подгонки кривых, используя моель степенного закона . После определения этих величин генерируется двумерная ротационно-симметричная версия фильтра и применяется к изображению. На рис. 5.16 проводится сравнение изображений костного скелета после разных видов процессинга.

Рис. 5.16. Клинические изображения костного скелета, получающиеся после разных видов фильтрации: верх слева – без фильтрации; верх справа – фильтр Баттеруорта четвертого порядка с пороговой частотой 0,4; низ слева – фильтр Метца; низ справа – фильтр Винера

Контрольные вопросы

Опишите структуру цифрового изображения гамма-камеры.

Какие факторы влияют на размер пикселя изображения?

В чем отличия фреймового способа запоминания данных от листингового и байт-моды от слово-моды?

Что такое формат DICOM и для чего он применяется?

Какие задачи выполняет PACS ?

Назовите физические факторы, влияющие на качество изображения и на пространственное разрешение гамма-камеры.

На какие параметры изображения влияет комптоновское рассеяние фотонов?

Почему возникает шум в изображении?

Как определяется информационная плотность (ID ) изображения?

Что такое контраст изображения и какая его величина требуется для визуального обнаружения патологических очагов в организме пациента?

С какой целью и каким образом производится преобразование изображения в частотное пространство?

Как создается выборочная версия непрерывной функции?

Какой критерий должен выполняться, чтобы непрерывная функция однозначно определялась из N выборочных значений?

Опишите математическую модель процесса визуализации.

С какой целью проводится фильтрация изображения.

На какие группы подразделяются фильтры?

Для чего применяются низкочастотные фильтры?

С какой целью применяется восстановительная фильтрация?

Как зависит пороговая частота восстановительного фильтра от уровня шума?

Охарактеризуйте особенности фильтров Винера и Метца.

Фильтрация изображений

Как правило, свойства сигнала проявляются не только при наблюдении его в локальной точке, но и при анализе ее окрестности. Естественно, что влияние ближних и дальних точек будет различно. Таким образом, идеология фильтрации изображения основывается на рациональном использовании данных как из рабочей точки, так и из окрестности. При решении этой задачи опираются на использование вероятностных моделей как изображения, так и помехи (шума), а также на статистические критерии оптимальности.

Оптимальная линейная фильтрация. Уравнение Винера-Хопфа.

Пусть наблюдаемое изображение y есть некоторая функция от идеального сигнала x и помехи n . В точке с координатами (i , j ): yij = f (xij , nij ), i =0¸I -1, j =0¸J -1.

Если обе координаты (номер строки и номер столбца) всех точек окрестности не превышают координат рабочей точки (i , j ), т. е. окрестность расположена левее и выше, то фильтрация называется каузальной.

Если обе координаты некоторых точек окрестности выше (i , j ), то фильтрация некаузальная. Если по одной из координат выполняет принцип каузальности, а по второй нет, то это полукаузальная фильтрация.

Такая классификация пошла из теории сигналов с точки зрения физической осуществимости фильтра, работающего в реальном времени. Если при обработке цифрового массива, мы имеем дело с уже сформированным изображением, то соотношение координат уже не играет принципиальной роли.

При линейной фильтрации выходной эффект определяется линейной комбинацией входных данных с весовыми коэффициентами a :

Где S – множество точек образующих окрестность.

Совокупность весовых коэффициентов a представляет собой двумерную импульсную характеристику. Если область S конечна, то импульсная характеристика имеет конечную длину и фильтр называется КИХ-фильтром. Если импульсная характеристика бесконечна, то БИХ-фильтром.

Легко заметить, что от координат рабочей точки (i , j ) импульсная характеристика не зависит. Такая процедура обработки, не зависящая от координат, называется однородной.

В качестве критерия оптимальности для оценки фильтрации выбирается критерий минимума среднего квадрата ошибок:

Если вычислить производную этого выражения по коэффициенту a (k ,l ) и приравнять ее 0, то получим

Мат. ожидания, входящие в это выражение есть корреляционная и автокорреляционная функции:

Если корреляционные функции известны, то это выражение есть линейное алгебраическое уравнение относительно коэффициентов а . Если повторять дифференцирование (1) относительно остальных коэффициентов а , то получим систему линейных уравнений. Количество уравнений равно количеству точек в окрестности S - nS . Эта система уравнений называется уравнением Винера-Хопфа. Если разрешить ее относительно всех неизвестных a , то будет найдена импульсная характеристика линейного фильтра, минимизирующего средний квадрат ошибок фильтрации.

Как изменяется средняя яркость изображения при фильтрации?

, то есть средняя яркость входного и выходного изображений не зависят от координат и постоянны во всех точках. Чтобы сохранить среднюю яркость должно выполняться. Либо перед фильтрацией среднюю яркость вычитают из входного изображения, а после фильтрации ее снова прибавляют.

Рекуррентная каузальная фильтрация

Масочная фильтрация может рассматриваться как один из вариантов двумерной КИХ-фильтрации. Масочные фильтры не решают проблему борьбы с шумом по причине ограниченности размера окрестности. Поэтому стоит задача найти фильтр с бесконечной импульсной характеристикой, такой чтобы эффективность фильтрации приближалась к потенциально возможной, а практическая реализация была простой.

Этим условиям отвечает фильтр Калмана. Пусть полезный сигнал – это однородная стационарная гауссовская последовательность, имеющая корреляционную функцию экспоненциального вида

Если такая последовательность наблюдается на фоне гауссовского белого шума, то оптимальный каузальный фильтр реализуется рекуррентным алгоритмом, который в установившемся режиме имеет вид

Импульсная характеристика этого фильтра имеет экспоненциальный вид

Параметр 0<A <1 это коэффициент усиления фильтра Калмана.

Первое слагаемое в (2) определяет вклад в оценку сигнала на текущем i -ом шаге фильтрации, вносимый оценкой предыдущего шага, и называется одношаговым прогнозом. Второе слагаемое учитывает влияние текущего наблюдения yi и называется новой информацией. Коэффициент усиления А определяет чувствительность фильтра к этой новой информации. При высоком уровне шума параметр А приближается к 0. Это означает удлинение импульсной характеристики и сужение полосы пропускаемых фильтром частот. При снижении шума, наоборот А стремится к 1.

Однако фильтрация не только ослабляет шум, но и вносит динамические искажения в полезный сигнал. Искажения заключаются в неравной передаче на выход фильтра различных спектральных составляющих сигнала.

В двумерном случае БИХ для каузальной фильтрации изображений от некоррелированного шума имеет вид двумерной экспоненты:

Для определения параметра А , воспользуемся уравнением Винера-Хопфа

https://pandia.ru/text/80/293/images/image013_30.gif" width="229" height="23">

Смысл данного выражения в том, что при оптимальной линейной фильтрации ошибка ортогональна всем элементам наблюдаемых данных, используемых при фильтрации, а также и результату фильтрации https://pandia.ru/text/80/293/images/image015_26.gif" width="392" height="28"> (4)

Рекуррентный характер (4) обеспечивает сокращение выполняемых операций. На каждом шаге требуется 3 операции умножения и 3 сложения. Структура алгоритма универсальна и не зависит от отношения сигнал/шум.

Двумерная каузальная рекуррентная фильтрация существенно снижает уровень шума, по сравнению с масочными фильтрами, но и больше теряется резкость.

Некаузальная двумерная фильтрация

Некаузальный принцип позволяет добиться лучших результатов фильтрации, поскольку используются все точки изображения. Рассмотрим линейный фильтр Винера. Технически он реализуется в частотной области при помощи дискретного преобразования Фурье.

В уравнении Винера-Хопфа заменим конечную область S на бесконечную

Вместо реальных функций Bxy , By , a подставим периодически продолженные функции с двумерным периодом RI 1,I 2. При этом область определения импульсной характеристики сужается до размеров прямоугольника RI 1,I 2.

Применим к обеим частям двумерное ДПФhttps://pandia.ru/text/80/293/images/image020_19.gif" width="132" height="59">.

Рассмотрим насколько отличаются обычное и циклическое уравнение Винера-Хопфа. Рисунок иллюстрирует формирование сумм aB . При достаточно большом значении интервала наблюдения I соседние зоны не перекрываются и результаты совпадают. Если же интервал соизмерим с размахом корреляционной функции, то произойдет наложение соседних областей и уравнение исказится. Таким образом винеровская фильтрация должна применяться для достаточно больших изображений.

Эффекты, связанные с периодичность функций отсутствуют для внутренних точек, однако возникают граничные эффекты. Ими либо пренебрегают, а если эти эффекты недопустимы, то область наблюдения функций R I1,I2 удлиняют нулями.

Фильтр Винера лучшим образом подавляет шумы, но и еще больше дефокусирует изображение.

Для винеровской фильтрации требуется знать спектральную плотность мощности изображения. Можно предварительно измерить характеристики по реальному изображению и ввести в ЭВМ в виде таблиц. А можно выбрать математическую модель изображения и по реальному изображению измерить параметры модели. В частности, часто используется модель гауссовского двумерного поля с корреляционной функцией Bx (i, j )= D x F |i|+|j|, где D x – дисперсия, а F - одношаговая корреляция.

Пространственная реставрация изображений

Задачи пространственной реставрации возникают с целью устранения геометрических искажений, коррекции нерезкости и снижения уровня шумов различного происхождения. Реставрацию можно рассматривать как процесс оценивания: некоторое полученное изображение подвергают преобразованию, чтобы найти оценку идеального изображения, которое наблюдалось бы на выходе идеальной гипотетической системы, не вносящей никаких искажений. В качестве основы методов реставрации используют различные модели искажений, возникающих в реальных системах. Существуют 2 подхода к моделированию искажений априорный и апостериорный. В первом случае измеряют отклики физической системы на произвольное изображение. Во втором случае измеряются параметры конкретного искаженного изображения.

Общая схема формирования изображения: исходное, неизвестное изображение u(k, l) проходит через некоторый известный оператор искажений W (омега), в результате получается наблюдаемое изображение s(x, y)= W{ u(k, l) }. Задача реставрации найти оценку u - https://pandia.ru/text/80/293/images/image023_17.gif" width="633" height="44">h (x ,y ) – двумерная импульсная характеристика или функция рассеяния точки искажающей системы.

Следует отметить, что кадр ФРТ не всегда симметричен относительно начала координат. В частности, симметрией ФРТ не обладают каузальные линейные системы. Действие ФРТ сводится к тому, что каждая точка исходного изображения u (k, l ) «размазывается» в некоторую область, ограниченную кадром Qh.

Кадр Qu исходного изображения может быть построен путем перемещения Qh по кадру наблюдаемого изображения Qs. Поэтому, даже если регистрируемый объект имеет бесконечные размеры, наблюдаемое изображение формируется лишь за счет некоторой его части. Причем размеры кадра наблюдаемого изображения всегда меньше размеров исходного или равны им. Размеры кадров исходного и наблюдаемого изображений равны лишь при отсутствии линейных искажений, т. е. когда импульсная характеристика искажающей системы равна дельта-функции. Нас будет интересовать восстановление изображения в пределах кадра Qs. В некоторых случаях удается восстановить изображение в пределах кадра Qu исходного изображения, так как та его часть, которая лежит вне пределов кадра Qs также оказывает влияние на наблюдаемое изображение s (х, у ).

Совместим центр кадра наблюдаемого изображения s с началом координат, тогда

Двумерные функции с непрерывными аргументами x, y, k, l заменим на массивы отсчетов с расстоянием D между узлами.

Операция свертки эквивалентна умножению в частотной области. Это позволяет выполнить быструю имитацию линейных искажений с помощью ДПФ, заменив обычную свертку циклической. Как правило, размеры кадра ФРТ много меньше размеров кадра исход-ного изображения, поэтому перед преобразованием массив h должен быть дополнен нулями.

Рассмотрим импульсные и частотные характеристики формирующих систем при смазе и расфокусировке.

Размытие вследствие движения (смаз)

Смаз изображения возникает при взаимном движении камеры и объекта относительно друг друга во время экспозиции. Наблюдаемое изображение окажется как бы результатом наложения со смещением множества исходных изображений. Будем считать, что камера перемещается с постоянной скоростью относительно объекта.

Импульсная характеристика и передаточная функция такой системы

https://pandia.ru/text/80/293/images/image028_16.gif" width="409" height="75">, – целая часть числа.

Восстановление изображений

Решение проблемы восстановления изображений усложняют следующие факторы:

1. Искажения типа расфокусировки или смаза проявляются в ослаблении верхних пространственных частот. При этом отношение сигнал/шум на верхних частотах будет хуже чем в целом по изображению. При восстановлении сигнал должен быть усилен в той же мере в какой он был ослаблен, но при этом усиливаются и шумы. Поэтому улучшение качества по резкости может привести к ухудшению качества по зашумленности.

2. Яркость на краях кадра зависит от яркости объектов, расположенных вне кадра. При восстановлении изображений из-за неполной информации возникают краевые эффекты. Практически можно восстановить только центральную часть изображения, если объекты наблюдаются на постоянном фоне.

3. Если передаточные функции искажающей системы имеют нули, то это приводит к полной утрате данных об исходном изображении на соответствующих частотах.

Алгоритмы восстановления изображений разделяют на 3 группы: алгоритмы решения системы алгебраических уравнений, алгоритмы фильтрации в частотной области и итерационные алгоритмы.

Алгебраические методы восстановления изображений

Линейное искажение исходного изображения при отсутствии шума в дискретном случае имеет вид

https://pandia.ru/text/80/293/images/image032_13.gif" width="13" height="23">.gif" width="59" height="23 src=">

Однако матричное уравнение (5) представляет собой недоопределенную систему линейных алгебраических уравнений, так как количество неизвестных Lu , больше числа уравнений Lz (размеры исходного изображения всегда больше размеров искаженного изображения). Поэтому матрица h является прямоугольной матрицей. Для отыскания решения используются различные методы псевдообращения матриц.

Если увеличить число отсчетов нерезкого изображения, то система будет переопределенной. Также переопределенную систему можно получить если выразить некоторые компоненты вектора идеального изображения через априорные данные. Например, известно, что объект расположен на черном фоне, тогда за пределами контура компоненты u можно считать нулевыми.

Если недоопределенная система разрешима, то она имеет несколько решений. Возникает проблема выбора единственного решения из множества возможных, которое и будет принято за оценку. Среди всех возможных решений недоопределенной разрешимой системы выбирается решение, минимизирующее норму ошибки восстановления

Норма ошибки будет минимальна, если

Обобщенная обратная матрица (6)

В общем случае норма ошибки не равна нулю.

Точное восстановление исходного изображения при отсутствии шумов возможно, во-первых, когда искаженное изображение получено в результате циклической свертки исходного изображения и ФРТ, во-вторых, когда объекты расположены в центре кадра и наблюдаются на фоне постоянной яркости, причем расстояние до границ больше апертуры ФРТ. В этих случаях объекты, расположенные вне кадра не будут влиять на кадр, т. е. ограничение размеров кадра наблюдаемого изображения не приводит к потере информации.

Для искаженных изображений, наблюдаемых в присутствии шумов , добавляются отсчеты вектора-столбца n . Как правило, это делает систему уравнений неразрешимой, т. е. можно найти лишь приближенное решение из условия минимума нормы ошибки:

Оптимальное решение получается также при помощи обобщенной обратной матрицы. Основным недостатком алгебраических алгоритмов восстановления является необходимость выполнения операций обращения, умножения и транспонирования над матрицами огромных размеров. Возможно осуществлять приближенную реставрацию. При этом нерезкое изображение разбивается на фрагменты, которые обрабатываются независимо. Полезно предусматривать перекрытие фрагментов и использовать только их центральные части.

Методы восстановления на основе пространственной фильтрации

Эти методы восстановления изображений реализуются с помощью ДПФ в частотной области. При этом обычная свертка заменяется циклической как в модели формирования искаженного изображения, так и в процедуре восстановления методом пространственной фильтрации..gif" width="309" height="25 src=">

Применяя к этому выражению ДПФ, получаем

https://pandia.ru/text/80/293/images/image041_8.gif" width="152" height="27">.

В пространственно-частотной области спектр оценки можно записать как

Инверсный фильтр

Простейший способ восстановления четкости искаженного изображения это обработка его в частотной области инверсным фильтром. Передаточная функция определяется соотношением . Спектр оценки исходного изображения

При отсутствии шума достигается точное восстановление исходного изображения. При наличии шума к исходному изображению добавляется этот шум, прошедший через инверсный фильтр.

Обычно передаточная функция формирующей системы стремится к нулю на высоких частотах. Кроме того, нули могут быть и в рабочей полосе частот. При этом инверсный фильтр становится сингулярным, т. е. на соответствующих частотах передаточная функция инверсного фильтра стремится к бесконечности. Наличие даже слабого шума приводит к интенсивным шумовым составляющим, разрушающим изображение.

https://pandia.ru/text/80/293/images/image047_1.jpg" width="194" height="157 src=">

Частотные характеристики искажающей системы

с гауссовской ФРТ, инверсного фильтра и фильтра Винера

Существуют частные методы ослабления шумов, которые заключаются в ограничении полосы инверсного фильтра. Последовательно с инверсным фильтром включают корректирующее звено, модуль передаточной функции которого стремится к нулю за пределами некоторой наперед заданной граничной частоты. При этом граничную частоту выбирают из компромисса между снижением уровня шума и четкостью восстановления изображения.

При восстановлении инверсным фильтром возникают краевые эффекты в виде осциллирующей помехи большой мощности, маскирующей восстановленное изображение. Краевые эффекты возникают и при отсутствии шумов. Таким образом инверсный фильтр может использоваться только для восстановления изображений с постоянным уровнем фона на краях.

Фильтр Винера

При синтезе фильтра Винера учитывается информация о спектральной плотности мощности изображения и шума. Поэтому он менее подвержен влиянию помех и нулей передаточной функции искажающей системы. Частотная характеристика фильтра Винера:

где https://pandia.ru/text/80/293/images/image050_8.gif" width="73" height="27 src=">- взаимная спектральная плотность мощности исходного и наблюдаемого изображений, * - символ комплексного сопряжения.

Преобразуем передаточную функцию фильтра Винера:

1. При отсутствии шума фильтр Винера переходит в инверсный фильтр. Следовательно, в области низких частот, где, как правило, отношение сигнал/шум велико передаточные функции этих фильтров практически совпадают.

2. При уменьшении спектральной плотности мощности исходного изображения передаточная функция фильтра Винера стремится к 0. Для изображения это характерно на высоких частотах.

3. На частотах, соответствующих нулям передаточной функции формирующей системы, передаточная функция фильтра Винера также равна 0.

Основным недостатком фильтра Винера остается наличие краевых эффектов, проявляющихся в виде осциллирующей помехи (ряби или полос).

Компенсация краевых эффектов

Краевые эффекты возникают из-за синтеза фильтров без учета ограниченного размера изображений. Для компенсации краевых эффектов применяют умножение наблюдаемого изображения на функцию окна w (i, j ) плавно спадающую до нуля к краям кадра. После этого изображение восстанавливается фильтром Винера. Функция окна полагается разделимой по координатам. При вертикальном или горизонтальном смазе используется одномерная функция окна.

https://pandia.ru/text/80/293/images/image053_2.jpg" width="413" height="228 src=">

Вместе с уменьшением краевых эффектов сужаются границы восстанавливаемого изображения. Оптимальные параметры окон зависят от параметров искажающей системы и определяются опытным путем.

Другой путь – учесть ограниченные размеры изображения на этапе синтеза фильтра Винера. Корреляционная функция усеченного изображения может быть получена путем умножения корреляционной функции неограниченного изображения на следующее окно:

(Пси)https://pandia.ru/text/80/293/images/image055_7.gif" width="256" height="45 src=">, Y - спектральная плотность окна.

Такой фильтр хорошо компенсирует краевые эффекты и не требует дополнительной подстройки.

Если требуется расширить границы изображения, чтобы извлечь больший объем информации, применяется процедура экстраполяции. Двумерную функцию яркости s(i, j) продолжают за границы кадра, так чтобы она была гладкой, а на границе экстраполированного кадра QЭ равнялась 0. Одномерная экстраполяция: яркость задается в виде полинома

f (i )=a 0+a 1i +a 2i 2+..., f (j )=a 0+a 1j +a 2j 2+...

Можно одновременно применять экстраполяцию и окно для усечения изображения.

Все рассмотренные алгоритмы восстановления линейные. Они достаточно просто синтезируются, поддаются анализу и эффективны. Однако эти методы не оптимальны, так как большинство изображений имеют негауссовские характеристики. Синтез нелинейных методов восстановления гораздо сложнее, но существуют методы приближения, учитывающие априорные данные об изображениях и помехах.

Итерационные методы восстановления

Наиболее простой и широко распространенный итерационный метод Ван Циттера. Представим передаточную функцию инверсного фильтра в виде геометрической прогрессии:

Спектр оценки исходного изображения при инверсной фильтрации будет

Это выражение позволяет представить процедуру нахождения оценки в виде последовательных приближений:

Взяв обратное преобразование Фурье получим итерационную процедуру

Эту процедуру можно интерпретировать как последовательное нахождение поправок к искаженному изображению s . Если на каком-то шаге будет найдено точное решение, то на последующих шагах оценка изменяться не будет.

При использовании итерационных алгоритмов встают 2 вопроса: сходится ли алгоритм и к какому решению он сходится. Алгоритм Ван Циттера сходится к оценке изображения при инверсной фильтрации если передаточная функция искажающей системы 0 < H (w1, w2) < 1.

Это условие выполняется для гауссовской ФРТ (для смаза - нет). Если это условие не выполняется, то передаточную функцию нормируют:

Тогда итерационный алгоритм имеет вид

где h 1 и h 2 – импульсные характеристики фильтров с передаточными функциями H* (w1, w2) и |H (w1, w2)|2.

Рассмотренный алгоритм является линейным, но итерационный процесс позволяет эффективно бороться с краевыми эффектами и усилением шумов при восстановлении изображений. С увеличением длины ряда возрастают граничная частота и коэффициент усиления фильтра. В качестве критерия остановки можно использовать критерий минимума нормированной среднеквадратической ошибки оценивания:

где Qe - кадр, расположенный в центре наблюдаемого изображения.

Итерационные алгоритмы могут быть легко преобразованы в нелинейные путем введения ограничений для восстанавливаемого изображения. Ограничения касаются таких априорных свойств изображения как неотрицательная яркость, диапазон яркости, минимальная мощность сигнала, ограничение на пространственную и спектральную протяженность и т. д. Даже учет диапазона яркости приводит к значительному улучшению качества восстанавливаемого изображения.

Если Y{} – оператор ограничения, то алгоритм с ограничением имеет вид

Итерационный алгоритм с ограничением сходится, если сходится исходный линейный алгоритм и оператор ограничения является нерасширяющим, т. е. не приводит к увеличению энергии изображения.