Сравнение и привязка изображений. Стереоотождествление. Подвинуть в юго-западный угол

Многие задачи тематического дешифрирования сводятся к взаимному сопоставлению между собой изображений, сформированных с помощью датчиков различных физических полей. Ярким примером может служить развитие дистанционных методов контроля природных ресурсов и динамики экосистем (так называемого мониторинга), что сводится к сопоставлению снимков одной и той же территории, полученных в разное время и/или с помощью различных датчиков. Чаще всего используются оптическое, радиолокационное, радиотепловое, магнитное и другие поля. Совместное использование различных физических полей требует предварительной обработки соответствующих им изображений, например, с целью перевода изображений в одну спектральную область.

На практике изображения одного и того же объекта или участка местности, полученные в разное время или с помощью различных датчиков, могут значительно различаться один от другого. Отсюда вытекает ряд важных задач привязки, а также точной взаимной геометрической и амплитудной коррекции для последующего совместного анализа. В любом случае это требует установления соответствия между элементами исходных изображений, что сводится к выделению так называемых опорных (по другому, реперных или сопряженных) точек на изображениях, по которым можно осуществить координатную привязку снимков с одновременной геометрической коррекцией. (Точки на двух изображениях называются сопряженными, если они являются образами одной точки сцены ). Например, аэрокосмический компьютерный мониторинг предполагает наличие дискретного по времени наблюдения с небольшим временным интервалом, и поэтому, когда движущаяся камера фиксирует яркостный образ наблюдаемого объекта (оптическую поверхность) в виде последовательности изображений, то этот образ от снимка к снимку деформируется вследствие перспективных искажений и изменения положения камеры. Геометрия соответствующих деформаций моделируется проективными преобразованиями, которые составляют более обширный класс, нежели известные преобразования евклидовой геометрии (достаточно сказать, что длины и углы в проективной геометрии не сохраняются, а параллельные линии могут пересекаться! ).

Восстановление пространственного рельефа по стереоснимкам приводит к проблеме идентификации: установления точного координатного (поточечного) соответствия элементов стереоизображений. Решение этой задачи состоит в выделении пар реперных фрагментов и оценивании параметров «расхождения» соответственных точек (это именуется в стереофотограмметрии бинокулярной диспарантностью), по которым можно восстановить функцию геометрического преобразования и оценить поверхность трехмерной сцены (рельеф).

Подробнее

Сопоставление изображений на основе "характерных черт"

Литература для самостоятельного изучения

Книга ($\textit{Красовский, Белоглазов, Чигин}$) содержит изложение классической теории корреляционно-экстремального анализа двумерных полей, с которой мы рекомендуем обязательно ознакомиться в рамках углубленного курса.

Оригинальный подход к взаимной привязке изображений на основе так называемой беспоисковой корреляции изложен в книге ($\textit{Астапов, Васильев, Заложнев}$). Этот подход больше применим в области корреляционного слежения, чем в области сравнения произвольных изображений, но он привлекателен возможностью эффективной программной и аппаратно-программной реализации.

В книге ($\textit{Шапиро, Стокман}$) методам сопоставления изображений и объектов в двумерном пространстве посвящена глава 11. Здесь представляют интерес геометрические аспекты проблемы, которым в нашем изложении уделялось меньше внимания. Главы $12$ и $13$ посвящены восприятию трехмерных сцен. Их также можно рекомендовать для самостоятельного изучения, хотя изложение того же круга вопросов в книге нам кажется более полным и удачным.

В книге ($\textit{Форсайт, Понс}$) непосредственно задаче стереоотождествления посвящен небольшой раздел "бинокулярное совмещение изображений", который при этом содержит ряд интересных идей, отсутствующих в нашем изложении. В частности, описано стереоотождествление методом динамического программирования и ряд других методов. В широком смысле задаче реконструкции трехмерной пространственной информации по набору двумерных изображений посвящена вся часть III данной книги, включающая главы $10$ "Геометрия нескольких проекций", $11$ "Стереозрение", $12$ "Определение аффинной структуры по движению" и $13$ "Определение апроективной структуры по движению". Рассматриваемые здесь вопросы связаны с построением различных метрических и проективных соотношений между точками изображений и точками сцены, расчетом хода лучей и т.п. Эти вопросы не включены нами в данный учебный курс, поскольку они ближе к фотограмметрической области, чем к области обработки и анализа изображений, однако в рамках углубленного курса машинного зрения такие элементы следует признать необходимыми. В связи с этим мы рекомендуем всю III часть книги для углубленного самостоятельного изучения.

Список источников по разделу

$\textit{Bertram S.}$ The UNAMACE and the automatic photomapper\Dslash Photogrammetric Engineering. 35. No.6. 1969. P.569 - 576.
$\textit{Levine M.D., O"handley D.A., Yagi G.M.}$ Computer Determination of Depth Maps\Dslash Computer Graphics and Image Processing. 2. No.2. 1973. P.131 - 150.
$\textit{Mori K., Kidode M., Asada H.}$ An iterative prediction and correction method for automatic stereocomparison\Dslash Computer Graphics and Image Processing. 2. No.3 - 4. 1973. P.393 - 401.
$\textit{Ackerman F.}$ High precision digital image correlation\Dslash IPSUS. 1984. №9. P.231 - 243.
$\textit{Gruen A., Baltsavias E.}$ Adaptive least squares correlation with geometrical constraints\Dslash SPIE. 1985. V.595. P.72 - 82.
$\textit{Ohta Y., Kanade T.}$ Stereo by intra- and inter-scanline search using dynamic programming\Dslash IEEE PAMI. V.7. No.2. 1985. P.139 - 154.
$\textit{Priice K.E.}$ Relaxation techniques for matching\Dslash Minutes of the Workshop of Image Matching, September 9-11, 1987, Stuttgart University, F.R.Germany.
$\textit{Foerstner W.}$ A feature based correspondence algorithm for image matching. ISPRS Commision III Symposium, Rovaniemi, Finland, August 19-22, 1986\Dslash IAPRS. V.26-3/3. P.150 - 166.
$\textit{Ayache N., Faverjon B.}$ Efficient registration of stereo images by matching graph description of edge segments\Dslash IJCV. V.1. No.2. 1987. P.107 - 131.
$\textit{Ван Трис Г.}$ Теория обнаружения, оценок и модуляции. Т.1 - М.: Советское радио, 1972.
$\textit{Василенко Г.И., Цибулькин Л.М.}$ Голографические распознающие устройства. - М.: Радио и связь, 1985.
$\textit{Бочкарев А.М.}$. Корреляционно-экстремальные системы навигации\Dslash Зарубежная радиоэлектроника. 1981. №9. C.28 - 53.
$\textit{Ярославский Л.П.}$ Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. - М.: Радио и связь, 1987.
$\textit{Хорн Б.К.}$ Зрение роботов. - М.: Мир, 1989.
$\textit{Денисов Д.А., Низовкин В.А.}$ Сегментация изображений на ЭВМ\Dslash Зарубежная радиоэлектроника, №10. 1985.
$\textit{Davies E.R.}$ Machine Vision: Theory, Algorithms, Practicalities. - Academic Press., 2-nd Edition, San Diego, 1997.
$\textit{T. Tuytelaars, L. Van Gool.}$ Matching widely separated views based on affine invariant regions\Dslash International Journal of Computer Vision 59(1). 2004. P.61 - 85.
$\textit{Ярославский Л.П.}$ Точность и достоверность измерения положения двумерного объекта на плоскости\Dslash Радиотехника и Электроника. 1972. №4.
$\textit{Abbasi-Dezfould M., Freeman T.G.}$ Stereo-Image Registration Based of Uniform Patches, International Archives of Photogrammetry and Remote Sensing. V. XXXI. Part B2. Vienna, 1996.
$\textit{Schenk.}$ Automatic Generation of DEM`s, Digital Photogrammetry: An Addentum to the Manual of Photogrammetry\Dslash American Society for Photogrammetry{\&}Remote Sensing. 1996. P.145 - 150.
$\textit{Gruen A,}$ Adaptive Least Squares Correlation: A powerful image matching technique\Dslash South African Journal of photogrammetry, Remoute Sensing and Cartography. V.14. Part 3. June, 1985.
$\textit{Golub G.H., Ch. F. Van Loan.}$ Matrix computations. - John Hopkins University Press, 1983.
$\textit{Пытьев ЮП.}$ Морфологический анализ изображений\Dslash Доклады АН СССР. 1983. Т.269. №5. C.1061 - 1064.
$\textit{Haralick R.M. and Shapiro L.G.}$ Machine vision. - Addison-Wesley, 1991.
$\textit{Zuniga O.A., Haralick R.M.}$ Corner detection using the facet model\Dslash Proc. IEEE Comput. Vision Pattern Recogn. Conf., 1983. P.30-37.

Часто у нас есть бумажная карта местности и мы хотим добавить эту карту в наш ГИС-проект. Рассмотрим как создать геопривязанное изображение из сканированной или сфотографированной карты на примере карты заказника “Квітуча гора”.

В приведенном примере все выполняется в программе QGIS. В ходе работы будут использованы следующие модули: Привязка растров, QuickMapServices, GeoSearch. Эти плагины нужно установить и активизировать, подробнее про установку модулей можно почитать . Для работы модулей QuickMapServices и GeoSearch необходимо подключение к Интернет.

Следующий шаг – найти на базовой карте интересующую местность. Для этого, внимательно рассмотрев сканированную карту, мы находим на ней название населенного пункта – «с.Мильча».

Зная название села, мы можем найти его при помощи одного из модулей «GeoSearch», «osmSearch» или «OSM place search».

После масштабирования карты к интересующему месту, приступаем непосредственно к привязке карты. Для геопривязки растровых изображений в QGIS есть встроенный модуль «Привязка растров» (Georeferencer). Запускается модуль из раздела меню «Растр» - «Привязка растров».

Модуль «Привязка растров» (Georeferencer) открывается в новом окне.

При помощи кнопки «Открыть растр» или комбинации клавиш + добавляем изображение которое будем привязывать.
В верхней части окна появится изображение, в нижней части расположена таблица с описанием точек привязки.

Далее нужно выбрать точки на базовой карте и изображении, по которым будет осуществляться привязка изображения. Обычно это перекрестки и повороты дорог, мосты и другие объекты хорошо видимые на базовой карте и привязываемом изображении.

Увеличиваем экстент базовой карты к первой точке привязки. Так же увеличиваем привязываемое изображение к выбранной точке привязки. Приблизившись в окне модуля к точке привязки, нажимаем кнопку «Добавить точку» и клацаем указателем мышки по выбранной точке. После этого открывается форма ввода координат. Координаты можно ввести как через поля ввода, так и захватить с карты. Если у нас есть координаты точек, например, полученные при помощи GPS-навигатора, мы можем их внести в соответствующих полях. Для получения координат с базовой карты нажимаем кнопку «С карты».

После нажатия кнопки «С карты» автоматически открывается основное окно QGIS. В нем курсор мышки имеет вид белого крестика. Выбираем точку привязки на базовой карте и жмем левую кнопку мышки.

После нажатия, автоматически возвращаемся в окно модуля привязки растров. В форме ввода появились значения координат точки. Заполненные значения имеют систему координат проекта с базовой картой.

После нажатия точка добавляется в таблицу с описанием точек привязки. Таким образом добавляем как можно больше точек привязки. Точки желательно расположить равномерно по привязываемому изображению. Чем более искажено исходное изображение, тем больше требуется точек привязки. Минимальное количество точек привязки — 3.

Далее задаем параметры трансформации. Для этого нажимаем шестеренку на панели инструментов. В открывшемся окне задаем следующие обязательные значения: тип трансформации, метод интерполяции, целевую систему координат, целевой растр. Остальные параметры являются не обязательными и их можно оставить со значениями по умолчанию.

Качество привязки зависит от количества точек привязки и от выбора метода трансформации. Подробнее про методы трансформации можно почитать .

Одним из ключевых моментов является правильное указание целевой системы координат. Если вносили координаты полученные при помощи GPS-навигатора, то указываем систему координат заданную в настройках GPS-навигатора, наиболее часто это WGS 84 (EPSG:4326). Если мы брали координаты с карты, то указываем систему координат рабочего проекта. В нашем случае это WGS 84 / Pseudo Mercator (EPSG:3857) которая является «родной» для таких карто-сервисов как OpenStreetMap, ArcGIS Online и многие другие.

Задав параметры трансформации запускаем процесс привязки, нажав зеленый треугольник на панели инструментов или выбрав соответствующий пункт в меню «Файл». В результате привязки растров будет получен файл в формате GeoTIFF.

Если в окне параметров трансформации вы отметили пункт «Открыть результат QGIS» то после окончания процесса привязки результирующий слой будет добавлен в рабочий проект поверх базовой карты.

Важным нюансом является то, что в результате работы модуля, результирующий растр имеет систему координат указанную в параметрах трансформации, но информация про то какая именно проекция растра, в нем не содержится. По этой причине, он может присутствовать в списке слоев, но не отображаться на карте. В таком случае необходимо зайти в «свойства слоя» и указать нужную систему координат вручную.

После явного указания правильной системы координат изображение расположится на нужном месте.

Настроив прозрачность мы можем скрыть черные поля по краям привязанного изображения, возникшие в результате трансформации.

Так же можем проверить корректность привязки, указав прозрачность слоя в 50%.

Помимо возможности добавлять изображения в контент страницы посредством FilePicker из визуального редактора TinyMCE, разработчики и дизайнеры в CMS Made Simple уже давно ищут возможность так называемой ассоциации одного изображения и страницы. Для чего это нужно? Вот несколько примеров:

Для создания графического меню, в котором выводится не текст, а изображение. Посмотрите на интересный пример графического меню в стиле Mac или графическое меню с иерархией внизу сайта после слова Portfolio.

Для создания списка страниц (типа тизера) с привязанным к каждой странице изображением.

Для ограничения редакторов страницы, которые не в состоянии уменьшать и аккуратно вставлять изображения в контент. В этом случае им предлагается выбрать из списка одну из уже загруженных картинок, которая потом в шаблоне вставляется в нужном месте нужного размера. Или возможность загрузки изображений, которые будут уменьшаться при загрузке автоматически.

На данный момент существуют три возможности привязки изображения к странице (по крайней мере других я не знаю).

Вариант 1: Изображение на вкладке Опции

Это была самая первая попытка привязки изображения к странице, которая и сейчас еще доступна на вкладке Опции при редактировании страницы. Здесь можно выбрать одно из изображений в списке файлов, которые предварительно были загружено в папку uploads/images . Путь к этой папке можно изменить только глобально в общих настройках сайта (Администрирование сайта » Общие настройки, вкладка Настройки редактирования страниц ). Выбранное изображение становится доступным в шаблоне меню через переменную $node->image , а его эскиз через $node->thumbnail . При помощи этой опции можно ассоциировать только одно изображение с одной странице, т. е. 1:1.

Вариант 2: Изображение посредством тега {content_image}

Вторая попытка. Тег добавляется в основной шаблон сайта. Если добавить тег несколько раз, то можно присоединить несколько изображений для одной и той же страницы. В административной панели в этом случае отображается выпадающее меня для выбора загруженных файлов (как и в варианте 1), а на самой странице он выдает HTML тег img. {content_image} более интеллигентен, чем первый вариант, в частности он позволяет настроить папку, в которой хранятся изображения.

Но его большой недостаток, как и у первого варианта, заключается в том, что изображения, которые можно выбрать из списка, предварительно должны быть загружены в систему с помощью менеджера файлов или в пункте Управление изображениями. Если Вы (в воспитательных целях) удалили кнопку "Вставить/редактировать изображение" из визуального редактора, дабы запретить их прямую вставку в контент сайта, то Ваш редактор сначала должен загрузить картинки, а потом уже редактировать страницу. Второй недостаток: если этих изображений очень много, то список получается огромный и в нем можно легко запутаться.

Вариант 3: Использование модуля GBFilePicker

Необычайно гибок. Он позволяет не только выбирать уже загруженные изображения, но и загружать их "на лету" во время редактирования страницы, а также удалять и даже редактировать уже загруженные, не выходя со страницы редактирования контента . Список изображений в выпадающем меню при этом может быть показан или отключен (например, если в папке уже присутствуют 100 изображений, то список скорей всего бесполезен).

Несколько примеров, как этот тег может выглядеть в административном интерфейсе на странице с редактированием контента, в зависимости от используемых параметров.

Возможности модуля: уменьшение файлов при загрузке, исключение определенных файлов из списка по суффиксу или префиксу в названии файла, возможность ограничить расширения для загружаемых файлов, возможность ограничить доступ к файлам в зависимости от пользователя, создание эскизов. И особенно люблю я этот модуль за то, что он не только название файла в списке, но и его эскиз редактору показывает, что для забывчивых необычайно удобно.

Этот вариант, пока самое лучшее, что я вижу в CMS Made Simple. Именно его мои редакторы сайтов схватывают интуитивно.

Please enable JavaScript to view the

Растровая карта в ГИС "Карта 2000" имеет формат RSW. Формат разработан в 1992 году, по структуре близок к формату TIFF версии 6. Основными показателями, характеризующими растровую карту, являются:

масштаб изображения;
разрешение изображения;
размер изображения;
палитра изображения;
плановая привязка изображения.

Масштаб изображения - величина, характеризующая исходный материал (в результате сканирования которого было получено данное растровое изображение). Масштаб изображения - это отношение между расстоянием на исходном материале и соответствующим расстоянием на местности.

Разрешение изображения - величина, характеризующая сканирующее устройство, на котором было получено растровое изображение. Величина разрешения показывает, на сколько элементарных точек (пикселей) устройство сканирования разбивает метр (дюйм) исходного изображения. Иными словами данная величина показывает величину "зерна" растрового изображения. Чем больше величина разрешения, тем меньше "зерно", а значит меньше размер объектов местности, которые можно однозначно идентифицировать (дешифрировать)

Размер изображения (высота и ширина) - величины, характеризующие само изображение. По этим величинам можно определить габаритные размеры растрового изображения в пикселях (точках). Размер изображения зависит от размеров сканируемого исходного материала и установленного значения разрешения.

Палитра изображения - величина, характеризующая степень отображения оттенков цвета исходного материала в растровом изображении. Существуют следующие основные типы палитры:

двухцветная (черно-белая, один разряд);
16 цветов (или оттенков серого цвета, четыре разряда);
256 цветов (или оттенков серого цвета, восемь разрядов);
High Color (16 разрядов);
True Color (24 или 32 разряда).

В случае возможности выбора при сканировании исходных материалов величины разрешения и палитры изображения (некоторые сканирующие устройства работают только с фиксированными значениями), следует учитывать, что при увеличении разрешения и выбора более высокой степени отображения оттенков резко возрастает объем получаемого файла, что в последствии скажется на объемах хранимой информации и скорости отображения и обработки растрового изображения. Например, при сканировании исходных картматериалов нет необходимости применять палитру более 256 цветов, так как реально на обычной карте, как правило, присутствует не более 8 цветов.

Палитра изображения хранится в исходном файле, а разрешение и масштаб будущего изображения следует ввести при конвертировании растра во внутренний формат. Исключение составляют файлы формата TIFF, в которых помимо палитры хранится и разрешение. Для остальных случаев разрешение указывается в соответствии с параметрами, выбранными при сканировании. Например, отечественные барабанные сканеры фирмы КСИ сканируют с разрешением 508 точек/дюйм (или 20000 точек/метр). Если Вы не знаете точное значение масштаба обрабатываемых материалов, следует ввести приблизительное значение (величина масштаба автоматически уточняется в процессе привязки растрового изображения).

Загруженное в систему растровое изображение еще не является растровой картой, так как не имеет плановой привязки. Непривязанное изображение добавляется всегда в юго-западный угол габаритов карты. Поэтому, если вы работаете с большим районом работ, для быстрого поиска добавленного растра можно воспользоваться пунктом "Перейти к растру" меню свойств растрового изображения диалога "Список растров".

После привязки растровая карта становится измерительным документом. По растровой карте можно определять координаты изображенных на ней объектов (при перемещении курсора по растровой карте в информационном поле в нижней части экрана отображаются текущие координаты). Привязанную растровую карту можно использовать как самостоятельный документ или в совокупности с другими данными.

1.2. Конвертирование растровых данных

Cистема Панорама обрабатывает растровые карты, представленные в формате RSW (внутренний формат системы). Данные из других форматов (PCX, BMP, TIFF) могут быть конвертированы в формат RSW с помощью программного обеспечения системы Панорама. Кроме того, системой поддерживается ранняя версия структуры растровых данных RST ("Панорама под MS-DOS") . При открытии файла RST он автоматически преобразуется к формату RSW.

Существует два способа загрузки растрового изображения в систему:

Открытие растрового изображения как самостоятельного документа (пункт "Открыть" меню "Файл").
Добавление растрового изображения в уже открытый документ (векторную, растровую, матричную или комбинированную карту).Добавление растрового изображения в уже открытую карту производится через пункт "Добавить - Растр" меню "Файл" или пункт "Список растров" меню "Вид".

1.3. Привязка растровой карты

Привязка растровой карты производится по привязанному документу, т.е. вначале необходимо открыть документ, ориентированный в заданной системе координат (векторная, растровая или матричная карта), добавить в него привязываемый растр и выполнить привязку. Привязать растр можно одним из способов, предоставляемых в свойствах растра ("Список растров - Свойства"). Следует помнить, что все действия над растром, доступные в меню свойств растрового изображения, выполняются над ТЕКУЩИМ растром. Поэтому, если открытый документ содержит несколько растров, следует активизировать (выбрать в списке открытых растров) тот, с которым Вы в данное время хотите работать.

1.3.1. Привязка по одной точке

Привязка производится последовательным указанием точки на растре и точки, куда указанная точка должна переместиться после преобразования (откуда - куда). Преобразование производится путем параллельного перемещения всего растра без изменения его масштаба и ориентации.

1.3.2. Подвинуть в юго-западный угол

Преобразование производится путем параллельного перемещения всего растра без изменения его масштаба и ориентации в юго-западный угол габаритов района работ. Данный режим привязки целесообразно применять, когда к открытой карте Вы добавляете некорректно привязанный растр, который отображается далеко за пределами района работ. В этом случае после перемещения растра в юго-западный угол облегчается его повторная привязка.

1.3.3. Привязка по двум точкам с масштабированием

Привязка производится последовательным указанием пары точек на растре и точек, в которые указанные точки должны переместиться после преобразования (откуда - куда, откуда - куда). Преобразование производится путем параллельного перемещения всего растра с изменением его масштаба. Привязка изображения производится по первой паре указанных точек. Вторая пара точек указывается для вычисления нового масштаба растрового изображения. Поэтому в случае, если у растра значения вертикального и горизонтального масштаба не равны (растр вытянут или сжат вследствие деформации исходного материала или погрешности сканирующего устройства), вторая точка займет свое теоретическое положение с некоторой погрешностью. Для устранения погрешности следует воспользоваться одним из методов трансформирования растрового изображения (прикладная задача "Трансформирование растровых данных").

1.3.4. Поворот без масштабирования

Привязка производится последовательным указанием пары точек на растре и точек, в которые указанные точки должны переместиться после преобразования (откуда - куда, откуда - куда). Преобразование производится путем параллельного перемещения всего растра с изменением его ориентации в пространстве. Поворот осуществляется вокруг первой указанной точки. Привязка изображения производится по первой паре указанных точек. Вторая пара точек указывается для вычисления угла разворота изображения. Поэтому в случае, если у растра значения вертикального и горизонтального масштаба не равны (растр вытянут или сжат вследствие деформации исходного материала или погрешности сканирующего устройства), вторая точка займет свое теоретическое положение с некоторой погрешностью. Для устранения погрешности следует воспользоваться одним из методов трансформирования растрового изображения (прикладная задача "Трансформирование растровых данных").

При загрузке растровых карт в базу данных может создаваться район работ растровых карт. Для создания растрового района необходимо последовательно загрузить в систему каждое образующее этот район растровое изображение и сориентировать его относительно единой системы координат.
Комбинация растровых и векторных карт на одни и те же или смежные территории позволяет оперативно создавать и обновлять районы работ, сохраняя возможность решения прикладных задач, для которых некоторые виды объектов карты должны иметь векторное представление.