Технология обработки гибридной графической информации
1. Основные технологические схемы обработки
графической информации смешанного типа
Типовой техпроцесс обработки схематичных изображений может включать в себя следующие этапы: сканирование, предварительную обработку, упрощение или схематизацию, автоматическую или интерактивную векторизацию, гибридное редактирование, сохранение или вывод на печать. В зависимости от цели обработки в конкретной предметной области, класса изображения и его качества ряд этапов может отсутствовать. Основным критерием оценки качества технологического процесса обработки является минимизация его суммарного времени, а именно, оптимизация наиболее длинного его этапа - редактирования изображения за счет увеличения процента автоматических и полуавтоматических этапов обработки. В этом случае можно включить в технологическую схему этап пакетной обработки группы однотипных изображений без участия оператора.
При проектировании графического редактора “Spotlight” тщательно были исследованы технологические процессы оцифровки цветных топографических карт, векторизации и редактирования растровых схем и чертежей, поэтажных планов и земельных планшетов. В результате анализа были выявлены наиболее трудоемкие этапы, разработано техническое задание на проектирование системы и предложены новые технологические схемы, использующие доступный набор инструментальных средств.
1.1. Оцифровка цветных топографических карт
Исходным материалом для получения электронной цифровой карты является, как правило, типографский оригинал определенного масштаба. В результате оцифровки получаются карта высот рельефа местности определенного разрешения и разнесенные по слоям векторные объекты гидрографии, дорог, лесов, населенных пунктов. Полученная карта в одном из форматов экспортируется в конкретную ГИС и используется для решения различных прикладных задач.
Технологический процесс подготовки электронной цифровой карты включает в себя следующие этапы:
- Сканирование типографского оригинала в полноцветном режиме с разрешением 400-600 DPI, которое определяется толщиной самого тонкого объекта ~0.1 мм. Таким образом, толщина таких линий после сканирования будет равна 3-4 растровым точкам, что обеспечит стабильную работу алгоритмов распознавания.
- Привязка растрового изображения к единой системе координат с последующей геометрической калибровкой содержимого по сетке карты. Целями данного этапа являются устранение геометрических искажений самого изображения и последующее получение корректных абсолютных координат векторных объектов. Калибровка производится путем задания эталонной и реальной сетки в абсолютной системе координат, после чего все точки изображения трансформируются в соответствии с положением узлов. Для повышения точности возможно задание дополнительных “характерных” точек на изображении с известными координатами. На рисунке 1 представлен пример калибровки карты с использованием координатной сетки и характерных точек.
Рис. 1. Пространственная калибровка топокарты.
- Предварительная обработка полученного изображения, как правило, включает в себя обрезку карты по рамке для последующей склейки соседних листов, повышение яркости или контрастности и устранение типографского растра, который вызывает появление “муара”. Для получения однородной структуры изображения используется метод адаптивного размытия цветов, который является развитием стандартного “гауссовского блура”, но с различными коэффициентами участия центрального пикселя (высотой пика кривой). Коэффициенты рассчитываются на основе направленной матрицы “сегментации”, которая позволяет определить степень различия между соседними цветами. Чем больше цветовой перепад в точке, тем меньше она размывается, верно и обратное. Данный подход позволяет размыть однородные области изображения, сохраняя при этом границы между цветами (рис. 2 – 5).
Рис. 2. Пример типографского растра.
Рис. 3. Результат сегментации изображения.
Рис. 4. Результат адаптивного размытия радиусом 3.5 пикселя
с учетом построенной маски коэффициентов.
Рис.5 Результат обычного размытия (“гауссовского блура”)
радиусом 3.5 пикселя.
- Редуцирование цветов изображения с целью получения определенного количества чистых цветов. Как правило, на топокартах присутствует несколько типовых слоев, которые представлены цветами, отображенными в виде таблицы на полях карты. В процессе печати и последующего сканирования типографского отпечатка, образуются так называемые “полутона“, которые оказывают существенное влияние на результаты обработки карты. Используемый метод редуцирования цветов позволяет минимизировать степень их взаимного влияния, за счет построения специальной таблицы. Таблица содержит все возможные комбинации чистых цветов при наложении друг на друга, что позволяет классифицировать полутон, как один из чистых цветов (рис. 6). Возможно также ручное задание дополнительных полутонов для каждого чистого цвета.
Рис. 6. Редуцирование количества цветов по таблице.
- Бинаризация по цвету слоя изолиний с последующей автоматической или полуавтоматической векторизацией. На этом этапе тип обработки определяется качеством бинаризованных линий уровня и их плотностью. Если рельеф местности достаточно однороден, т.е. линии изолированы друг от друга, возможно использование автоматической векторизации, в противном случае лучший результат дает интерактивная трассировка полилиний. В результате получается набор замкнутых полилиний, каждой из которых можно задать реальную высоту над уровнем моря и построить карту высот типовым методом триангуляции.
- Полуавтоматическая или ручная сколка объектов гидрографии, сети дорог и населенных пунктов. Эту операцию можно производить непосредственно на цветной карте с помощью трассировки полилиний и контуров с последующим редактированием топологии полученных объектов (рис. 7).
Рис. 7. Полуавтоматическая трассировка линии реки и контура леса на цветном растре.
- Редактирование полученных векторных объектов. На этом этапе происходит означивание атрибутов полученных объектов и коррекция геометрических параметров. Для упрощения процесса редактирования в систему добавлен специализированный постпроцессор обработки векторных объектов, который позволяет устранить ряд типовых ошибок в автоматическом режиме (рис. 8).
В результате описанного техпроцесса обработки топографической карты получается многослойный гибридный документ, который содержит растровое изображение в качестве подложки и множество векторных объектов, разложенных по слоям. Эти данные полностью или частично могут быть экспортированы во внешнюю ГИС и использованы для решения конкретных задач предметной области.
1.2. Обработка и редактирование чертежей, планов и схем.
Исходным материалом для получения электронного документа являются нарисованные вручную оригиналы, их синьки и ксерокопии. Достаточно часто при сканировании этих типов изображений (к примеру, синек) в монохромном режиме невозможно достичь приемлемого качества электронной копии. По этой причине необходимо предусмотреть в системе возможность обработки серых полутоновых изображений с их последующим преобразованием в монохромные. Средства и технология обработки таких изображений зависят от их последующего использования. Если чертеж, план или схема просто перевыпускаются, предназначены для хранения в электронном архиве или предполагают лишь частичное редактирование, достаточно улучшить качество растрового изображения. Если же предполагается интенсивное использование чертежа в новых проектах с применением САПР, то необходима полная или частичная векторизация. Таким образом, техпроцесс обработки изображений данного типа предполагает следующие этапы:
Рис. 8. Настройка параметров векторного постпроцессора
программы “Spotlight”.
- Сканирование оригинала с разрешением 300-400 DPI в полутоновом или монохромном режиме. Сканирование в тонах серого цвета производится в случае, если изображение содержит неоднородный фон и сканер не может провести корректную аппаратную бинаризацию. Для таких оригиналов в некоторых моделях сканеров существует режим сканирования на просвет, который дает более качественные монохромные изображения, но большинство сканеров такой возможности не имеют.
- Пороговая бинаризация полутоновых изображений. В случаях, когда обычная бинаризация по заданному порогу не позволяет получить монохромное изображение приемлемого качества, используется адаптивная бинаризация. Отличие от базового метода состоит в предварительном вычислении низкочастотной фоновой составляющей с последующим выравниванием яркости в разных частях изображения. Сравнить результаты работы обоих методов при бинаризации типичной “синьки” можно по рисунку 9.
Рис. 9. Фрагмент чертежа (синьки) с неоднородным фоном.
Рис. 10. Сравнительные результаты обычной пороговой и
адаптивной бинаризации синьки.
- Улучшение качества монохромного изображения. Типовая последовательность действий включает в себя: устранение перекоса, 4-х точечную коррекцию искажений, приведение изображения к заданному формату бумаги, удаление “мусора” и “ворсистости”. Устранение перекоса производится автоматически на основе вычисления среднего угла наклона линий с последующим поворотом содержимого изображения на противоположный угол. Коррекция искажений формы, включая трапециевидные, производится по известным размерам прямоугольника, например, внутренней или внешней рамки формата. После нахождения рамки на чертеже содержимое изображения трансформируется в соответствии с заданными размерами (рис.11).
Рис. 11. Коррекция изображения по формату.
Обрезка изображения так же может быть проведена автоматически по найденной рамке формата или его содержимому (черным пикселям). Для улучшения качества самих объектов в системе предусмотрен широкий набор монохромных фильтров (рис. 12, 13). При этом все описанные операции могут быть проведены в автоматическом пакетном режиме.
- Разделение растровых объектов по слоям. В ряде случаев этот этап является необходимым перед распознаванием изображения. Его результатом являются несколько растровых изображений, каждое из которых содержит объекты определенного типа, что облегчает процесс их редактирования. Программа “Spotlight” позволяет экстрагировать из изображения тексты, штриховки, полигоны и изолированные объекты определенного размера (рис. 14).
Рис. 12. Устранение эффекта “ворсистости” линий.
Рис. 13. Удаление высокочастотного шума (“мусора”).
Рис. 14. Пример выделения текстов на чертеже.
Последующие этапы обработки сильно зависят от типа изображения и поставленной цели. В частности, если это требующий модификации чертеж детали, электросхема или поэтажный план, возможна автоматическая векторизация с последующим редактированием в среде “Автокада” или архитектурном приложении. В случае же, если изображение предназначено для хранения в электронном архиве и предполагаются лишь его небольшие изменения, возможно завершение обработки на этом этапе.
- Автоматическая векторизация. Модуль векторизации программы “Spotlight” позволяет распознавать следующие типы объектов: отрезок, окружность, дуга, полилиния, текст, полигон, штриховка и специальный символ. Тексты и символы предполагают процесс обучения заданному прототипу (рис. 15).
Рис. 15. Добавление прототипа для цифры “5”.
Перед запуском процесса векторизации оператор настраивает параметры растра и выбирает множество типов векторных объектов, которые должны быть распознаны на чертеже (рис. 16). Возможные результаты распознавания динамически отображаются в поле чертежа при изменении любого из параметров. Настройки могут быть сохранены в специальном файле для дальнейшего использования в режиме пакетной векторизации однотипных изображений.
Рис. 17. Настройка параметров векторизации чертежа.
- Интерактивная векторизация (трассировка) и гибридное редактирование изображений. Как было отмечено выше, перевод изображений в векторную форму не всегда нужен и достаточно часто не возможен по причине плохого качества оригинала. В этих случаях гораздо эффективней использовать методы полуавтоматической векторизации или гибридное редактирование, как их закономерное развитие. Описанные в предыдущих главах методы и алгоритмы, реализованные в программе, позволяют интеллектуальное редактирование растровых объектов и предоставляют следующие возможности:
- Векторизация растровых объектов методом указания нужного из них с последующим удалением его растрового прототипа (рис. 18);
Рис. 18. Результат трассировки растра со стиранием.
- Выбор одного или нескольких объектов растра с использованием векторных способов селекции;
Рис. 19. Выбор группы растровых объектов прямоугольником.
- Привязка к характерным точкам растровых и векторных объектов при их создании и редактировании (рис. 20);
Рис. 20. Настройка привязки программы “Spotlight”.
- Изменение геометрических и атрибутивных параметров растровых объектов в процессе их редактирования (рис. 21);
- Использование векторной коррекции при работе с группой растровых объектов, включая обрезку, выравнивание, ортогонализацию, построение фасок и скруглений, разбиение, объединение и автоматическую коррекцию (рис. 22).
Рис. 21. Изменение параметров растровых окружностей.
Рис. 22. Выравнивание группы растровых линий
по векторной границе.
Описанные примеры, способы, процедуры и возможности про0-граммы “Spotlight” позволяют построить эффективные технологические процессы обработки изображений различного класса. Практическая реализация набора автоматических операций обеспечивает возможность пакетной обработки больших объемов данных без участия оператора. В свою очередь, созданная технология гибридного редактирования графической информации существенно расширяет область применения САИ для решения подобных задач.
2. Экспериментальная оценка надежности классифицирующих алгоритмов.
Для оценки надежности описанных алгоритмов прилагается методика измерения параметров векторных эталонов. Под векторным эталоном понимается объект с известными геометрическими и атрибутивными параметрами. В нашем случае это может быть чертеж, план или схема, созданные в специализированном векторном редакторе или же произвольный набор случайно сгенерированных векторных примитивов. Предложенная методика заключается в следующем:
Производится загрузка или генерация эталонного векторного изображения с нужным количеством примитивов (объем выборки).
Рис. 23. Эталонный векторный чертеж.
Осуществляется его растрирование с целью получения монохромного растрового изображения (рис 24).
Рис. 24. Растрированный векторный чертеж.
Определяются параметры растра и набор выходных классов, в нашем случае это дуги, окружности, линии и текст. Далее проводится автоматическая или интерактивная векторизация (распознавание) созданного растрового изображения (рис 25).
Рис. 25. Результат автоматической векторизации.
Полученные вектора сравниваются с эталонными векторами по типу и геометрическим параметрам на предмет их совпадения, при этом нормированные результаты сравнения заносятся в таблицу. Причем, в отличие от классического метода максимального правдоподобия, помимо критерия “правильно классифицирован объект или нет” при расчете используется весовой коэффициент достоверности, который рассчитывается как нормированное к длине объекта геометрическое отклонение формы. Типовые ошибки распознавания представлены на рисунках 26-29.
Рис. 26. Частичное распознавание окружности.
Рис. 27. Некорректный расчет дуги скругления.
Рис. 28. Поглощение линией дуги.
Рис. 29. Множественные ошибки классификации в области плотного скопления мелких объектов.
Рис. 30. Диаграмма качества классификации примитивов
для различных типов изображений.
Производится расчет относительных частот событий и соответственно апостериорной вероятности правильной классификации объекта на заданной выборке. Рассчитанное значение вероятности можно использовать для оценки эффективности предложенных алгоритмов. В частности, если вероятность правильной классификации равна 0.75, на практике это означает, что 75% объектов будут распознаны правильно и времени на ввод и редактирование чертежа будет затрачено в 4 раза меньше, чем на его ручную перерисовку.
Результаты экспериментального расчета вероятности правильной классификации для различных типов изображений приведены на диаграмме.
Из диаграммы совершенно очевидно, что предложенные методики, методы и алгоритмы имеют наибольшую эффективность при обработке схематичных изображений в электротехнике, строительстве и машиностроении. Экономия времени на ввод и обработку изображений в других предметных областях существенно меньше, но в любом случае предполагает их использование при малых объемах изменений, что позволяет сделать вывод о достаточно высокой эффективности инструментальной системы в целом.