Погружение в матрицу: Анализ структуры и методы распознавания QR-кода

В современном мире информация может представляться в самых причудливых формах. Причины для этого разные и не всегда имеют стеганографическую подоплеку. У «человека разумного» буквально появился «третий глаз»: мобильный телефон стал неотъемлемым атрибутом каждого из нас. А что именно с его помощью мы попытаемся разглядеть, ты узнаешь из этой статьи.

Повсеместно распространенным штрих-кодом сейчас уже никого не удивишь. В реальной жизни представление информации в виде последовательности черно-белых полос стало привычным настолько же, насколько привычной стала покупка какого-либо товара в супермаркете. Кодирование информации о продукте (страна-изготовитель, непосредственно сам изготовитель товара, тип товара и т.п.) производится с целью упрощения дальнейшего ее извлечения автоматизированными средствами. Именно для этого хорошо подходит штриховой код, который в силу своей линейной структуры хорошо читается в горизонтальном направлении.

Однако прогресс не стоит на месте, и в скором времени того объема информации, который способны перенести в себе линейные кодировки (до 30 цифровых символов), стало не хватать производителям бесконечно растущих объемов продукции. Инженеры стали задумываться о способах расширения объемов кодируемых данных и результатом их деятельности стало появление на свет двумерных штрих-кодов, но вот сфера их применения, в силу специфики, перестала ограничиваться исключительно «пометкой» различной продукции. Нынче представители семейства «матричных» активно используются в среде потребительской, и теперь им находят все более интересные способы применения. И чтобы при случайной встрече с ними ты не смотрел на них, как на картинку с ребусом, мы научимся распознавать их не только по внешним признакам, но и напишем программный инструмент, который позволит тебе определить содержание контейнера с данными, а также поговорим о нестандартных способах использования матричного кодирования. Пришел. Увидел. Распознал.

Чтобы не получить в конечном счете «кашу» из определений, предлагаю придерживаться общей классификации способов кодирования информации. Как уже было упомянуто в начале, разделяют два принципиально разных типа кодирования:

Линейный (одномерный). Наиболее распространенный представитель — (в народе называемый «штрихкодом»).
Двумерный. В свою очередь он делится на:
1. многоуровневый (stacked);
2. матричный (matrix).

Многоуровневые коды нам неинтересны, так как они представляют собой попросту «многослойный» линейный код. В свою очередь, матричные кодировки «упаковывают» информацию как по горизонтали, так и по вертикали, что позволяет радикально увеличить объем хранимых данных и, соответственно, снять ограничения на их тип — теперь становится возможным кодирование текстовых данных.

Из всего многообразия матричных кодов нам интересен QR-код. Его повсеместная распространенность (одна только Япония использует эти кодировки с такой завидной популярностью, как, например, мы используем таблички с указанием названия улицы и номера дома) обусловлена прежде всего высокой степенью его распознаваемости и, как следствие, простотой распознающего оборудования. Кстати, аббревиатура QR образована от англ. «quick response», что в переводе на великий и могучий означает «быстрый отклик».

Быстро «откликнуться» конкретный экземпляр QR-кодов может на самое непривередливое оборудование. Так, например, имея в наличии мобильный телефон или любой другой девайс с камерой практически любого разрешения, можно считать себя уже достаточно укомплектованным для охоты за QR-кодами. Если сфотографировать QR-картинку, прилагающуюся к статье (или открыть ее с диска и сделать банальный PrintScreen, но это выглядит менее эффектно), пропустить фотографию через одну из программ распознавания, то мы получим следующую строку:

Xakep Online: http://xakep.ru

Что делать с полученной информацией (перейти по ссылке на веб-ресурс, сохранить ссылочку в заметках или в контактах и т.п.), ты решишь самостоятельно.

Программы для распознавания QR-кодов доступны практически под любые платформы, однако большинство из них рассчитано на мобильную аудиторию. Неудивительно, ведь в подавляющем большинстве случаев, когда мы можем встретить «белый квадрат с черными точками», у нас под рукой не окажется ничего, кроме мобильного телефона.

Большинство программ находятся в свободном доступе и являются бесплатными, однако мало кто из разработчиков делится исходными кодами своего ПО. Может быть, этот факт обусловлен отсутствием интереса конечного пользователя, а может быть, производитель не хочет раскрывать деталей алгоритма распознавания. Так или иначе, мы самостоятельно разберемся с деталями распознавания QR-кода программным способом, написав полноценное приложение, которое, в прямом смысле, позволит нам получать из картинки содержащуюся в ней текстовую информацию.

Готовим инструменты

Разрабатывать приложение мы будем под платформу .NET на языке C#. Выбор данного инструментария основан не только на удобстве и скорости разработки приложения, но и на получении многоплатформенного результата. По определению, скомпилированный под .NET Framework проект в силу ряда особенностей наделен свойствами кроссплатформенности. Плюс ко всему, если скомпилировать полученный проект с поддержкой окружения .NET Compact Framework, мы получаем высокопроизводительное приложение, специально адаптированное для запуска на мобильных платформах. Указанная совместимость без дополнительных трудозатрат объясняется следующей особенностью: Microsoft .NET Compact Framework представляет собой несколько урезанную версию .NET Framework, поэтому в большинстве случаев от разработчика приложений под мобильные устройства не требуется лишних действий с исходными кодами для переноса функционала на десктопные платформы.

Если с выбором инструмента создания ПО все практически очевидно, то с инструментами для манипуляций с QR-кодом дела обстоят несколько сложнее. В .NET Framework нет «нативных» средств для работы с матричными кодировками.

В процессе поиска сторонних библиотек для работы с матричными кодами я столкнулся с веб-ресурсом восточной компании, занимающейся профессиональной работой с изображениями и обработкой баркодов (двумерных кодов, к коим относится и QR). Результатами своей деятельности в виде демонстрационных версий компонент для кодирования/декодирования ряда двумерных представителей штрихкодов разработчики компании любезно делятся с посетителями. SDK доступно для скачивания и содержит библиотеки под разные платформы: Windows, *NIX, Windows Mobile, Symbian и iPhone (Mac OS). Для интересующей нас платформы Windows, а также для Windows Mobile SDK предоставляется вместе с динамической библиотекой (.dll), что позволяет легко использовать его в проектах на .NET/VC/VB. Помимо манипуляций с QRCode библиотека также умеет работать с DataMatrix и PDF417. Так что если у тебя возникнет желание расширить свой кругозор и поиграться с другими типами кодирования, то все нижеописанные действия в общем случае подходят и для указанных кодировок.

Разбираем матрицу

Рассмотрим общую структуру приложения, которое, как предполагается, будет декодировать QR-код. Первую и, пожалуй, самую большую часть исходного кода занимает описание основного программного класса: определение констант, структурные секции, секции описания функций, предоставляемых сторонней библиотекой. Представление исходных данных в виде картинки описывает структура PTIMAGE.

Структура, описывающая параметры изображения

unsafe public struct PTIMAGE { public int dwWidth;// ширина изображения в пикселях public int dwHeight;//высота изображения в пикселях public byte* pBits;//указатель на данные исходного изображения public byte* pPalette;// указатель на данные о палитре изображения (1,4,8 бит) public short wBitsPerPixel; //число бит на пиксель }

SDK поддерживает большинство форматов файлов изображений. Учитывая тот факт, что большинство камер экспортируют снимки в наиболее распространенные форматы, проблем с несовместимостью быть не должно. Далее идет раздел описания функций, которые экспортируют библиотеки, входящие в состав SDK. Заострять внимание на их подключении мы не будем.

Следующим этапом будет описание параметров библиотеки декодирования баркодов в структуре PTDECODEPARA:

Структура PTDECODEPARA используется для определения параметров при декодировании баркода на изображении

public unsafe struct PTDECODEPARA { public int dwStartX;// начало координаты X в пикселях в окне поиска изображений для декодирования public int dwStartY; public int dwEndX; public int dwEndY; public int dwMaxCount;//максимальное количество символов для поиска; если значение равно 0, то ищем все символы };

Манипулируя со значением переменной dwMaxCount, мы получаем возможность управлять производительностью приложения, фокусируя наш «декодировщик» на конкретных областях исходного изображения и избегая функционирования «в холостую». Следующая структура заполняется непосредственно после определения области изображения, в которой находится баркод:

После декодирования структура PTBARCODEINFO содержит баркод с информацией

public unsafe struct PTBARCODEINFO { /*координаты четырех углов баркода в пикселях*/ public int dwX1, dwY1; public int dwX2, dwY2; public int dwX3, dwY3; public int dwX4, dwY4; public byte* pData; //указатель на буфер, который содержит данные баркода public int dwDataLen; //длина данных (в байтах) баркода };

Если ты внимательно посмотришь на картинку с QR-кодом, то сразу заметишь три выделяющихся квадратных области — это ориентиры для средств распознавания, своего рода «указатель» программе на то, что среди прочего набора пикселей на картинке присутствует QR-код.

Главная функция нашего приложения проста до безобразия, поэтому в полном объеме приводить ее не будем, а сосредоточим внимание на следующих инструкциях:

static void Main(string[] args) { PtQRDecodeRegister("12345678901234567890");//использование ключа демонстрационной версии PtInitImage(ref image); // инициализация структуры изображения … if (OpenFileDlg.FileName != "") { FileName = OpenFileDlg.FileName; DecodeQR(); } … }

Как ты уже понял, непосредственно процесс распознавания скрывается в инструкциях функции DecodeQR(), которая после определения области QR-кода передает инструкции обработчику баркода, а он, в свою очередь, демонстрирует пользователю информацию, содержащуюся в картинке:

static private void DecodeQR() { … /*если операции загрузки изображения и определения наличия в нем баркода выполнены успешно*/ if (PtLoadImage(FileName, ref image, 0) == PT_IMAGERW_SUCCESS) { if (PtQRDecode(ref image, ref DecodePara, ref BarCodeInfo) != PT_QRDECODE_SUCCESS) MessageBox.Show("An error occured while rocognition "); else ShowBarCodeInfo(ref BarCodeInfo);//передача полученной структуры функции-обработчику } … } //описание функции-обработчика, возвращающей строку QR-кода static public unsafe void ShowBarCodeInfo( ref PTTOTALBARCODEINFO BarCodeInfo) { if (BarCodeInfo.dwTotalCount <= 0) { MessageBox.Show("No barcode was found"); return; } string str = ""; //совокупность операций получения строки { … str = str+Encoding.Default.GetString(byteArray); //Encoding.GetEncoding("GB2312").GetString str = str + "\n\n"; } str = str + ‘\0’; MessageBox.Show(str); }

Вроде бы результат достигнут. Однако легкий «краш-тест» полученного приложения позволил выявить его сильные и слабые стороны.

процесс распознавания не зависит от положения QR-кода на картинке;
процесс распознавания не зависит от степени поворота QR-кода и его масштаба.

Однако с распознаванием кодов в 3D все несколько хуже: искажение в соотношении сторон QR-кода может негативно сказаться на качестве определения его содержимого.

В общем, можно сказать, что эта библиотека предоставляет разработчику широкие возможности для работы с матричными кодами. В ней имеются встроенные средства коррекции ошибок и восстановления поврежденных областей исходных изображений, а возможности изменения параметров точности распознавания позволяют программисту найти золотую середину в тандеме параметров «производительность/эффективность».

Перспективы .Decode()

Рамки применения QR-кода ограничиваются исключительно фантазией своего интегратора. Банальный обмен контактными данными (адреса сайтов на картинке в каком-либо общественном месте, эффектная демонстрация данных визитки на черно-белой карточке, реклама и объявления, приглашения и др.) на фоне массы других способов уже кажется, как минимум, неоригинальным.

Идея расширения видимой реальности с помощью подручных средств, коими являются мобильные телефоны, кажется уже не настолько далекой и требующей технического прогресса.

А практичность данного вида представления информации для конечного потребителя заметна уже сейчас. Обладатель телефона, интересующийся, например, меню какого-либо ресторана (бара, кафе, памятником архитектуры или любым другим зданием, содержащим QR-код, который несет полезную информацию), при наведении камерой на QR-область может ознакомиться в реальном времени с меню, не посещая заведение.

Или ознакомиться с расписанием маршрута проезжающего мимо общественного транспорта, содержащего «полезную картинку». Альтернативное кодирование информации может оказаться полезным в вещах, имеющих стеганографическую подоплеку. Например, QR-код может быть спрятан в каком-нибудь изображении и вылезать наружу при его обесцвечивании. Ну а информация, которая появится при его распознавании, конечно же, будет зашифрованной. Поскольку стеганография — хорошо, сочетание ее с криптографией — всяко лучше.