Представьте камеры, способные улавливать невидимый свет – ультрафиолетовые лучи, провоцирующие солнечные ожоги, или инфракрасное тепло, раскрывающее скрытые надписи. Или, например, устройства, столь чувствительные, что различают тончайшие цветовые оттенки краски, едва заметные при определенном освещении. Ученые и инженеры сталкиваются с этой задачей ежедневно, но данные, которые они получают, настолько велики, что становятся почти неуправляемыми.
Новый формат сжатия Spectral JPEG XL призван решить эту проблему. Исследователи из Intel, Албан Фише и Кристоф Питерс, описали его в статье для журнала Journal of Computer Graphics Techniques. Формат устраняет ключевое ограничение для отраслей, работающих с такими изображениями.
Спектральные файлы могут содержать до 100 точек данных на пиксель. Из-за этого их размеры достигают нескольких гигабайт, что затрудняет хранение и анализ.
Обычно цифровые изображения используют три цвета: красный, зеленый и синий (RGB). Это подходит для повседневных фотографий, но для точного воспроизведения света и цвета требуется больше деталей.
Спектральные изображения фиксируют интенсивность света не только в широких RGB-диапазонах, но и в десятках или сотнях узких волновых полос. Эта информация охватывает видимый спектр, а также ближние инфракрасные и ультрафиолетовые области, что важно для точного моделирования взаимодействия материалов со светом.
В отличие от обычных RGB-изображений с тремя каналами, спектральные файлы содержат множество каналов. Каждый из них фиксирует интенсивность света в узкой полосе длин волн. В статье рассматривается работа со спектральными изображениями, включающими 31 канал, а также приводятся примеры с 81 полосой.
Эти изображения часто требуют более широкого диапазона значений яркости, чем стандартные фотографии. Чтобы справиться с этим, они используют высокоточные форматы, такие как 16-битные или 32-битные числа с плавающей точкой для каждого канала. Это позволяет захватывать данные с высоким динамическим диапазоном (HDR). В отличие от обычных 8-битных изображений, такой подход важен для точного отображения как ярких источников света, так и темных элементов сцены.
Исследуя мир за пределами RGB
Зачем нужна такая детальная информация о длине волны на изображении? Ответ прост: для самых разных целей. Автопроизводители хотят точно предсказать, как краска будет выглядеть при разном освещении. Ученые используют спектральную визуализацию, чтобы определить материалы по их уникальным световым «отпечаткам». А специалисты по рендерингу применяют эту технологию для точного моделирования оптических эффектов, таких как дисперсия (например, радуга от призм) и флуоресценция.
Астрономы анализировали спектральные линии гамма-всплесков, чтобы определить химические вещества во взрыве. Физики восстанавливали исходные цвета на первых фотографиях XIX века. Многоспектральная съёмка помогла обнаружить скрытый текст в средневековых рукописях, таких как Манускрипт Войнича. Иногда даже удавалось выявить личности прошлых читателей или писцов благодаря слабым поверхностным гравюрам.
Однако, текущий стандарт хранения таких данных, OpenEXR, не был создан для этих грандиозных спектральных требований. Даже со встроенными методами сжатия без потерь, например, ZIP, файлы остаются слишком громоздкими для практической работы. Эти методы не справляются с большим количеством спектральных каналов.
Spectral JPEG XL решает эту проблему, используя технику, аналогичную той, что применяется для обычных изображений. Математический метод, называемый дискретным косинусным преобразованием (DCT), преобразует информацию о длине волны в другую форму. Вместо того чтобы сохранять точную интенсивность света на каждой длине волны, что приводит к огромным файлам, DCT преобразует данные в набор волнообразных шаблонов, называемых частотными коэффициентами. Эти шаблоны при сложении воссоздают исходную спектральную информацию.
Это можно сравнить с музыкой в формате MP3. Он выборочно сохраняет частоты, которые люди воспринимают легче всего, отбрасывая тонкие детали, которые большинство слушателей не заметят. Аналогично, Spectral JPEG XL сохраняет ключевые закономерности взаимодействия света с материалами, отбрасывая менее важные детали.
Затем он применяет взвешивание, разделяя спектральные коэффициенты высоких частот на общую яркость (компонент DC). Это позволяет более агрессивно сжимать менее значимые данные. После этого информация передается в кодек. Вместо создания нового формата файла, метод использует механизмы сжатия и функции стандартизированного формата JPEG XL для хранения специально подготовленных спектральных данных.
Упрощение работы со спектральными изображениями
Исследователи утверждают, что огромные размеры файлов спектральных изображений становятся серьёзным препятствием для их применения в отраслях, которые могли бы извлечь выгоду из их высокой точности. Меньшие файлы ускоряют передачу данных, снижают затраты на хранение и позволяют работать с ними более интерактивно, не прибегая к специализированному оборудованию.
Результаты работы ученых впечатляют: их метод сжимает файлы спектральных изображений в 10-60 раз по сравнению с традиционным сжатием без потерь формата OpenEXR. Это позволяет уменьшить их до размеров, сопоставимых с высококачественными фотографиями. При этом сохраняются ключевые функции OpenEXR, включая метаданные и поддержку высокого динамического диапазона.
Хотя при сжатии теряется часть информации, исследователи разработали метод так, чтобы отбрасывать наименее заметные детали. Артефакты сжатия сосредоточены на менее важных высокочастотных спектральных компонентах, что позволяет сохранить важную визуальную информацию.
Конечно, есть ограничения. Внедрение этой технологии в практику зависит от постоянного совершенствования программного обеспечения для кодирования и декодирования JPEG XL. Как и многие передовые форматы, первоначальные реализации могут потребовать доработки для полного раскрытия всех возможностей. Это процесс, который требует времени.
Хотя Spectral JPEG XL существенно уменьшает размеры файлов, подход с потерями может быть недостаточен для некоторых научных приложений. Некоторые исследователи, работающие со спектральными данными, могут принять компромисс ради практических преимуществ меньших файлов и более быстрой обработки. Однако другим, работающим с особенно чувствительными измерениями, возможно, придётся искать альтернативные методы хранения.
На данный момент новая технология наиболее интересна для специализированных областей, таких как научная визуализация и высококачественный рендеринг. Однако, по мере того как отрасли, от автомобильного дизайна до медицинской визуализации, продолжают генерировать всё более крупные спектральные данные, такие методы сжатия станут незаменимыми для работы с этими массивными файлами.
