Высокопроизводительное изменение размера изображения с изображением :: Масштаб

Несколько лет назад я помогал в разработке медиа-сервера, предназначенного для работы на любом компьютере, от настольных ПК до недорогих NAS-устройств на базе Linux. Обычной задачей для медиасервера является создание высококачественных миниатюр всех обложек альбомов, фотографий и видео в медиатеке пользователя. При сканировании библиотеки сервер должен кэшировать все эти миниатюры, чтобы они могли отображаться быстро. Кроме того, каждое изображение должно быть кэшировано в нескольких разных размерах, чтобы оптимизировать его для отображения на разных устройствах. Например, миниатюра 200×200 может хорошо работать в веб-интерфейсе, тогда как 75×75 будет лучше вписываться в мобильное приложение.

К сожалению, некоторые низкоуровневые NAS-устройства имеют очень медленные процессоры, которые были разработаны больше для простых задач передачи файлов, чем для сложной обработки изображений с интенсивной математикой. Алгоритм передискретизации в libgd, одной из наиболее распространенных библиотек изображений с открытым исходным кодом, использует около 35 умножений с плавающей точкой на пиксель целевого изображения. Создание миниатюры размером 200×200 для типичной обложки альбома 1500×1500 требует почти 1,5 миллиона операций умножения в цикле ресэмплирования ядра libgd. Компьютеры довольно хорошо умеют умножать числа вместе, но выполнять математику с дробными числами сложнее, чем с целыми числами, и обычно это делается отдельной частью ЦП, называемой FPU, или модулем с плавающей запятой. Один из способов, с помощью которого производители процессоров могут сократить расходы, — это удаление FPU. Обычный математический блок в CPU может выполнять те же вычисления,но ценой еще многих операций. Процессоры без FPU обычно используются во встроенных устройствах, таких как брандмауэры, маршрутизаторы и, конечно, устройства NAS.

Несколько лет назад одно из самых популярных потребительских устройств хранения данных включало процессор на базе SPARC с тактовой частотой 240 МГц. Естественно, в этом маленьком парне не было места для лишних излишеств, таких как FPU. Подумайте, сколько времени понадобилось этой машине, чтобы изменить размер покрытия 1500×1500 до 200×200. 5 секунд? 10? Как звучит 34 секунды? Да, за полминуты, за один эскиз. Тот факт, что людям приходилось ждать так много часов, чтобы завершился этап оформления их музыкального сканирования, был совершенно неприемлемым.

Решение

Ранее я сталкивался с концепцией математики с фиксированной запятой при работе с различными аудиокодеками, такими как libmad (MP3), Tremor (Vorbis) и FLAC. Декодирование аудио почти всегда выполняется без использования математики с плавающей точкой. Помимо повышения производительности на младших процессорах, отказ от использования FPU экономит много энергии в портативных устройствах. Математика с фиксированной запятой казалась идеальным решением нашей проблемы с изображением; если он был достаточно хорош для высококачественного звука, он должен был работать и для обработки изображений.

До этого момента мы использовали модуль GD Perl. GD — это интерфейс библиотеки libgd C, и, хотя он создает очень высококачественные миниатюры, он имеет довольно неуклюжий API и, как известно, его очень сложно создавать, особенно в Windows. Я решил взять лучшую часть libgd, его алгоритм пересэмплирования, и перенести его на математику с фиксированной запятой в гораздо более простом и удобном в использовании модуле под названием Image :: Scale. Этот модуль будет поддерживать все распространенные форматы изображений с помощью простого Perl-ish API, а также добавит несколько функций, таких как использование предварительного масштабирования JPEG, поддержание соотношения сторон путем добавления прозрачности и автоматического поворота изображений с камеры. Я также хотел добавить некоторую защиту от случайного изменения размера очень большого изображения, которое может привести к нехватке памяти в этих встроенных системах, которые обычно имеют очень малый объем оперативной памяти.libjpeg-turbo также поддерживается и настоятельно рекомендуется; он включает в себя высоко оптимизированные процедуры сборки и может улучшить обработку JPEG в 2-4 раза.

my $img = Image::Scale->new(‘image.jpg’);
$img->resize_gd_fixed_point( { width => 150 } );
$img->save_jpeg(‘resized.jpg’); # or save_png()