Лучше, чем JPEG? Ученые обнаружили, что Stable Diffusion может сжимать изображения.😊

Лучше, чем JPEG? Ученые обнаружили, что Stable Diffusion может сжимать изображения.😊

На прошлой неделе швейцарский инженер-программист Маттиас Бюльманн обнаружил, что популярная модель синтеза изображений Stable Diffusion, с открытым исходным кодом, может сжимать существующие растровые изображения с меньшим количеством визуальных артефактов, чем JPEG или WebP, при высоких коэффициентах сжатия.

Когда Stable Diffusion анализирует и «сжимает» изображения в весовую форму, они находятся в том, что исследователи называют «скрытым пространством», что является способом сказать, что они существуют как своего рода нечеткий потенциал, который может быть реализован в изображения после их декодирования.🤔

В Stable Diffusion 1.4 файл весов занимает примерно 4 ГБ, но он представляет собой информацию о сотнях миллионов изображений.

☝🏻В то время как большинство людей используют Stable Diffusion с текстовыми подсказками, Бюльманн вырезал текстовый кодировщик и вместо этого прогнал свои изображения через процесс кодирования изображений Stable Diffusion.

В одном примере он показывает фотографию ламы (первоначально 768 КБ), которая была сжата до 5,68 КБ с помощью JPEG, 5,71 КБ с помощью WebP и 4,98 КБ с помощью Stable Diffusion.

Изображение Stable Diffusion, по-видимому, имеет больше деталей и меньше очевидных артефактов сжатия, чем изображения, сжатые в других форматах.😎

🔻Но есть нюансы:

Однако в настоящее время метод Бюльмана имеет существенные ограничения: он плохо работает с лицами или текстом, а в некоторых случаях он может на самом деле галлюцинировать детализированные детали в декодированном изображении, которых не было в исходном изображении. (Вероятно, вы не хотите, чтобы ваш компрессор изображения изобретал детали в несуществующем изображении.)🤷🏼‍♀️

Кроме того, для декодирования требуется файл весов стабильной диффузии объемом 4 ГБ и дополнительное время на декодирование.

Хотя такое использование Stable Diffusion является нетрадиционным и скорее забавным, чем практическим решением, оно потенциально может указать на новое будущее использование моделей синтеза изображений.

_______
Источник | #black_triangle_tg