NVIDIA продемонстрировала свой алгоритм автоматического восстановления изображений на основе ИИ
24.04.2018
Технология Content-Aware Fill в Adobe Photoshop в данный момент является стандартом, когда дело касается удаления нежелательных артефактов и лишних объектов, однако похоже у Adobe появился конкурент. Компания NVIDIA только что продемонстрировала свою собственную технологию восстановления изображений на основе ИИ, и ее результаты достаточно впечатляют.
Как можно увидеть в видео-демонстрации выше, инструмент можно использовать как для базовых заданий, таких как удаление провода из кадра, так и для более сложных вещей, таких как реконструкция книг и полок внутри сложной библиотечной сцены.
Секрет данного инструмента - специальный глубокий метод машинного обучения от NVIDIA. Инструмент не только использует пиксели внутри изображения для восстановления поврежденной области, он анализирует все изображение и определяет, как оно должно выглядеть, когда будет закончено. Это помогает достигать гораздо более точных и реалистичных результатов, даже если исходное изображение очень плохого качества.
Слева направо: поврежденное изображение, результаты Adobe Content-Aware, результаты NVIDIA и изначальное изображение.
NVIDIA заявляет, что “модель успешно справляется с повреждениями любой формы, размера и расстояния от границ изображения. Кроме того, производительность не ухудшается катастрофически при увеличении повреждения в размерах”.
Тем не менее, исследователи компании отмечают и недостатки технологии: “она не подходит для некоторых изображений с большими пробелами в структуре, таких как решетки на двери”. Пример такого изображения представлен ниже.
Слева направо: поврежденное изображение, результаты NVIDIA, изначальное изображение
Информации о том, когда данная технология может появиться на потребительском рынке и в каких продуктах, пока не поступало. Однако, безусловно, пока это один из самых продвинутых примеров автоматического “умного” восстановления изображений.
