Исследователи разработали алгоритм ИИ, с удивительной точностью убирающий шум с фотографий
11.07.2018
Команда исследователей NVIDIA вместе с учеными из Университета Аалто и Масачусетского Технологического Института разработали новую систему искусственного интеллекта (ИИ), которая крайне точно убирает зерно из фотографий, эффективно снижая их “шумность”.
“Используя графические процессоры NVIDIA Tesla P100 с cuDNN-ускоренным фреймворком глубокого обучения TensorFlow, команда натренировала систему на 50 000 изображениях из набора валидации ImageNet”, - сообщает NVIDIA в своем блоге.
Результаты для Пуассоновского шума. Результат был получен, используя “шумовые цели”.
Слева - исходное изображение с шумом, посередине - результат удаления шума, справа - исходное изображение без шума.
Что поражает в этом алгоритме, это то, что он знает как должно выглядеть чистое изображение, при том, что алгоритм вообще не видел изображения без шума. Вместо того, чтобы натренировать данную сеть, показывая шумное и чистое изображение, ИИ NVIDIA показывали изображения с двумя различными паттернами шума.
Случайный импульсный шум. ИИ тренировался только на шумных парах изображения.
Самое левое изображение - пример тренировочных пар, второе слева - исходное изображение с шумом, третье слева - результат удаления шума, правое изображение - исходное изображение без шума.
“Возможно научить [нейронную сеть] восстанавливать сигналы без наблюдения чистых сигналов, с эффективностью иногда превышающей тренировку с использованием чистых экземпляров”, - пишут исследователи. В отчете также сообщается: “[нейронная сеть] находится на одном уровне с самыми современными методами, использующими примеры чистого изображения - используя точно такую же методику обучения и часто без значительных недостатков во времени обучения или производительности”.
Пример с восстановлением магнитно-резонансной томографии. Верхняя тройка - МРТ сканы, нижняя тройка - спектральные данные. (а) Исходное изображение с 10% сохраненных спектральных образцов (b) Реконструкция с помощью сети, натренированной на шумных изображениях сходных с исходным изображением (c) Оригинальное неповрежденное изображение.
В дополнение к использованию сети на фотографиях, исследователи также отмечают, что алгоритм может эффективно применяться в научных и медицинских целях. В частности, исследователи подробно описывают, что изображения, полученные с помощью магнитно-резонансной томографии (МРТ), которые очень восприимчивы к шуму, могут быть значительно улучшены с помощью программы, что приведет к более точной постановке диагнозов.
Команда исследователей презентует свою работу на Международной конференции по машинному обучению 12 июля 2018.
