Исследователи NVIDIA научились создавать слоу-моушн 240 к/с из 30 к/с видео, используя искусственный интеллект
21.06.2018
Исследователи NVIDIA разработали новый метод создания замедленного видео с частотой 240 к/с из роликов скоростью 30 к/с с использованием искусственного интеллекта. Результаты исследования опубликованы в статье, представленной Библиотекой Корнельского университета.
Система была натренирована с помощью обработки более чем 11000 видео с помощью графических процессоров NVIDIA Tesla V100 GPU, библиотеки cuDNN и фреймворка глубокого обучения PyTorch. Этот архив видео, снятого в 240 к/с, научил систему предсказывать различия в позиционировании для роликов, снятых всего на 30 к/с.
Это не первая подобная попытка. Плагин для обработки видео под названием Twixtor получил ту же опцию почти десять лет назад, однако его результаты даже близко не могут сравниться с результатами NVIDIA в том, что касается качества и точности. Даже в сценах с большим количеством деталей, в интерполированных кадрах появляется лишь минимальное количество нежелательных артефактов.
Исследователи также отмечают, что несмотря на то, что уже появились смартфоны, снимающие видео на 240 к/с, это необязательно хорошая идея использовать всю эту вычислительную мощность и память устройства, чтобы получить результат на 99% схожий с тем, что может сделать их система:
“Несмотря на то, что возможно получить видео 240 кадров в секунду с помощью мобильного телефона, запись всего подряд на высокой частоте кадров непрактична, она требует большого количества памяти и является слишком энергоемкой для мобильных устройств”, - пишут исследователи.
Исследования и выводы, описанные в статье, будут также представлены на ежегодной конференции по компьютерному видению и распознаванию образов (CVPR) в американском городе Солт-Лейк-Сити на этой неделе.
