Twitter начал использовать ИИ для умной обрезки фотографий
29.01.2018
Twitter добавил возможность загрузки картинок еще в 2011, однако у функции был серьезный минус - ужасная обрезка. Как объясняли инженеры Twitter, платформа автоматически делает превью изображений для согласованности в ленте, однако ранее обрезка происходила по центру и часто засчет объекта фотографии. Плохо обрезанные изображения могут спрятать самые интересные части снимка, вместо этого демонстрируя куски стен, пустое небо и т.п.
По словам инженеров Twitter, компания в какой-то момент использовала распознавание лиц, чтобы немного решить эту проблему. При этом система идентифицировала наиболее заметное лицо в изображении и делала обрезку вокруг него. Система не была идеальной, хотя она позволила избежать совсем непригодных обрезок.
Улучшенная система, по мнению исследователей, основывается на “значимости” - на самых заметных и выделяющихся частях изображения.
“В целом, люди больше обращают внимание на лица, текст, животных, но также на объекты и области высокого контраста,” - объясняют инженеры. И хотя нейронная сеть может быть натренирована на то, чтобы идентифицировать значимые части изображения, она работала слишком медленно для того, чтобы использовать ее для социальной сети.
Тем не менее, команда разработчиков нашла способ оптимизации системы, ускорив ее работу почти в 10 раз, что позволяет Twitter почти мгновенно определять наиболее заметную часть фотографии и обрезать, расположив это место по центру. В итоге получаются более интересные превью, примеры которых представлены ниже:
Twitter уже запустил работу нового алгоритма превью в веб-версии, а также в приложениях для iOS и Android.
