Facebook открыл наработки по распознаванию объектов на фотографиях

Лаборатория искусственного интеллекта Facebook продолжила открытие своих наработок и следом за библиотекой классификации текста представила реализацию алгоритмов DeepMask и SharpMask, позволяющих определять наличие объектов на фотографиях и выделять их из общего фона. Код оформлен в виде модулей к библиотеке глубинного машинного обучения Torch, написанных на языке Lua и распространяемых под лицензией BSD.

Целью разработки является предоставление средств для разбора изображений на уровне отдельных пикселей, выделяя отдельные объекты с предоставлением информации о том, что они из себя представляют на основе базы моделей, полученной в результате машинного обучения системы по типовым шаблонам. Предложенные алгоритмы позволяют на основе машинного анализа визуальной информации классифицировать отдельные элементы фотографии, определить что именно изображено и с точностью до отдельных пикселей выделить различные объекты из общего фона.

https://scontent-waw1-1.xx.fbcdn.net...82934461_n.jpg

DeepMask представляет собой общий алгоритм для выделения сегментов изображения, а SharpMask предоставляет средстве для уточнения результата, в сумме формируя основу для построения систем машинного зрения. Конечная фаза распознавания реализована в виде специализирвоанной свёрточной нейронной сети MultiPathNet, которая позволяет связать выделенные из изображения маски с типами объектов.

https://scontent-waw1-1.xx.fbcdn.net...78790628_n.jpg

https://scontent-waw1-1.xx.fbcdn.net...35692944_n.jpg

Для загрузки подготовлены как готовые модели, позволяющие без предварительного обучения системы выявлять такие объекты как животные, люди и автомобили, так и компоненты для обучения системы распознаванию новых типов объектов. Для ознакомления с возможностями системы подготовлен набор демонстрационных примеров. Из планов на будущее отмечается адаптация технологии для выделения движущихся объектов на видео.

https://scontent-waw1-1.xx.fbcdn.net...86941892_n.jpg



Источник: Источник:https://code.facebook.com/posts/5611...ith-sharpmask/