Исследователи из России разработали «нейропамять» для беспилотных летательных аппаратов — бортовой интеллектуальный модуль, который автоматически преобразует видеопоток с камер в структурированную объектовую сцену с историей наблюдений и геопривязкой.
Источник: Freepik
Это поможет операторам БПЛА быстрее и эффективнее инспектировать промышленные объекты и оценивать последствия аварий, сообщила ТАСС пресс-служба МФТИ.
«Наша разработка предлагает смотреть на задачу как на непрерывную цепочку: сегментация, трекинг, реидентификация, геопривязка и объектовая память. Ценность появляется не в каждом звене по отдельности, а в их связке. Вместо “в кадре что-то есть” мы получаем запись: “в 10:15 обнаружен объект такого-то типа, он наблюдался несколько секунд, его положение связано с координатами БПЛА”, — пояснил ведущий инженер МФТИ Иван Фаркатов, чьи слова приводит пресс-служба вуза.
Как отмечается в сообщении, беспилотные аппараты сейчас активно внедряются в различные отрасли промышленности, а также в чрезвычайные и спасательные службы для наблюдений за состоянием объектов, поиска выживших в различных природных и техногенных катастрофах и для многих других целей. При решении этих задач БПЛА длительное время наблюдает за одной сценой или объектом, многие из которых состоят из огромного числа элементов, за которыми сложно следить оператору.
О системе
Для решения этой проблемы российские ученые разработали модульную нейросетевую систему, которая ведет историю наблюдения каждого объекта. Это позволяет системе не просто выявлять объекты в кадре, но и отвечать на сложные запросы: как долго наблюдался объект, перемещался ли он, где находился на карте и насколько можно доверять результату распознавания. В процессе работы ИИ не только сегментирует объекты, определяет их классы и отслеживает их во времени, но и также объединяет эти данные с информацией с систем навигации, что делает систему более надежной и проверяемой в реальных условиях.
«Каждый объект получает цифровой “паспорт” — тип, маску на изображении, идентификатор трека, время наблюдения, координаты и векторное представление для повторного поиска даже при изменении освещения и ракурса. Благодаря этому модуль может получить эталонное изображение объекта и в ходе полета проверять, не похож ли один из наблюдаемых объектов на заданный образец. Если совпадение достаточно уверенное, объект фиксируется в памяти сцены и попадает в отчет», — добавил Фаркатов.
По его словам, этот подход превращает БПЛА из «летающей камеры» в наблюдателя с памятью и позволяет интегрировать в его работу передовые разработки в области технического зрения. Это позволяет операторам значительно сократить путь от выполнения полетного задания к принятию решения за счет автоматического теханализа наблюдаемой сцены, что особенно полезно при мониторинге территории, анализе последствий аварий и специальных сценариях, где требуется найти не просто объект заданного класса, а конкретную цель, подытожили ученые.
.png "Получай новости на почту. Подписаться")