Back to page
sales@firstlinesoftware.com
firstlinesoftware.ru

Созданная нейросеть занимается охраной труда на производстве

Время от времени мы участвуем в проектах по разработке экспериментальных систем. На этот раз сделали пилот ИИ-системы по приглашению одного из наших российских заказчиков. Хотим рассказать, как всё происходило и что получилось.

Машинное обучение и охрана труда в промышленности

На любом промышленном объекте в том или ином виде отслеживается выполнение персоналом правил безопасности. Сейчас очень много усилий направлено на то, чтобы передать рутинные функции производственного контроля системам на основе искусственного интеллекта. Учитывая уровень сложности задач, заказчики нередко проводят масштабные открытые исследовательские проекты по изучению возможностей ИИ. В одном из таких проектов приняла участие команда First Line Software.

Задача

Используя уже существующие на объектах заказчика CCTV-камеры внедрить искусственный интеллект, который будет захватывать видеопоток с камер, выделять в стриме зоны производства, людей, элементы защиты и определять, нарушены правила техники безопасности или соблюдены.

Data Science - команда First Line Software

Процесс

Инженеры First Line Software создали свёрточную нейронную сеть и научили ее распознавать на потоковом видео людей, детали экипировки, - каски, жилеты, тросы, и выявлять типы производственных зон. В пилотной версии система фиксирует и даёт реакцию на три наиболее распространённых сценария поведения персонала:

Дата-сет

Частая проблема проектов с машинным обучением в промышленности — недостаток наборов исходных шаблонов для тренировки нейросети ввиду новизны темы и единичности внедрений. Нам пришлось с нуля разработать и разметить референсный датасет, в состав которого вошли 56 последовательностей, покрывающих позитивные и негативные сценарии поведения персонала на производстве.

Примеры из датасета на тему промышленной безопасности

На изображениях сотрудники предприятия, часть из которых экипирована по всем правилам техники безопасности, часть - с нарушениями. У каждого человека размечена модель скелета по 12 опорным точкам. Амуниция размечена дополнительными точками. Каждый кадр имеет текстовую подпись и цветной фрейм. Также размечены типы производственных зон.

Обзор аннотированных классов и пример преобразования объекта по опорным точкам в модель скелета

Распознавание объектов

Обработка видеопотока происходит в три этапа. Сначала отфильтровываются кадры, на которых отсутствуют люди. Затем части видео, на которых система распознала людей, передаются свёрточной нейронной сети. Сеть определяет человека по разметке и идентифицирует элементы страховки: каску на голове или трос на туловище. Затем алгоритм, использующий метод опорных векторов, сопоставляет изображение объекта по базе с шаблонами. Если кадр содержит нарушения, система направляет уведомление в соответствие с прописанными требованиями.

Пример кадра с аннотированным фреймом

Технологии

Для сегментации изображений использовали Mask R-CNN (платформа Detectron). Этот фреймворк справляется с задачей обнаружения всех указанных классов объектов, а также выделяет объекты в рамки. Тренировка нейросети выполнялась с помощью скрипта переобучения Transfer Learning, оптимальной, когда вы работаете с ограниченным датасетом и нет задачи собирать статистику по работам: сколько сотрудников на объекте, сотрудники каких подразделений, в каких местах они проводят больше времени.

Результат

В финальном варианте удалось достигнуть стабильной аналитики видеопотока с распознаванием объектов и классификацией поведения. Диапазон точности составляет 77 – 100 процентов. Наш пилот показал отличные результаты на этапе тестирования и сейчас заказчик продолжает тесты. Дальше будем следить за развитием - потому что путь от пилота до промышленного решения очень длинный.


About Us

First Line Software is a premier provider of custom software development, technology enablement services and value-add consulting in big data engineering, digitalization, intellectual integration, industrial Internet, and IoT, digital media and marketing, and enterprise content management as well as healthcare IT.

Headquartered in the US, First Line employs 500+ staff globally. First Line team and company culture is centered around subject matter expertise, technical excellence, consulting capabilities and proven methodologies, with a strong focus on Agile and Intellectual Integration.

The company has been recognized with multiple annual rankings and awards by the International Association of Outsourcing Professionals (IAOP), Global Services, CorporateLiveWire, Insights Success and CNews. We were the first to be awarded the Scrum Capability Medallion by Scrum, Inc. Most recently, research firm Gartner included FirstLine in their first ever Market Guide for Technology Integrators (2014) and the Cool Vendor in Applications Services 2015 Report. We are active members in Object Management Group and Industrial Internet Consortium. FLS is also an EPiServer Premium Solutions Partner.