Technology

Категории

Время от времени мы участвуем в проектах по разработке экспериментальных систем. На этот раз сделали пилот ИИ-системы по приглашению одного из наших российских заказчиков. Хотим рассказать, как всё происходило и что получилось.

Машинное обучение и охрана труда в промышленности

На любом промышленном объекте в том или ином виде отслеживается выполнение персоналом правил безопасности. Сейчас очень много усилий направлено на то, чтобы передать рутинные функции производственного контроля системам на основе искусственного интеллекта. Учитывая уровень сложности задач, заказчики нередко проводят масштабные открытые исследовательские проекты по изучению возможностей ИИ. В одном из таких проектов приняла участие команда First Line Software.

Задача

Используя уже существующие на объектах заказчика CCTV-камеры внедрить искусственный интеллект, который будет захватывать видеопоток с камер, выделять в стриме зоны производства, людей, элементы защиты и определять, нарушены правила техники безопасности или соблюдены.

Data Science - команда First Line Software

Процесс

Инженеры First Line Software создали свёрточную нейронную сеть и научили ее распознавать на потоковом видео людей, детали экипировки, - каски, жилеты, тросы, и выявлять типы производственных зон. В пилотной версии система фиксирует и даёт реакцию на три наиболее распространённых сценария поведения персонала:

  • Носит ли сотрудник защитную каску на голове - является обязательным условием на производстве;
  • Надел ли сотрудник капюшон от рабочей куртки поверх каски - это строго запрещено;
  • Пристёгнут ли сотрудник тросом - является обязательным условием при проведении высотных работ

Дата-сет

Частая проблема проектов с машинным обучением в промышленности — недостаток наборов исходных шаблонов для тренировки нейросети ввиду новизны темы и единичности внедрений. Нам пришлось с нуля разработать и разметить референсный датасет, в состав которого вошли 56 последовательностей, покрывающих позитивные и негативные сценарии поведения персонала на производстве.

Примеры из датасета на тему промышленной безопасности

На изображениях сотрудники предприятия, часть из которых экипирована по всем правилам техники безопасности, часть - с нарушениями. У каждого человека размечена модель скелета по 12 опорным точкам. Амуниция размечена дополнительными точками. Каждый кадр имеет текстовую подпись и цветной фрейм. Также размечены типы производственных зон.

Обзор аннотированных классов и пример преобразования объекта по опорным точкам в модель скелета

Распознавание объектов

Обработка видеопотока происходит в три этапа. Сначала отфильтровываются кадры, на которых отсутствуют люди. Затем части видео, на которых система распознала людей, передаются свёрточной нейронной сети. Сеть определяет человека по разметке и идентифицирует элементы страховки: каску на голове или трос на туловище. Затем алгоритм, использующий метод опорных векторов, сопоставляет изображение объекта по базе с шаблонами. Если кадр содержит нарушения, система направляет уведомление в соответствие с прописанными требованиями.

Пример кадра с аннотированным фреймом

Технологии

Для сегментации изображений использовали Mask R-CNN (платформа Detectron). Этот фреймворк справляется с задачей обнаружения всех указанных классов объектов, а также выделяет объекты в рамки. Тренировка нейросети выполнялась с помощью скрипта переобучения Transfer Learning, оптимальной, когда вы работаете с ограниченным датасетом и нет задачи собирать статистику по работам: сколько сотрудников на объекте, сотрудники каких подразделений, в каких местах они проводят больше времени.

Результат

В финальном варианте удалось достигнуть стабильной аналитики видеопотока с распознаванием объектов и классификацией поведения. Диапазон точности составляет 77 – 100 процентов. Наш пилот показал отличные результаты на этапе тестирования и сейчас заказчик продолжает тесты. Дальше будем следить за развитием - потому что путь от пилота до промышленного решения очень длинный.

Request documents

Leave us an email and we'll send instructions

Request project documents

Leave us an email and we'll send instructions

Рекомендации клиентов

Та команда, в которой мне довелось поработать за последние полгода, была самой продуктивной, квалифицированной и классной среди всех, членом которых я когда-либо являлся. Круто видеть, как продукт создается день за днем, я правда горжусь, что работаю с вами, ребята

Ведущий архитектор одной из компаний списка Fortune 100

Ваши усилия стали причиной №1 успеха данного проекта. Я долгие годы работал с разными командами, и среди них мало кому удалось вызвать во мне такое доверие и уважение. Когда вы брали на себя какую-то задачу, я ни разу не переживал, будет ли она завершена в срок или выполнена лучшим образом - это всегда происходило именно так

Архитектор одной из консалтинговых компаний

First Line это мощный технологический партнер, способный реализовывать сложные проекты промышленного масштаба. Компания продемонстрировала сильнейшую технологическую экспертизу и глубокое понимание отрасли медиа и издательского бизнеса. Мы также очень впечатлены вниманием топ-менеджмента компании к нашим потребностям и их вкладом в успех общего дела

Глава одной из ведущих цифровых медиа компаний Европы

Я хотел бы поблагодарить команду разработчиков First Line Software за их самоотверженность и высокое качество проделанной работы. Несмотря на расстояние в тысячу миль, мы работали вместе очень быстро, слаженно и эффективно. Участие вашей команды стало одним из залогов успеха всего проекта

Вице-президент по инжинирингу, стартап в области e-learning

Рабочие процессы First Line прекрасно организованы, так что нам было чему поучиться у вашей команды и над чем поработать

Product Owner в консалтинговой компании

Мы многому у вас научились, и с вами было действительно очень здорово работать

Директор по разработке приложений, глобальная маркетинговая компания

Команда со стороны First Line проделала великолепную работу. Все участники создавали прекрасный код, умели думать на опережение, а не просто шли по плану от функции к функции. Они также были очень открыты к тому, чтобы щедро делиться знаниями, что очень важно для продуктивности распределенных команд

Вице-президент по разработке продукта, один из ведущих вендоров ИТ-систем

У нас никуда не было релиза лучше: о таком мы не могли даже и мечтать. И все это результат вашей сложной и сосредоточенной работы. Поэтому вот вам наше ОГРОМНОЕ СПАСИБО, от каждого из нас

Редактор одного из ведущих изданий Скандинавских стран

Качество вашей работы просто невероятно, а ваша гибкость позволила нам создать и внедрить большое количество сложнейшего функционала за довольно короткий промежуток времени. Хвала каждому из вас за профессионализм и за результат, который превзошел наши ожидания

Глава компании-провайдера аналитики социальных медиа

Я хочу выразить огромную благодарность всем членам команды за их сложнейшую работу и поддержку на протяжение последних нескольких месяцев. Наш проект официально живёт, и мы бы не добились этого без вашего участия. Отдельно я бы хотел поблагодарить Алекса за его неоценимую помощь в этот уикенд. Мы понимали, что это его последние минуты и ночи в работе над проектом. Мы невероятно признательны за все, что он сделал для нас

Ведущий менеджер проектов, софтверная компания США
Примеры проектов

Разработчик IIOT-решений выбирает .Net Core

Компания Tego со штаб-квартирой в Уолтеме, Массачусетс, предоставляющая IOT-сервисы для управления производственными активами, планировала модернизировать ИТ-инфраструктуру для быстрого масштабирования бизнеса. Инженеры First Line Software быстро и легко портировали приложения Tego с .NET Framework на .NET Core.

Подробнее

Отслеживание багажа во время авиаперелетов

Российская авиакомпания S7 Airlines, бренд авиакомпании "Сибирь", участник глобального авиационного альянса oneworld.

Подробнее

Система для крупного ретейлера на базе платформы Episerver

First Line Software разработала систему для крупного рейтелера на базе платформы Episerver CMS и Episerver Commerce, которая позволяет покупателям получать персонифицированные предложения.

Подробнее

ХОТИТЕ УЗНАТЬ БОЛЬШЕ?

Заполните форму, чтобы связаться с нами

Владимир Литошенко
Старший вице-президент