Модели машинного обучения часто далеки от совершенства. При использовании прогнозов модели для целей, влияющих на жизнь людей, таких как рейтинг одобрения кредита, человеку рекомендуется просмотреть хотя бы некоторые из прогнозов: прогнозы с низким уровнем достоверности, те, которые выходят за пределы допустимого диапазона, и контроль качества. случайный пример.

Кроме того, отсутствие хороших размеченных (аннотированных) данных часто затрудняет контролируемое обучение (если только вы не профессор, где вашим студентам нечего делать). Один из способов реализации полууправляемого обучения на непомеченных данных состоит в том, чтобы люди помечали некоторые данные для заполнения модели, использовали прогнозы с высокой степенью достоверности для промежуточной модели (или переносили обучение модели), чтобы пометить больше данных (самомаркировка) и отправить прогнозы. о низкой уверенности в проверке человека (активное обучение). Этот процесс можно повторять, и на практике он имеет тенденцию улучшаться от перехода к переходу.

Проверьте также:

Короче говоря, машинное обучение с ручным циклом опирается на отзывы людей для улучшения качества данных, используемых для обучения моделей машинного обучения. В общем, человеческое машинное обучение заключается в отборе хороших данных, которые человек может пометить (аннотировать), использовании этих данных для обучения модели и использовании модели для выборки большего количества данных для аннотирования. Существует множество сервисов для управления этим процессом.

Amazon SageMaker Основанная правда

Amazon SageMaker предлагает два сервиса описания данных: Amazon SageMaker Ground Truth Plus и Amazon SageMaker Ground Truth. Оба варианта идентифицируют необработанные данные, такие как изображения, текст и видео, и добавляют информационные метки для создания высококачественных наборов обучающих данных для моделей машинного обучения. С помощью Ground Truth Plus специалисты Amazon настраивают для вас рабочие процессы маркировки данных, и в процессе применяются предварительное обучение и автоматическая проверка маркировки.

Amazon дополнен искусственным интеллектом

В то время как Amazon SageMaker Ground Truth занимается предварительной классификацией данных, Amazon Augmented AI (Amazon A2I) обеспечивает проверку человеком прогнозов с низкой достоверностью или случайных выборок прогнозов из реализованных моделей. Усовершенствованный ИИ управляет как созданием рабочего процесса рецензирования, так и рецензентами. Интегрируется с сервисами искусственного интеллекта и машинного обучения AWS, а также с моделями, развернутыми на конечной точке Amazon SageMaker.

DataRobot — человек на ринге

DataRobot имеет скромную функцию искусственного интеллекта, которая позволяет вам устанавливать правила для обнаружения неточных прогнозов, внешних входных данных и областей с низким уровнем мониторинга. Эти правила могут привести к трем возможным действиям: никаких действий (только мониторинг); сделать прогноз недействительным (обычно с «безопасным» значением); или вернуть ошибку (отклонить прогноз). DataRobot написал документацию о человеке в цикле, но я не смог найти на их сайте никакой реализации, кроме правил смирения.

Google Cloud Человек в цикле

Google Cloud предлагает обработку Human-in-the-Loop (HITL), встроенную в его сервисы Document AI, но, как и в этом письме, ничего для обработки изображений или видео. В настоящее время Google поддерживает рабочие процессы проверки HITL для следующих процессоров:

Обработчики заказов:

Счета

квитанции

Кредитные процессоры:

1003 Аналитик

1040 Парсер

Анализатор 1040 Таблица C

1040 Анализатор таблицы E

1099-ДИВ Анализатор

1099-G Анализатор

1099-INT Анализатор

1099-Разное Анализатор

аналитик банковской выписки

Проанализированное заявление аналитика ТСЖ

Анализатор ипотечных выписок

Анализатор платежных купонов

Пенсионный аналитик / Инвестиционный отчет

Анализатор мощности W2

Парсер W9

программы обслуживания людей

Может быть сложно настроить аннотации изображений человека, такие как классификация изображений, обнаружение объектов и семантическая сегментация, для маркировки наборов данных. К счастью, есть много хороших коммерческих инструментов и инструментов с открытым исходным кодом, которые могут использовать этикетировщики.

Humans in the Loop, компания, которая описывает себя как «социальное предприятие, которое предоставляет этические решения для рабочей силы для поддержки индустрии ИИ», периодически пишет в блогах о своих любимых инструментах для аннотаций. В своих последних записях они перечислили 10 инструментов аннотирования компьютерного зрения с открытым исходным кодом: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator и DataTurks. Эти инструменты часто используются для аннотирования обучающих наборов, а некоторые из них могут управлять наборами аннотаций.

Например, Computer Vision Annotation Tool (CVAT) является мощным, современным и работает в Chrome. Это по-прежнему один из основных инструментов, который мы и наши клиенты используем для маркировки, поскольку он работает намного быстрее, чем многие инструменты на рынке».

CVAT README на GitHub пишет: «CVAT — это бесплатный интерактивный веб-инструмент для аннотирования изображений и видео для компьютерного зрения. Наша команда использует его для аннотирования миллионов объектов с различными свойствами. Многие решения о пользовательском интерфейсе и взаимодействии с пользователем основаны на отзывах». от профессиональных команд по аннотации данных. Попробуйте онлайн на сайте cvat.org.» Для запуска демонстрации необходимо создать учетную запись.

CVAT выпущен с открытым исходным кодом под лицензией MIT. Большинство активных должников Intel работают в Нижнем Новгороде, Россия. Вступительное видео CVAT показывает, как работает процесс маркировки.

 

Как видите, обработка циклов вручную может способствовать процессу машинного обучения в двух точках: первоначальное создание наборов данных, помеченных для обучения с учителем, и просмотр и исправление потенциально проблемных прогнозов при запуске модели. Первый вариант использования помогает сгладить модель, а второй — настроить модель.

Источник: InfoWorld