人工智能

什么是人工辅助机器学习?更好的数据和更有效的模型

什么是人工辅助机器学习?更好的数据和更有效的模型

人类和机器学习循环使用人类反馈来消除训练数据中的错误并提高模型的准确性。

机器学习模型通常远非完美。在将模型的预测用于影响人们生活的目的(例如信用批准评级)时,建议人们至少查看一些预测:低置信水平的预测、超出范围的预测和质量控制随机抽样。

此外,缺乏良好的标记(注释)数据通常会使监督学习变得困难(除非您是教授,而您的学生无事可做)。对未标记数据实施半监督学习的一种方法是让人们标记一些数据以进行模型播种,使用对中间模型的高置信度预测(或迁移模型学习)来标记更多数据(自标记),并发送预测关于检查人的信心不足(主动学习)。该过程可以重复,并且在实践中趋于从过渡到过渡改进。

还要检查:

简而言之,人类循环机器学习依赖于人类反馈来提高用于训练机器学习模型的数据质量。一般来说,人类机器学习就是对人类可以标记(注释)的良好数据进行采样,使用该数据来训练模型,并使用模型来采样更多数据进行注释。有许多服务可用于管理此过程。

Amazon SageMaker Ground Truth

Amazon SageMaker 提供两种数据描述服务:Amazon SageMaker Ground Truth Plus 和 Amazon SageMaker Ground Truth。这两个选项都可以识别图像、文本和视频等原始数据,并添加信息标签来为机器学习模型创建高质量的训练数据集。借助 Ground Truth Plus,亚马逊专家为您设置数据标签工作流程,并在此过程中应用标签的高级学习和自动验证。

亚马逊增强人工智能

虽然 Amazon SageMaker Ground Truth 处理数据预分类,但 Amazon Augmented AI (Amazon A2I) 提供对来自已实施模型的低置信度预测或随机预测样本的人工验证。增强型 AI 可管理审阅工作流程创建和人工审阅者。与 AWS AI 和机器学习服务以及部署在 Amazon SageMaker 终端节点上的模型集成。

DataRobot – 擂台上的人

DataRobot 具有适度的 AI 功能,允许您设置规则来检测不确定的预测、外部输入和低监控区域。这些规则可以导致三种可能的动作:无动作(仅监控);使预测无效(通常使用“安全”值);或返回错误(拒绝预测)。DataRobot 在循环中编写了有关人类的文档,但除了谦逊的规则之外,我在他们的网站上找不到任何实现。

Google Cloud 人工在环

谷歌云在其 Document AI 服务中提供了 Human-in-the-Loop (HITL) 处理,但在撰写本文时,没有任何图像或视频处理功能。目前,Google 支持以下处理器的 HITL 审核工作流程:

订单处理器:

发票

收据

贷款处理器:

1003分析师

1040 解析器

1040 分析仪表 C

1040 表 E 解析器

1099-DIV 分析仪

1099-G 分析仪

1099-INT . 分析仪

1099-MISC 分析仪

银行报表分析师

HOA分析师分析声明

抵押提取分析仪

支付优惠券分析器

退休分析师/投资声明

W2 产品分析仪

W9 解析器

人性化服务计划

配置人类图像注释(例如图像分类、对象检测和语义分割)来标记数据集可能很困难。幸运的是,标签人员可以使用许多优秀的商业和开源工具。

Humans in the Loop 是一家将自己描述为“为 AI 行业提供合乎道德的劳动力解决方案的社会企业”的公司,它定期发布关于其最喜欢的注释工具的博客。在他们最近的条目中,他们列出了 10 个开源计算机视觉标注工具:Label Studio、Diffgram、LabelImg、CVAT、ImageTagger、LabelMe、VIA、Make Sense、COCO Annotator 和 DataTurks。这些工具常用于标注训练集,有些可以管理标注集。

例如,计算机视觉注释工具 (CVAT) 功能强大、是最新的并且可以在 Chrome 中运行。它仍然是我们和我们的客户用于标签的主要工具之一,因为它比市场上的许多工具快得多。”

GitHub 上的 CVAT README 写道,“CVAT 是一个免费的基于 Web 的交互式图像和视频注释工具,用于计算机视觉。我们的团队使用它来注释数百万具有不同属性的对象。许多用户界面和用户体验决策都是基于反馈来自专业的数据注释团队。在 cvat.org 在线试用。“需要创建登录才能运行演示。

CVAT 在 MIT 许可下作为开源发布。英特尔的大部分活跃债务人都在俄罗斯下诺夫哥罗德开展业务。CVAT 介绍视频展示了标记过程的工作原理。


什么是人工辅助机器学习? 更好的数据,更有效的模型
身份证
 

正如您所看到的,人工循环处理可以在两个方面对机器学习过程做出贡献:最初创建标记为监督学习的数据集,以及在模型运行时审查和纠正可能存在问题的预测。第一个用例有助于平滑模型,第二个用例有助于设置模型。

资料来源:信息世界

Related Articles

Artificial intelligence

What is human-assisted machine learning? Better data and more effective models

What is human-assisted machine learning? Better data and more effective models

The human and machine learning loop uses human feedback to eliminate errors in the training data and increase the accuracy of the model.

Machine learning models are often far from perfect. When using the model’s predictions for purposes that affect people’s lives, such as a credit approval rating, a human is advised to review at least some of the predictions: those with a low confidence level, those that fall out of range, and a quality control random sample.

Additionally, the lack of good tagged (annotated) data often makes supervised learning difficult (unless you’re a professor where your students have nothing to do). One way to implement semi-supervised learning on untagged data is for people to label some data for model seeding, use high-confidence predictions to the interim model (or transfer model learning) to tag more data (self-tagging), and send predictions about low-confidence to check Human (active learning). The process can be repeated and tends to improve from transition to transition in practice.

Check also:

In short, human loop machine learning relies on human feedback to improve the quality of the data used to train machine learning models. In general, human machine learning is all about sampling good data that a human can tag (annotation), using that data to train the model, and using the model to sample more data for annotation. There are many services available to manage this process.

Amazon SageMaker Ground Truth

Amazon SageMaker offers two data description services: Amazon SageMaker Ground Truth Plus and Amazon SageMaker Ground Truth. Both options identify raw data such as images, text, and videos, and add informational labels to create high-quality training data sets for machine learning models. With Ground Truth Plus, Amazon experts set up data label workflows for you, and in the process, advance learning and automated validation of labeling are applied.

amazon augmented artificial intelligence

While Amazon SageMaker Ground Truth deals with data pre-classification, Amazon Augmented AI (Amazon A2I) provides human validation of low-confidence predictions or random prediction samples from implemented models. Enhanced AI manages both the review workflow creation and human reviewers. Integrates with AWS AI and machine learning services as well as models deployed on the Amazon SageMaker endpoint.

DataRobot – Human in the Ring

DataRobot has a modest AI feature that allows you to set rules to detect uncertain predictions, external inputs, and low-monitored areas. These rules can lead to three possible actions: no action (monitoring only); invalidate the prediction (usually with a “safe” value); or return an error (reject the prediction). DataRobot wrote documentation about human in the loop, but I couldn’t find any implementation on their site other than the rules of humility.

Google Cloud Human-in-the-Loop

Google Cloud offers Human-in-the-Loop (HITL) processing built into its Document AI services, but as in this writing, nothing for image or video processing. Currently, Google supports HITL review workflows for the following processors:

Order Processors:

Invoices

receipts

Loan Processors:

1003 Analyst

1040 Parser

1040 Analyzer Table C

1040 Table E Parser

1099-DIV Analyzer

1099-G Analyzer

1099-INT . Analyzer

1099-MISC Analyzer

bank statement analyst

Analyzed statement by HOA Analyst

Mortgage Extract Analyzer

Pay Coupon Analyzer

Retirement Analyst / Investment Statement

W2 محلل Analyzer

W9 Parser

human service programs

It can be difficult to configure human image annotations, such as image classification, object detection, and semantic segmentation, to label datasets. Fortunately, there are many good commercial and open source tools that labelers can use.

Humans in the Loop, a company that describes itself as a “social enterprise that delivers ethical workforce solutions to power the AI ​​industry,” blogs periodically about its favorite annotation tools. In their most recent entries, they have listed 10 open source computer vision annotation tools: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator, and DataTurks. These tools are often used to annotate training sets, and some can manage annotation sets.

For example, Computer Vision Annotation Tool (CVAT) is powerful, up-to-date and works in Chrome. It’s still one of the main tools we and our customers use for labeling, because it’s much faster than many tools on the market.”

CVAT README on GitHub writes, “CVAT is a free web-based interactive image and video annotation tool for computer vision. It is used by our team to annotate millions of objects with different properties. Many user interface and user experience decisions are based on feedback from Professional data annotation teams. Try it online at cvat.org.” It is necessary to create a login to run the demo.

CVAT is released as open source under the MIT license. Most of Intel’s active obligors operate in Nizhny Novgorod, Russia. The CVAT introductory video shows how the labeling process works.


What is human-assisted machine learning?  Better data, more effective models
I.D.G
 

As you can see, human loop processing can contribute to the machine learning process at two points: the initial creation of data sets tagged for supervised learning, and the review and correction of potentially problematic predictions when the model is run. The first use case helps smooth the model and the second case helps set the model.

Source: InfoWorld

Related Articles

L'intelligence artificielle

Qu’est-ce que l’apprentissage automatique assisté par l’homme ? De meilleures données et des modèles plus efficaces

Qu’est-ce que l’apprentissage automatique assisté par l’homme ? De meilleures données et des modèles plus efficaces

La boucle d’apprentissage humain et machine utilise la rétroaction humaine pour éliminer les erreurs dans les données de formation et augmenter la précision du modèle.

Les modèles d’apprentissage automatique sont souvent loin d’être parfaits. Lors de l’utilisation des prédictions du modèle à des fins qui affectent la vie des gens, comme une cote d’approbation de crédit, il est conseillé à un humain d’examiner au moins certaines des prédictions : celles avec un niveau de confiance faible, celles qui sortent de la plage et un contrôle de qualité échantillon aléatoire.

De plus, le manque de bonnes données étiquetées (annotées) rend souvent l’apprentissage supervisé difficile (sauf si vous êtes un professeur où vos étudiants n’ont rien à faire). Une façon de mettre en œuvre l’apprentissage semi-supervisé sur des données non étiquetées consiste à étiqueter certaines données pour l’ensemencement du modèle, à utiliser des prédictions de haute confiance dans le modèle intermédiaire (ou à transférer l’apprentissage du modèle) pour étiqueter plus de données (auto-étiquetage) et à envoyer des prédictions. sur la faible confiance pour vérifier Humain (apprentissage actif). Le processus peut être répété et tend à s’améliorer d’une transition à l’autre dans la pratique.

Vérifiez également :

En bref, l’apprentissage automatique en boucle humaine s’appuie sur la rétroaction humaine pour améliorer la qualité des données utilisées pour former les modèles d’apprentissage automatique. En général, l’apprentissage automatique humain consiste à échantillonner de bonnes données qu’un humain peut étiqueter (annotation), à utiliser ces données pour former le modèle et à utiliser le modèle pour échantillonner davantage de données à des fins d’annotation. Il existe de nombreux services disponibles pour gérer ce processus.

Amazon SageMaker Ground Truth

Amazon SageMaker propose deux services de description des données : Amazon SageMaker Ground Truth Plus et Amazon SageMaker Ground Truth. Les deux options identifient les données brutes telles que les images, le texte et les vidéos, et ajoutent des étiquettes d’information pour créer des ensembles de données de formation de haute qualité pour les modèles d’apprentissage automatique. Avec Ground Truth Plus, les experts d’Amazon configurent pour vous des workflows d’étiquetage de données et, ce faisant, un apprentissage avancé et une validation automatisée de l’étiquetage sont appliqués.

intelligence artificielle augmentée amazon

Alors qu’Amazon SageMaker Ground Truth s’occupe de la pré-classification des données, Amazon Augmented AI (Amazon A2I) fournit une validation humaine des prédictions peu fiables ou des échantillons de prédiction aléatoires à partir de modèles implémentés. L’IA améliorée gère à la fois la création du workflow de révision et les réviseurs humains. S’intègre à AWS AI et aux services d’apprentissage automatique ainsi qu’aux modèles déployés sur le point de terminaison Amazon SageMaker.

DataRobot – Humain dans l’anneau

DataRobot dispose d’une fonction d’IA modeste qui vous permet de définir des règles pour détecter les prédictions incertaines, les entrées externes et les zones peu surveillées. Ces règles peuvent conduire à trois actions possibles : aucune action (surveillance uniquement) ; invalider la prédiction (généralement avec une valeur “sûre”); ou renvoyer une erreur (rejeter la prédiction). DataRobot a écrit de la documentation sur l’humain dans la boucle, mais je n’ai trouvé aucune implémentation sur leur site autre que les règles d’humilité.

Google Cloud Human-in-the-Loop

Google Cloud propose un traitement Human-in-the-Loop (HITL) intégré à ses services Document AI, mais comme dans cet article, rien pour le traitement des images ou des vidéos. Actuellement, Google prend en charge les workflows d’examen HITL pour les processeurs suivants :

Processeurs de commandes :

Factures

Reçus

Processeurs de prêt :

1003 Analyste

1040 Analyseur

Analyseur 1040 Tableau C

1040 Tableau E Analyseur

Analyseur 1099-DIV

Analyseur 1099-G

1099-INT . Analyseur

Analyseur 1099-MISC

analyste de relevés bancaires

Déclaration analysée par l’analyste HOA

Analyseur d’extraits hypothécaires

Payez l’analyseur de coupon

Analyste retraite / Relevé de placement

Analyseur W2 محلل

Analyseur W9

programmes de services à la personne

Il peut être difficile de configurer des annotations d’images humaines, telles que la classification d’images, la détection d’objets et la segmentation sémantique, pour étiqueter des ensembles de données. Heureusement, il existe de nombreux bons outils commerciaux et open source que les étiqueteurs peuvent utiliser.

Humans in the Loop, une entreprise qui se décrit comme une “entreprise sociale qui fournit des solutions de main-d’œuvre éthiques pour propulser l’industrie de l’IA”, blogue périodiquement sur ses outils d’annotation préférés. Dans leurs dernières entrées, ils ont répertorié 10 outils d’annotation de vision par ordinateur open source : Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator et DataTurks. Ces outils sont souvent utilisés pour annoter des ensembles d’apprentissage, et certains peuvent gérer des ensembles d’annotations.

Par exemple, Computer Vision Annotation Tool (CVAT) est puissant, à jour et fonctionne dans Chrome. C’est toujours l’un des principaux outils que nous et nos clients utilisons pour l’étiquetage, car il est beaucoup plus rapide que de nombreux outils sur le marché.”

CVAT README sur GitHub écrit : “CVAT est un outil d’annotation d’images et de vidéos interactif gratuit basé sur le Web pour la vision par ordinateur. Il est utilisé par notre équipe pour annoter des millions d’objets avec différentes propriétés. De nombreuses décisions relatives à l’interface utilisateur et à l’expérience utilisateur sont basées sur les commentaires. des équipes d’annotation de données professionnelles. Essayez-le en ligne sur cvat.org. » Il est nécessaire de créer un identifiant pour exécuter la démo.

CVAT est publié en open source sous la licence MIT. La plupart des débiteurs actifs d’Intel opèrent à Nizhny Novgorod, en Russie. La vidéo d’introduction CVAT montre comment fonctionne le processus de labellisation.


Qu'est-ce que l'apprentissage automatique assisté par l'homme ?  De meilleures données, des modèles plus efficaces
IDG
 

Comme vous pouvez le constater, le traitement en boucle humaine peut contribuer au processus d’apprentissage automatique à deux niveaux : la création initiale d’ensembles de données balisés pour l’apprentissage supervisé, et l’examen et la correction des prédictions potentiellement problématiques lors de l’exécution du modèle. Le premier cas d’utilisation aide à lisser le modèle et le deuxième cas aide à définir le modèle.

Source : InfoWorld

Related Articles

Künstliche Intelligenz

Was ist menschengestütztes maschinelles Lernen? Bessere Daten und effektivere Modelle

Was ist menschengestütztes maschinelles Lernen? Bessere Daten und effektivere Modelle

Die menschliche und maschinelle Lernschleife verwendet menschliches Feedback, um Fehler in den Trainingsdaten zu beseitigen und die Genauigkeit des Modells zu erhöhen.

Modelle für maschinelles Lernen sind oft alles andere als perfekt. Wenn die Vorhersagen des Modells für Zwecke verwendet werden, die sich auf das Leben von Menschen auswirken, wie z. B. eine Kreditwürdigkeitsbewertung, wird einem Menschen empfohlen, zumindest einige der Vorhersagen zu überprüfen: diejenigen mit einem niedrigen Konfidenzniveau, diejenigen, die außerhalb des Bereichs liegen, und eine Qualitätskontrolle zufällige Probe.

Darüber hinaus erschwert der Mangel an gut gekennzeichneten (annotierten) Daten oft überwachtes Lernen (es sei denn, Sie sind ein Professor, bei dem Ihre Studenten nichts zu tun haben). Eine Möglichkeit, semi-überwachtes Lernen auf ungetaggten Daten zu implementieren, besteht darin, einige Daten für das Seeding von Modellen zu kennzeichnen, Vorhersagen mit hoher Zuverlässigkeit für das Zwischenmodell zu verwenden (oder Modelllernen zu übertragen), um mehr Daten zu markieren (Selbst-Tagging) und Vorhersagen zu senden über geringes Selbstvertrauen zu überprüfen Mensch (aktives Lernen). Der Prozess kann wiederholt werden und verbessert sich in der Praxis tendenziell von Übergang zu Übergang.

Überprüfen Sie auch:

Kurz gesagt, Human Loop Machine Learning ist auf menschliches Feedback angewiesen, um die Qualität der Daten zu verbessern, die zum Trainieren von Machine Learning-Modellen verwendet werden. Im Allgemeinen geht es beim menschlichen maschinellen Lernen darum, gute Daten zu erfassen, die ein Mensch markieren kann (Annotation), diese Daten zum Trainieren des Modells zu verwenden und das Modell zu verwenden, um weitere Daten für die Annotation zu erfassen. Es stehen viele Dienste zur Verwaltung dieses Prozesses zur Verfügung.

Amazon SageMaker Ground Truth

Amazon SageMaker bietet zwei Datenbeschreibungsdienste: Amazon SageMaker Ground Truth Plus und Amazon SageMaker Ground Truth. Beide Optionen identifizieren Rohdaten wie Bilder, Text und Videos und fügen Informationsetiketten hinzu, um qualitativ hochwertige Trainingsdatensätze für Modelle des maschinellen Lernens zu erstellen. Mit Ground Truth Plus richten Amazon-Experten Datenetiketten-Workflows für Sie ein, und dabei werden fortgeschrittenes Lernen und eine automatisierte Validierung der Etikettierung angewendet.

amazon erweiterte künstliche intelligenz

Während sich Amazon SageMaker Ground Truth mit der Vorklassifizierung von Daten befasst, bietet Amazon Augmented AI (Amazon A2I) eine menschliche Validierung von Vorhersagen mit geringem Vertrauen oder zufälligen Vorhersagestichproben aus implementierten Modellen. Erweiterte KI verwaltet sowohl die Erstellung des Review-Workflows als auch menschliche Reviewer. Integriert sich in AWS-KI- und maschinelle Lerndienste sowie Modelle, die auf dem Amazon SageMaker-Endpunkt bereitgestellt werden.

DataRobot – Mensch im Ring

DataRobot verfügt über eine bescheidene KI-Funktion, mit der Sie Regeln festlegen können, um unsichere Vorhersagen, externe Eingaben und Bereiche mit geringer Überwachung zu erkennen. Diese Regeln können zu drei möglichen Aktionen führen: keine Aktion (nur Überwachung); die Vorhersage ungültig machen (normalerweise mit einem “sicheren” Wert); oder einen Fehler zurückgeben (die Vorhersage ablehnen). DataRobot hat eine Dokumentation über Human in the Loop geschrieben, aber ich konnte auf ihrer Website keine andere Implementierung als die Regeln der Demut finden.

Google Cloud Human-in-the-Loop

Google Cloud bietet Human-in-the-Loop (HITL)-Verarbeitung, die in seine Document AI-Dienste integriert ist, aber wie in diesem Artikel, nichts für die Bild- oder Videoverarbeitung. Derzeit unterstützt Google HITL-Überprüfungsworkflows für die folgenden Prozessoren:

Auftragsverarbeiter:

Rechnungen

Quittungen

Kreditverarbeiter:

1003 Analytiker

1040 Parser

1040 Analysegerät Tabelle C

1040 Tabelle E Parser

1099-DIV-Analysator

1099-G-Analysator

1099-INT Analysator

1099-MISC-Analysator

Kontoauszugsanalyst

Analysierte Aussage von HOA Analyst

Hypothekenextrakt-Analysator

Pay-Coupon-Analysator

Ruhestandsanalyst / Anlageerklärung

W2 محلل Analysator

W9-Parser

menschliche Dienstleistungsprogramme

Es kann schwierig sein, menschliche Bildanmerkungen wie Bildklassifizierung, Objekterkennung und semantische Segmentierung zu konfigurieren, um Datensätze zu kennzeichnen. Glücklicherweise gibt es viele gute kommerzielle und Open-Source-Tools, die Labeler verwenden können.

Humans in the Loop, ein Unternehmen, das sich selbst als „soziales Unternehmen beschreibt, das ethische Personallösungen liefert, um die KI-Branche voranzutreiben“, bloggt regelmäßig über seine bevorzugten Anmerkungstools. In ihren neuesten Einträgen haben sie 10 Open-Source-Computer-Vision-Annotationstools aufgelistet: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator und DataTurks. Diese Tools werden häufig verwendet, um Trainingssätze zu kommentieren, und einige können Anmerkungssätze verwalten.

Beispielsweise ist das Computer Vision Annotation Tool (CVAT) leistungsstark, aktuell und funktioniert in Chrome. Es ist nach wie vor eines der wichtigsten Tools, die wir und unsere Kunden für die Etikettierung verwenden, da es viel schneller ist als viele Tools auf dem Markt.”

CVAT README auf GitHub schreibt: “CVAT ist ein kostenloses webbasiertes interaktives Bild- und Videoannotationstool für Computer Vision. Es wird von unserem Team verwendet, um Millionen von Objekten mit unterschiedlichen Eigenschaften zu kommentieren. Viele Entscheidungen über Benutzeroberflächen und Benutzererfahrungen basieren auf Feedback von professionellen Datenannotationsteams. Probieren Sie es online unter cvat.org aus.“ Zum Ausführen der Demo muss ein Login erstellt werden.

CVAT wird als Open Source unter der MIT-Lizenz veröffentlicht. Die meisten aktiven Schuldner von Intel sind in Nischni Nowgorod, Russland, tätig. Das CVAT-Einführungsvideo zeigt, wie der Kennzeichnungsprozess funktioniert.


Was ist menschengestütztes maschinelles Lernen?  Bessere Daten, effektivere Modelle
IDG
 

Wie Sie sehen können, kann die menschliche Schleifenverarbeitung an zwei Stellen zum maschinellen Lernprozess beitragen: die anfängliche Erstellung von Datensätzen, die für überwachtes Lernen gekennzeichnet sind, und die Überprüfung und Korrektur potenziell problematischer Vorhersagen, wenn das Modell ausgeführt wird. Der erste Anwendungsfall hilft, das Modell zu glätten, und der zweite Fall hilft, das Modell festzulegen.

Quelle: InfoWelt

Related Articles

Intelligenza artificiale

Che cos’è l’apprendimento automatico assistito dall’uomo? Dati migliori e modelli più efficaci

Che cos’è l’apprendimento automatico assistito dall’uomo? Dati migliori e modelli più efficaci

Il ciclo di apprendimento umano e automatico utilizza il feedback umano per eliminare gli errori nei dati di addestramento e aumentare l’accuratezza del modello.

I modelli di apprendimento automatico sono spesso tutt’altro che perfetti. Quando si utilizzano le previsioni del modello per scopi che influiscono sulla vita delle persone, come un rating di approvazione del credito, si consiglia a un essere umano di rivedere almeno alcune delle previsioni: quelle con un basso livello di confidenza, quelle che non rientrano nell’intervallo e un controllo di qualità campione casuale.

Inoltre, la mancanza di buoni dati contrassegnati (annotati) spesso rende difficile l’apprendimento supervisionato (a meno che tu non sia un professore in cui i tuoi studenti non hanno nulla da fare). Un modo per implementare l’apprendimento semi-supervisionato su dati senza tag è che le persone etichettino alcuni dati per il seeding del modello, utilizzino previsioni ad alta affidabilità nel modello provvisorio (o trasferiscano l’apprendimento del modello) per contrassegnare più dati (autotagging) e inviino previsioni sulla scarsa confidenza da controllare Umano (apprendimento attivo). Il processo può essere ripetuto e tende a migliorare da una transizione all’altra nella pratica.

Controlla anche:

In breve, l’apprendimento automatico del ciclo umano si basa sul feedback umano per migliorare la qualità dei dati utilizzati per addestrare i modelli di apprendimento automatico. In generale, l’apprendimento automatico umano consiste nel campionamento di dati validi che un essere umano può taggare (annotazione), nell’utilizzo di tali dati per addestrare il modello e nell’utilizzo del modello per campionare più dati per l’annotazione. Ci sono molti servizi disponibili per gestire questo processo.

Amazon SageMaker verità fondamentale

Amazon SageMaker offre due servizi di descrizione dei dati: Amazon SageMaker Ground Truth Plus e Amazon SageMaker Ground Truth. Entrambe le opzioni identificano dati grezzi come immagini, testo e video e aggiungono etichette informative per creare set di dati di addestramento di alta qualità per modelli di machine learning. Con Ground Truth Plus, gli esperti Amazon configurano per te flussi di lavoro per l’etichettatura dei dati e, nel processo, vengono applicati l’apprendimento avanzato e la convalida automatizzata dell’etichettatura.

Amazon intelligenza artificiale aumentata

Mentre Amazon SageMaker Ground Truth si occupa della preclassificazione dei dati, Amazon Augmented AI (Amazon A2I) fornisce la convalida umana di previsioni a bassa confidenza o campioni di previsioni casuali dai modelli implementati. L’IA avanzata gestisce sia la creazione del flusso di lavoro di revisione che i revisori umani. Si integra con AWS AI e servizi di machine learning, nonché modelli distribuiti sull’endpoint Amazon SageMaker.

DataRobot – Umano sul ring

DataRobot ha una funzione di intelligenza artificiale modesta che consente di impostare regole per rilevare previsioni incerte, input esterni e aree poco monitorate. Queste regole possono portare a tre possibili azioni: nessuna azione (solo monitoraggio); invalidare la previsione (di solito con un valore “sicuro”); o restituisce un errore (rifiuta la previsione). DataRobot ha scritto documentazione sull’essere umano nel ciclo, ma non sono riuscito a trovare alcuna implementazione sul loro sito oltre alle regole dell’umiltà.

Google Cloud Human-in-the-Loop

Google Cloud offre l’elaborazione Human-in-the-Loop (HITL) integrata nei suoi servizi di Document AI, ma come in questo scritto, niente per l’elaborazione di immagini o video. Attualmente, Google supporta i flussi di lavoro di revisione HITL per i seguenti processori:

Processori di ordini:

Fatture

ricevute

Processori di prestito:

1003 Analista

1040 Analizzatore

Analizzatore 1040 Tabella C

1040 Tabella E Analizzatore

Analizzatore 1099-DIV

Analizzatore 1099-G

1099-INT Analizzatore

Analizzatore 1099-MISC

analista di estratti conto

Dichiarazione analizzata dall’analista HOA

Analizzatore di estratto di ipoteca

Analizzatore di buoni di pagamento

Analista pensionistico / Dichiarazione di investimento

W2 محلل Analizzatore

Analizzatore W9

programmi di servizio alla persona

Può essere difficile configurare le annotazioni di immagini umane, come la classificazione delle immagini, il rilevamento di oggetti e la segmentazione semantica, per etichettare i set di dati. Fortunatamente, ci sono molti buoni strumenti commerciali e open source che gli etichettatori possono utilizzare.

Humans in the Loop, un’azienda che si descrive come “un’impresa sociale che fornisce soluzioni etiche per la forza lavoro per alimentare l’industria dell’IA”, pubblica periodicamente un blog sui suoi strumenti di annotazione preferiti. Nelle loro voci più recenti, hanno elencato 10 strumenti di annotazione di visione artificiale open source: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator e DataTurks. Questi strumenti vengono spesso utilizzati per annotare i set di addestramento e alcuni possono gestire i set di annotazioni.

Ad esempio, Computer Vision Annotation Tool (CVAT) è potente, aggiornato e funziona in Chrome. È ancora uno degli strumenti principali che noi e i nostri clienti utilizziamo per l’etichettatura, poiché è molto più veloce di molti strumenti sul mercato”.

CVAT README su GitHub scrive: “CVAT è uno strumento di annotazione di immagini e video interattivo gratuito basato sul Web per la visione artificiale. Viene utilizzato dal nostro team per annotare milioni di oggetti con proprietà diverse. Molte decisioni relative all’interfaccia utente e all’esperienza utente si basano sul feedback dai team di annotazione dei dati professionali. Provalo online su cvat.org. “È necessario creare un login per eseguire la demo.

CVAT è rilasciato come open source con licenza MIT. La maggior parte dei debitori attivi di Intel opera a Nizhny Novgorod, in Russia. Il video introduttivo CVA mostra come funziona il processo di etichettatura.


Che cos'è l'apprendimento automatico assistito dall'uomo?  Dati migliori, modelli più efficaci
IDG
 

Come puoi vedere, l’elaborazione del ciclo umano può contribuire al processo di apprendimento automatico in due punti: la creazione iniziale di set di dati contrassegnati per l’apprendimento supervisionato e la revisione e la correzione di previsioni potenzialmente problematiche durante l’esecuzione del modello. Il primo caso d’uso aiuta a smussare il modello e il secondo caso aiuta a impostare il modello.

Fonte: InfoWorld

Related Articles

人工知能

人間が支援する機械学習とは何ですか?より良いデータとより効果的なモデル

人間が支援する機械学習とは何ですか?より良いデータとより効果的なモデル

人間と機械の学習ループは、人間のフィードバックを使用してトレーニングデータのエラーを排除し、モデルの精度を高めます。

機械学習モデルは、多くの場合、完璧にはほど遠いものです。信用承認評価など、人々の生活に影響を与える目的でモデルの予測を使用する場合、人間は、信頼水準が低い予測、範囲外の予測、品質管理など、少なくともいくつかの予測を確認することをお勧めします。ランダムサンプル。

さらに、適切なタグ付き(注釈付き)データがないため、教師あり学習が困難になることがよくあります(学生が何もすることがない教授でない限り)。タグなしデータに半教師あり学習を実装する1つの方法は、モデルシード用に一部のデータにラベルを付け、中間モデルに信頼性の高い予測を使用して(またはモデル学習を転送して)、より多くのデータにタグを付け(自己タグ付け)、予測を送信することです。人間をチェックする自信がないことについて(積極的な学習)。このプロセスは繰り返すことができ、実際には移行から移行へと改善する傾向があります。

また確認してください:

つまり、人間のループによる機械学習は、人間のフィードバックに依存して、機械学習モデルのトレーニングに使用されるデータの品質を向上させます。一般に、人間の機械学習とは、人間がタグ付けできる優れたデータ(注釈)をサンプリングし、そのデータを使用してモデルをトレーニングし、モデルを使用して注釈用のデータをさらにサンプリングすることです。このプロセスを管理するために利用できる多くのサービスがあります。

Amazon SageMaker Ground Truth

Amazon SageMakerは、Amazon SageMaker Ground TruthPlusとAmazonSageMaker GroundTruthの2つのデータ記述サービスを提供します。どちらのオプションも、画像、テキスト、動画などの生データを識別し、情報ラベルを追加して、機械学習モデル用の高品質のトレーニングデータセットを作成します。Ground Truth Plusを使用すると、Amazonの専門家がデータラベルワークフローを設定し、その過程で、事前学習とラベルの自動検証が適用されます。

アマゾン拡張人工知能

Amazon SageMaker Ground Truthはデータの事前分類を扱いますが、Amazon Augmented AI(Amazon A2I)は、実装されたモデルからの信頼性の低い予測またはランダムな予測サンプルの人間による検証を提供します。拡張AIは、レビューワークフローの作成と人間のレビュー担当者の両方を管理します。AWS AIと機械学習サービス、およびAmazonSageMakerエンドポイントにデプロイされたモデルと統合します。

DataRobot-人間の輪

DataRobotには控えめなAI機能があり、不確実な予測、外部入力、監視の少ない領域を検出するためのルールを設定できます。これらのルールは、3つの可能なアクションにつながる可能性があります。アクションなし(監視のみ)。予測を無効にします(通常は「安全な」値を使用)。またはエラーを返します(予測を拒否します)。DataRobotは、ループ内の人間に関するドキュメントを作成しましたが、謙虚さのルール以外の実装はサイトに見つかりませんでした。

Google Cloudヒューマン・イン・ザ・ループ

Google Cloudは、Document AIサービスに組み込まれたHuman-in-the-Loop(HITL)処理を提供しますが、この記事のように、画像やビデオの処理には何もありません。現在、Googleは次のプロセッサのHITLレビューワークフローをサポートしています。

注文処理者:

請求書

領収書

ローン処理業者:

1003アナリスト

1040パーサー

1040アナライザーテーブルC

1040テーブルEパーサー

1099-DIVアナライザー

1099-Gアナライザー

1099-INT。アナライザー

1099-MISCアナライザー

銀行取引明細書アナリスト

HOAアナリストによる分析ステートメント

住宅ローン抽出アナライザー

ペイクーポンアナライザー

リタイアメントアナリスト/投資ステートメント

W2محللアナライザー

W9パーサー

福祉プログラム

データセットにラベルを付けるために、画像分類、オブジェクト検出、セマンティックセグメンテーションなどの人間の画像注釈を構成するのは難しい場合があります。幸いなことに、ラベラーが使用できる優れた商用およびオープンソースツールはたくさんあります。

Humans in the Loopは、「AI業界を強化するための倫理的な労働力ソリューションを提供する社会的企業」と自称する企業であり、お気に入りの注釈ツールについて定期的にブログを書いています。最新のエントリには、Label Studio、Diffgram、LabelImg、CVAT、ImageTagger、LabelMe、VIA、Make Sense、COCO Annotator、DataTurksの10個のオープンソースコンピュータービジョン注釈ツールがリストされています。これらのツールは、トレーニングセットに注釈を付けるためによく使用され、注釈セットを管理できるものもあります。

たとえば、コンピュータビジョン注釈ツール(CVAT)は強力で最新のものであり、Chromeで機能します。市場に出回っている多くのツールよりもはるかに高速であるため、これは私たちとお客様がラベル付けに使用する主要なツールの1つです。」

GitHubのCVATREADMEは、次のように述べています。「CVATは、コンピュータービジョン用の無料のWebベースのインタラクティブな画像およびビデオ注釈ツールです。私たちのチームは、さまざまなプロパティを持つ何百万ものオブジェクトに注釈を付けるために使用します。多くのユーザーインターフェイスとユーザーエクスペリエンスの決定は、フィードバックに基づいています。 Professionalデータアノテーションチームから。cvat.orgでオンラインで試してください。」デモを実行するには、ログインを作成する必要があります。

CVATは、MITライセンスの下でオープンソースとしてリリースされています。インテルのアクティブな債務者のほとんどは、ロシアのニジニノヴゴロドで活動しています。CVATの紹介ビデオは、ラベリングプロセスがどのように機能するかを示しています。


人間が支援する機械学習とは何ですか? より良いデータ、より効果的なモデル
I.D.G
 

ご覧のとおり、人間のループ処理は、教師あり学習用にタグ付けされたデータセットの初期作成と、モデルの実行時の潜在的に問題のある予測のレビューと修正の2つのポイントで機械学習プロセスに貢献できます。最初のユースケースはモデルのスムーズ化に役立ち、2番目のユースケースはモデルの設定に役立ちます。

出典:InfoWorld

Related Articles

Inteligência artificial

O que é aprendizado de máquina assistido por humanos? Dados melhores e modelos mais eficazes

O que é aprendizado de máquina assistido por humanos? Dados melhores e modelos mais eficazes

O loop de aprendizado humano e de máquina usa feedback humano para eliminar erros nos dados de treinamento e aumentar a precisão do modelo.

Os modelos de aprendizado de máquina geralmente estão longe de ser perfeitos. Ao usar as previsões do modelo para fins que afetam a vida das pessoas, como uma classificação de aprovação de crédito, um humano é aconselhado a revisar pelo menos algumas das previsões: aquelas com baixo nível de confiança, aquelas que estão fora do alcance e um controle de qualidade amostra aleatória.

Além disso, a falta de dados bem marcados (anotados) muitas vezes dificulta o aprendizado supervisionado (a menos que você seja um professor onde seus alunos não têm nada para fazer). Uma maneira de implementar o aprendizado semissupervisionado em dados não marcados é rotular alguns dados para propagação do modelo, usar previsões de alta confiança para o modelo provisório (ou transferir aprendizado do modelo) para marcar mais dados (automarcação) e enviar previsões sobre baixa confiança para verificar Humano (aprendizagem ativa). O processo pode ser repetido e tende a melhorar de transição para transição na prática.

Confira também:

Em suma, o aprendizado de máquina de loop humano depende do feedback humano para melhorar a qualidade dos dados usados ​​para treinar modelos de aprendizado de máquina. Em geral, o aprendizado de máquina humano trata de amostrar bons dados que um humano pode marcar (anotação), usar esses dados para treinar o modelo e usar o modelo para amostrar mais dados para anotação. Existem muitos serviços disponíveis para gerenciar esse processo.

Verdade do terreno do Amazon SageMaker

O Amazon SageMaker oferece dois serviços de descrição de dados: Amazon SageMaker Ground Truth Plus e Amazon SageMaker Ground Truth. Ambas as opções identificam dados brutos, como imagens, texto e vídeos, e adicionam rótulos informativos para criar conjuntos de dados de treinamento de alta qualidade para modelos de aprendizado de máquina. Com o Ground Truth Plus, os especialistas da Amazon configuram fluxos de trabalho de etiqueta de dados para você e, no processo, o aprendizado avançado e a validação automatizada da etiquetagem são aplicados.

inteligência artificial aumentada da amazon

Enquanto o Amazon SageMaker Ground Truth lida com a pré-classificação de dados, o Amazon Augmented AI (Amazon A2I) fornece validação humana de previsões de baixa confiança ou amostras de previsão aleatória de modelos implementados. A IA aprimorada gerencia a criação do fluxo de trabalho de revisão e os revisores humanos. Integra-se com serviços de machine learning e IA da AWS, bem como modelos implantados no endpoint do Amazon SageMaker.

DataRobot – Human in the Ring

O DataRobot possui um recurso de IA modesto que permite definir regras para detectar previsões incertas, entradas externas e áreas pouco monitoradas. Essas regras podem levar a três ações possíveis: nenhuma ação (somente monitoramento); invalidar a previsão (geralmente com um valor “seguro”); ou retornar um erro (rejeitar a previsão). A DataRobot escreveu documentação sobre humanos no loop, mas não consegui encontrar nenhuma implementação em seu site além das regras de humildade.

Google Cloud Human-in-the-Loop

O Google Cloud oferece processamento Human-in-the-Loop (HITL) integrado aos serviços de Document AI, mas, como neste artigo, nada para processamento de imagem ou vídeo. Atualmente, o Google oferece suporte a fluxos de trabalho de revisão HITL para os seguintes processadores:

Processadores de pedidos:

Faturas

recibos

Processadores de empréstimo:

1003 Analista

1040 Analisador

Tabela C do Analisador 1040

1040 Tabela E Analisador

Analisador 1099-DIV

Analisador 1099-G

1099-INT. Analisador

Analisador 1099-MISC

analista de extrato bancário

Declaração analisada pelo analista HOA

Analisador de extrato de hipoteca

Analisador de cupom de pagamento

Analista de Aposentadoria / Declaração de Investimento

Analisador W2 محلل

Analisador W9

programas de serviço humano

Pode ser difícil configurar anotações de imagens humanas, como classificação de imagens, detecção de objetos e segmentação semântica, para rotular conjuntos de dados. Felizmente, existem muitas boas ferramentas comerciais e de código aberto que os rotuladores podem usar.

A Humans in the Loop, uma empresa que se descreve como uma “empresa social que oferece soluções éticas de força de trabalho para impulsionar a indústria de IA”, bloga periodicamente sobre suas ferramentas de anotação favoritas. Em suas entradas mais recentes, eles listaram 10 ferramentas de anotação de visão computacional de código aberto: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator e DataTurks. Essas ferramentas são frequentemente usadas para anotar conjuntos de treinamento e algumas podem gerenciar conjuntos de anotações.

Por exemplo, a Computer Vision Annotation Tool (CVAT) é poderosa, atualizada e funciona no Chrome. Ainda é uma das principais ferramentas que nós e nossos clientes usamos para rotulagem, pois é muito mais rápida do que muitas ferramentas no mercado.”

O CVAT README no GitHub escreve: “CVAT é uma ferramenta de anotação de imagem e vídeo interativa baseada na Web gratuita para visão computacional. É usada por nossa equipe para anotar milhões de objetos com propriedades diferentes. Muitas decisões de interface do usuário e experiência do usuário são baseadas em feedback de equipes profissionais de anotação de dados. Experimente online em cvat.org.” É necessário criar um login para executar a demonstração.

O CVAT é lançado como código aberto sob a licença do MIT. A maioria dos devedores ativos da Intel opera em Nizhny Novgorod, Rússia. O vídeo introdutório do CVAT mostra como funciona o processo de rotulagem.


O que é aprendizado de máquina assistido por humanos?  Dados melhores, modelos mais eficazes
I.D.G
 

Como você pode ver, o processamento de loop humano pode contribuir para o processo de aprendizado de máquina em dois pontos: a criação inicial de conjuntos de dados marcados para aprendizado supervisionado e a revisão e correção de previsões potencialmente problemáticas quando o modelo é executado. O primeiro caso de uso ajuda a suavizar o modelo e o segundo caso ajuda a definir o modelo.

Fonte: InfoWorld

Related Articles

Искусственный интеллект

Что такое машинное обучение с участием человека? Более качественные данные и более эффективные модели

Что такое машинное обучение с участием человека? Более качественные данные и более эффективные модели

Цикл человеческого и машинного обучения использует обратную связь от человека для устранения ошибок в обучающих данных и повышения точности модели.

Модели машинного обучения часто далеки от совершенства. При использовании прогнозов модели для целей, влияющих на жизнь людей, таких как рейтинг одобрения кредита, человеку рекомендуется просмотреть хотя бы некоторые из прогнозов: прогнозы с низким уровнем достоверности, те, которые выходят за пределы допустимого диапазона, и контроль качества. случайный пример.

Кроме того, отсутствие хороших размеченных (аннотированных) данных часто затрудняет контролируемое обучение (если только вы не профессор, где вашим студентам нечего делать). Один из способов реализации полууправляемого обучения на непомеченных данных состоит в том, чтобы люди помечали некоторые данные для заполнения модели, использовали прогнозы с высокой степенью достоверности для промежуточной модели (или переносили обучение модели), чтобы пометить больше данных (самомаркировка) и отправить прогнозы. о низкой уверенности в проверке человека (активное обучение). Этот процесс можно повторять, и на практике он имеет тенденцию улучшаться от перехода к переходу.

Проверьте также:

Короче говоря, машинное обучение с ручным циклом опирается на отзывы людей для улучшения качества данных, используемых для обучения моделей машинного обучения. В общем, человеческое машинное обучение заключается в отборе хороших данных, которые человек может пометить (аннотировать), использовании этих данных для обучения модели и использовании модели для выборки большего количества данных для аннотирования. Существует множество сервисов для управления этим процессом.

Amazon SageMaker Основанная правда

Amazon SageMaker предлагает два сервиса описания данных: Amazon SageMaker Ground Truth Plus и Amazon SageMaker Ground Truth. Оба варианта идентифицируют необработанные данные, такие как изображения, текст и видео, и добавляют информационные метки для создания высококачественных наборов обучающих данных для моделей машинного обучения. С помощью Ground Truth Plus специалисты Amazon настраивают для вас рабочие процессы маркировки данных, и в процессе применяются предварительное обучение и автоматическая проверка маркировки.

Amazon дополнен искусственным интеллектом

В то время как Amazon SageMaker Ground Truth занимается предварительной классификацией данных, Amazon Augmented AI (Amazon A2I) обеспечивает проверку человеком прогнозов с низкой достоверностью или случайных выборок прогнозов из реализованных моделей. Усовершенствованный ИИ управляет как созданием рабочего процесса рецензирования, так и рецензентами. Интегрируется с сервисами искусственного интеллекта и машинного обучения AWS, а также с моделями, развернутыми на конечной точке Amazon SageMaker.

DataRobot – человек на ринге

DataRobot имеет скромную функцию искусственного интеллекта, которая позволяет вам устанавливать правила для обнаружения неточных прогнозов, внешних входных данных и областей с низким уровнем мониторинга. Эти правила могут привести к трем возможным действиям: никаких действий (только мониторинг); сделать прогноз недействительным (обычно с «безопасным» значением); или вернуть ошибку (отклонить прогноз). DataRobot написал документацию о человеке в цикле, но я не смог найти на их сайте никакой реализации, кроме правил смирения.

Google Cloud Человек в цикле

Google Cloud предлагает обработку Human-in-the-Loop (HITL), встроенную в его сервисы Document AI, но, как и в этом письме, ничего для обработки изображений или видео. В настоящее время Google поддерживает рабочие процессы проверки HITL для следующих процессоров:

Обработчики заказов:

Счета

квитанции

Кредитные процессоры:

1003 Аналитик

1040 Парсер

Анализатор 1040 Таблица C

1040 Анализатор таблицы E

1099-ДИВ Анализатор

1099-G Анализатор

1099-INT Анализатор

1099-Разное Анализатор

аналитик банковской выписки

Проанализированное заявление аналитика ТСЖ

Анализатор ипотечных выписок

Анализатор платежных купонов

Пенсионный аналитик / Инвестиционный отчет

Анализатор мощности W2

Парсер W9

программы обслуживания людей

Может быть сложно настроить аннотации изображений человека, такие как классификация изображений, обнаружение объектов и семантическая сегментация, для маркировки наборов данных. К счастью, есть много хороших коммерческих инструментов и инструментов с открытым исходным кодом, которые могут использовать этикетировщики.

Humans in the Loop, компания, которая описывает себя как «социальное предприятие, которое предоставляет этические решения для рабочей силы для поддержки индустрии ИИ», периодически пишет в блогах о своих любимых инструментах для аннотаций. В своих последних записях они перечислили 10 инструментов аннотирования компьютерного зрения с открытым исходным кодом: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator и DataTurks. Эти инструменты часто используются для аннотирования обучающих наборов, а некоторые из них могут управлять наборами аннотаций.

Например, Computer Vision Annotation Tool (CVAT) является мощным, современным и работает в Chrome. Это по-прежнему один из основных инструментов, который мы и наши клиенты используем для маркировки, поскольку он работает намного быстрее, чем многие инструменты на рынке».

CVAT README на GitHub пишет: “CVAT — это бесплатный интерактивный веб-инструмент для аннотирования изображений и видео для компьютерного зрения. Наша команда использует его для аннотирования миллионов объектов с различными свойствами. Многие решения о пользовательском интерфейсе и взаимодействии с пользователем основаны на отзывах”. от профессиональных команд по аннотации данных. Попробуйте онлайн на сайте cvat.org.» Для запуска демонстрации необходимо создать учетную запись.

CVAT выпущен с открытым исходным кодом под лицензией MIT. Большинство активных должников Intel работают в Нижнем Новгороде, Россия. Вступительное видео CVAT показывает, как работает процесс маркировки.


Что такое машинное обучение с участием человека?  Более качественные данные, более эффективные модели
И.Д.Г.
 

Как видите, обработка циклов вручную может способствовать процессу машинного обучения в двух точках: первоначальное создание наборов данных, помеченных для обучения с учителем, и просмотр и исправление потенциально проблемных прогнозов при запуске модели. Первый вариант использования помогает сгладить модель, а второй — настроить модель.

Источник: InfoWorld

Related Articles

Inteligencia artificial

¿Qué es el aprendizaje automático asistido por humanos? Mejores datos y modelos más efectivos

¿Qué es el aprendizaje automático asistido por humanos? Mejores datos y modelos más efectivos

El ciclo de aprendizaje humano y automático utiliza la retroalimentación humana para eliminar errores en los datos de entrenamiento y aumentar la precisión del modelo.

Los modelos de aprendizaje automático a menudo están lejos de ser perfectos. Cuando se usan las predicciones del modelo para fines que afectan la vida de las personas, como una calificación de aprobación de crédito, se recomienda a un ser humano que revise al menos algunas de las predicciones: aquellas con un nivel de confianza bajo, aquellas que están fuera de rango y un control de calidad. muestra aleatoria.

Además, la falta de buenos datos etiquetados (anotados) a menudo dificulta el aprendizaje supervisado (a menos que sea un profesor donde sus alumnos no tienen nada que hacer). Una forma de implementar el aprendizaje semisupervisado en datos sin etiquetar es que las personas etiqueten algunos datos para la generación de modelos, utilicen predicciones de alta confianza en el modelo provisional (o transfieran el aprendizaje del modelo) para etiquetar más datos (autoetiquetado) y envíen predicciones. sobre baja confianza para verificar Humano (aprendizaje activo). El proceso puede repetirse y tiende a mejorar de una transición a otra en la práctica.

Compruebe también:

En resumen, el aprendizaje automático de bucle humano se basa en la retroalimentación humana para mejorar la calidad de los datos utilizados para entrenar modelos de aprendizaje automático. En general, el aprendizaje automático humano se trata de muestrear buenos datos que un humano puede etiquetar (anotación), usar esos datos para entrenar el modelo y usar el modelo para muestrear más datos para la anotación. Hay muchos servicios disponibles para gestionar este proceso.

Verdad sobre el terreno de Amazon SageMaker

Amazon SageMaker ofrece dos servicios de descripción de datos: Amazon SageMaker Ground Truth Plus y Amazon SageMaker Ground Truth. Ambas opciones identifican datos sin procesar, como imágenes, texto y videos, y agregan etiquetas informativas para crear conjuntos de datos de capacitación de alta calidad para modelos de aprendizaje automático. Con Ground Truth Plus, los expertos de Amazon configuran flujos de trabajo de etiquetas de datos para usted y, en el proceso, se aplican el aprendizaje avanzado y la validación automatizada del etiquetado.

amazon inteligencia artificial aumentada

Mientras que Amazon SageMaker Ground Truth se ocupa de la preclasificación de datos, Amazon Augmented AI (Amazon A2I) proporciona validación humana de predicciones de baja confianza o muestras de predicciones aleatorias de modelos implementados. La IA mejorada administra tanto la creación del flujo de trabajo de revisión como los revisores humanos. Se integra con los servicios de aprendizaje automático e IA de AWS, así como con los modelos implementados en el punto de enlace de Amazon SageMaker.

DataRobot – Humano en el ring

DataRobot tiene una característica de IA modesta que le permite establecer reglas para detectar predicciones inciertas, entradas externas y áreas poco monitoreadas. Estas reglas pueden conducir a tres acciones posibles: ninguna acción (solo monitoreo); invalidar la predicción (generalmente con un valor “seguro”); o devolver un error (rechazar la predicción). DataRobot escribió documentación sobre humanos en el circuito, pero no pude encontrar ninguna implementación en su sitio además de las reglas de humildad.

Google Cloud Human-in-the-Loop

Google Cloud ofrece procesamiento Human-in-the-Loop (HITL) integrado en sus servicios de Document AI, pero como en este escrito, nada para el procesamiento de imágenes o videos. Actualmente, Google admite flujos de trabajo de revisión HITL para los siguientes procesadores:

Procesadores de pedidos:

Facturas

ingresos

Procesadores de préstamos:

1003 Analista

Analizador 1040

Analizador 1040 Tabla C

1040 Tabla E Analizador

Analizador 1099-DIV

Analizador 1099-G

1099-INT Analizador

Analizador 1099-MISC

analista de extractos bancarios

Declaración analizada por HOA Analyst

Analizador de extractos de hipotecas

Analizador de cupones de pago

Analista de jubilación / Declaración de inversión

Analizador W2 محلل

Analizador W9

programas de servicios humanos

Puede ser difícil configurar anotaciones de imágenes humanas, como clasificación de imágenes, detección de objetos y segmentación semántica, para etiquetar conjuntos de datos. Afortunadamente, hay muchas buenas herramientas comerciales y de código abierto que los etiquetadores pueden usar.

Humans in the Loop, una empresa que se describe a sí misma como una “empresa social que ofrece soluciones éticas para la fuerza laboral para potenciar la industria de la IA”, escribe periódicamente en su blog sobre sus herramientas de anotación favoritas. En sus entradas más recientes, han enumerado 10 herramientas de anotación de visión artificial de código abierto: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator y DataTurks. Estas herramientas se usan a menudo para anotar conjuntos de entrenamiento y algunas pueden administrar conjuntos de anotaciones.

Por ejemplo, Computer Vision Annotation Tool (CVAT) es potente, está actualizada y funciona en Chrome. Sigue siendo una de las principales herramientas que nosotros y nuestros clientes usamos para el etiquetado, ya que es mucho más rápido que muchas herramientas en el mercado”.

CVAT README en GitHub escribe: “CVAT es una herramienta gratuita de anotación de imágenes y videos interactiva basada en la web para la visión por computadora. Nuestro equipo la utiliza para anotar millones de objetos con diferentes propiedades. Muchas decisiones sobre la interfaz de usuario y la experiencia del usuario se basan en los comentarios. de equipos profesionales de anotación de datos. Pruébelo en línea en cvat.org.” Es necesario crear un inicio de sesión para ejecutar la demostración.

CVAT se publica como código abierto bajo la licencia MIT. La mayoría de los obligados activos de Intel operan en Nizhny Novgorod, Rusia. El video introductorio de CVAT muestra cómo funciona el proceso de etiquetado.


¿Qué es el aprendizaje automático asistido por humanos?  Mejores datos, modelos más efectivos
IDG
 

Como puede ver, el procesamiento de bucle humano puede contribuir al proceso de aprendizaje automático en dos puntos: la creación inicial de conjuntos de datos etiquetados para aprendizaje supervisado y la revisión y corrección de predicciones potencialmente problemáticas cuando se ejecuta el modelo. El primer caso de uso ayuda a suavizar el modelo y el segundo caso ayuda a establecer el modelo.

Fuente: InfoWorld

Related Articles

yapay zeka

İnsan destekli makine öğrenimi nedir? Daha iyi veriler ve daha etkili modeller

İnsan destekli makine öğrenimi nedir? Daha iyi veriler ve daha etkili modeller

İnsan ve makine öğrenimi döngüsü, eğitim verilerindeki hataları ortadan kaldırmak ve modelin doğruluğunu artırmak için insan geri bildirimini kullanır.

Makine öğrenimi modelleri genellikle mükemmel olmaktan uzaktır. Modelin tahminlerini, kredi onay derecelendirmesi gibi insanların hayatlarını etkileyen amaçlar için kullanırken, bir insanın tahminlerden en azından bazılarını gözden geçirmesi tavsiye edilir: düşük güven düzeyine sahip olanlar, aralığın dışına çıkanlar ve bir kalite kontrol. rastgele örneklem.

Ek olarak, iyi etiketlenmiş (açıklamalı) verilerin olmaması genellikle denetimli öğrenmeyi zorlaştırır (öğrencilerinizin yapacak hiçbir şeyinin olmadığı bir profesör değilseniz). Etiketlenmemiş veriler üzerinde yarı denetimli öğrenmeyi uygulamanın bir yolu, insanların model tohumlama için bazı verileri etiketlemesi, daha fazla veriyi etiketlemek (kendi kendine etiketleme) için ara modele yüksek güvenilir tahminler kullanması (veya model öğrenimini aktarması) ve tahminler göndermesidir. Kontrol etmek için düşük güven hakkında İnsan (aktif öğrenme). Süreç tekrarlanabilir ve uygulamada geçişten geçişe doğru gelişme eğilimindedir.

Ayrıca kontrol edin:

Kısacası, insan döngüsü makine öğrenimi, makine öğrenimi modellerini eğitmek için kullanılan verilerin kalitesini artırmak için insan geri bildirimine dayanır. Genel olarak, insan makine öğrenimi, bir insanın etiketleyebileceği (açıklama) iyi verileri örneklemek, bu verileri modeli eğitmek için kullanmak ve modeli açıklama için daha fazla veri örneklemek üzere kullanmakla ilgilidir. Bu süreci yönetmek için birçok hizmet mevcuttur.

Amazon SageMaker Temel Gerçeği

Amazon SageMaker iki veri tanımlama hizmeti sunar: Amazon SageMaker Ground Truth Plus ve Amazon SageMaker Ground Truth. Her iki seçenek de resimler, metinler ve videolar gibi ham verileri tanımlar ve makine öğrenimi modelleri için yüksek kaliteli eğitim veri kümeleri oluşturmak için bilgi etiketleri ekler. Ground Truth Plus ile Amazon uzmanları sizin için veri etiketi iş akışları kurar ve bu süreçte önceden öğrenme ve etiketleme için otomatik doğrulama uygulanır.

amazon artırılmış yapay zeka

Amazon SageMaker Ground Truth, verilerin ön sınıflandırmasıyla ilgilenirken, Amazon Augmented AI (Amazon A2I), düşük güvenilirliğe sahip tahminlerin veya uygulanan modellerden rastgele tahmin örneklerinin insan tarafından doğrulanmasını sağlar. Gelişmiş AI, hem inceleme iş akışı oluşturmayı hem de insan gözden geçirenleri yönetir. AWS AI ve makine öğrenimi hizmetlerinin yanı sıra Amazon SageMaker uç noktasında dağıtılan modellerle entegre olur.

DataRobot – Halkadaki İnsan

DataRobot, belirsiz tahminleri, harici girdileri ve düşük izlenen alanları tespit etmek için kurallar belirlemenize izin veren mütevazı bir AI özelliğine sahiptir. Bu kurallar üç olası eyleme yol açabilir: eylem yok (yalnızca izleme); tahmini geçersiz kılar (genellikle “güvenli” bir değerle); veya bir hata döndürün (tahmini reddedin). DataRobot, döngüdeki insan hakkında belgeler yazdı, ancak sitelerinde tevazu kuralları dışında herhangi bir uygulama bulamadım.

Google Cloud Döngü İçinde İnsan

Google Cloud, Document AI hizmetlerinde yerleşik olarak bulunan Döngü İçinde İnsan (HITL) işleme sunar, ancak bu yazıda olduğu gibi görüntü veya video işleme için hiçbir şey yoktur. Şu anda Google, aşağıdaki işlemciler için HITL inceleme iş akışlarını desteklemektedir:

Sipariş İşlemcileri:

faturalar

gelirler

Kredi İşlemcileri:

1003 Analist

1040 Ayrıştırıcı

1040 Analizör Tablo C

1040 Tablo E Ayrıştırıcı

1099-DIV Analizörü

1099-G Analizörü

1099-INT .Analizör

1099-MISC Analizörü

banka ekstresi analisti

HOA Analisti tarafından analiz edilen ifade

Mortgage Özü Analizörü

Ödeme Kuponu Analizörü

Emekli Analisti / Yatırım Tablosu

W2 محلل Analizörü

W9 Ayrıştırıcı

insan hizmet programları

Veri kümelerini etiketlemek için görüntü sınıflandırması, nesne algılama ve anlamsal bölümleme gibi insan görüntü açıklamalarını yapılandırmak zor olabilir. Neyse ki, etiketleyicilerin kullanabileceği birçok iyi ticari ve açık kaynak araç var.

Kendisini “AI endüstrisine güç sağlamak için etik iş gücü çözümleri sunan bir sosyal girişim” olarak tanımlayan bir şirket olan Humans in the Loop, favori açıklama araçları hakkında düzenli olarak blog yazıyor. En son girişlerinde, 10 açık kaynaklı bilgisayarla görü açıklama aracını listelemişlerdir: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator ve DataTurks. Bu araçlar genellikle eğitim setlerine açıklama eklemek için kullanılır ve bazıları açıklama setlerini yönetebilir.

Örneğin, Computer Vision Annotation Tool (CVAT) güçlüdür, günceldir ve Chrome’da çalışır. Piyasadaki birçok araçtan çok daha hızlı olduğu için hala bizim ve müşterilerimizin etiketleme için kullandığı ana araçlardan biri.”

GitHub’da CVAT README şöyle yazıyor: “CVAT, bilgisayarla görü için ücretsiz, web tabanlı etkileşimli bir görüntü ve video açıklama aracıdır. Ekibimiz tarafından farklı özelliklere sahip milyonlarca nesneye açıklama eklemek için kullanılır. Birçok kullanıcı arayüzü ve kullanıcı deneyimi kararları geri bildirimlere dayanır. Profesyonel veri açıklama ekiplerinden. cvat.org’da çevrimiçi deneyin.” Demoyu çalıştırmak için bir oturum açmak gereklidir.

CVAT, MIT lisansı altında açık kaynak olarak yayınlanmaktadır. Intel’in aktif borçlularının çoğu, Rusya’nın Nizhny Novgorod kentinde faaliyet gösteriyor. CVAT tanıtım videosu, etiketleme sürecinin nasıl çalıştığını gösterir.


İnsan destekli makine öğrenimi nedir?  Daha iyi veriler, daha etkili modeller
kimlik
 

Gördüğünüz gibi, insan döngüsü işleme, makine öğrenimi sürecine iki noktada katkıda bulunabilir: denetimli öğrenme için etiketlenmiş veri kümelerinin ilk oluşturulması ve model çalıştırıldığında potansiyel olarak sorunlu tahminlerin gözden geçirilmesi ve düzeltilmesi. İlk kullanım durumu, modelin düzleştirilmesine yardımcı olur ve ikinci durum, modelin ayarlanmasına yardımcı olur.

Kaynak: InfoWorld

Related Articles

الذكاء الاصطناعي

ما هو التعلم الآلي بمساعدة الإنسان؟ بيانات أفضل ونماذج أكثر فاعلية

ما هو التعلم الآلي بمساعدة الإنسان؟ بيانات أفضل ونماذج أكثر فاعلية

تستخدم حلقة التعلم البشري والآلي التعليقات البشرية للتخلص من الأخطاء في بيانات التدريب وزيادة دقة النموذج.

غالبًا ما تكون نماذج التعلم الآلي بعيدة عن الكمال. عند استخدام تنبؤات النموذج للأغراض التي تؤثر على حياة الأشخاص ، مثل تصنيف الموافقة الائتمانية ، يُنصح الإنسان بمراجعة بعض التوقعات على الأقل: تلك التي لديها مستوى ثقة منخفض ، وتلك التي تقع خارج النطاق ، و عينة عشوائية لمراقبة الجودة.

بالإضافة إلى ذلك ، غالبًا ما يؤدي الافتقار إلى البيانات الجيدة الموسومة (المشروحة) إلى صعوبة التعلم الخاضع للإشراف (إلا إذا كنت أستاذًا ليس لدى طلابك ما يفعلونه). تتمثل إحدى طرق تنفيذ التعلم شبه الخاضع للإشراف على البيانات غير المميزة في أن يقوم الأشخاص بتسمية بعض البيانات لبذر النموذج ، واستخدام تنبؤات عالية الثقة للنموذج المؤقت (أو نقل نموذج التعلم) لتمييز المزيد من البيانات (وضع العلامات الذاتية) ، وإرسالها تنبؤات حول الثقة المنخفضة للتحقق البشري (التعلم النشط). يمكن تكرار العملية وتميل إلى التحسين من الانتقال إلى الانتقال في الممارسة.

تحقق أيضًا من:

باختصار ، يعتمد التعلم الآلي للحلقة البشرية على ردود الفعل البشرية لتحسين جودة البيانات المستخدمة لتدريب نماذج التعلم الآلي. بشكل عام ، يدور التعلم الآلي البشري حول أخذ عينات من البيانات الجيدة التي يمكن للإنسان وضع علامة عليها (التعليق التوضيحي) ، واستخدام تلك البيانات لتدريب النموذج ، واستخدام النموذج لأخذ عينات من المزيد من البيانات للتعليق عليها. هناك العديد من الخدمات المتاحة لإدارة هذه العملية.

Amazon SageMaker Ground Truth

تقدم Amazon SageMaker خدمتين لوصف البيانات: Amazon SageMaker Ground Truth Plus و Amazon SageMaker Ground Truth. يحدد كلا الخيارين البيانات الأولية مثل الصور والنصوص وملفات الفيديو ، ويضيفان تسميات إعلامية لإنشاء مجموعات بيانات تدريبية عالية الجودة لنماذج التعلم الآلي. باستخدام Ground Truth Plus ، قام خبراء Amazon بإعداد تدفقات عمل تسمية البيانات نيابة عنك ، وفي هذه العملية ، يتم تطبيق التعلم المسبق والتحقق الآلي من وضع العلامات.

الذكاء الاصطناعي المعزز من أمازون

بينما تتعامل Amazon SageMaker Ground Truth مع التصنيف المسبق للبيانات ، توفر Amazon Augmented AI (Amazon A2I) تحققًا بشريًا من تنبؤات منخفضة الثقة أو عينات تنبؤ عشوائية من النماذج المنفذة. يدير الذكاء الاصطناعي المعزز كلاً من إنشاء سير عمل المراجعة والمراجعين البشريين. يتكامل مع AWS AI وخدمات التعلم الآلي بالإضافة إلى النماذج المنشورة على نقطة نهاية Amazon SageMaker.

DataRobot – الإنسان في الحلقة

يحتوي DataRobot على ميزة متواضعة للذكاء الاصطناعي تسمح لك بوضع قواعد لاكتشاف التنبؤات غير المؤكدة والمدخلات الخارجية والمناطق منخفضة المراقبة. يمكن أن تؤدي هذه القواعد إلى ثلاثة إجراءات ممكنة: لا يوجد إجراء (المراقبة فقط) ؛ إبطال التنبؤ (عادةً بقيمة “آمنة”) ؛ أو إرجاع خطأ (رفض التنبؤ). كتب DataRobot وثائق حول الإنسان في الحلقة ، لكنني لم أجد أي تطبيق على موقعهم بخلاف قواعد التواضع.

Google Cloud Human-in-the-Loop

تقدم Google Cloud معالجة Human-in-the-Loop (HITL) المدمجة في خدمات Document AI ، ولكن كما في حالة هذه الكتابة ، لا شيء لمعالجة الصور أو الفيديو. حاليًا ، تدعم Google سير عمل مراجعة HITL للمعالجات التالية:

معالجات الطلب:

الفواتير

الإيصالات

معالجات القروض:

1003 محلل

1040 المحلل اللغوي

محلل 1040 الجدول ج

1040 الجدول E Parser

محلل 1099-DIV

1099-G محلل

محلل 1099-INT

محلل 1099-MISC

محلل كشف الحساب البنكي

بيان محلل بواسطة محلل HOA

مستخلص الرهن محلل

محلل قسيمة الدفع

محلل التقاعد / بيان الاستثمار

محلل W2

W9 المحلل اللغوي

برامج الخدمة البشرية

قد يكون من الصعب تكوين التعليقات التوضيحية للصورة البشرية ، مثل تصنيف الصور واكتشاف الكائنات والتجزئة الدلالية ، لتسمية مجموعات البيانات. لحسن الحظ ، هناك العديد من الأدوات التجارية والمفتوحة المصدر الجيدة التي يمكن لواضعي العلامات استخدامها.

Humans in the Loop ، وهي شركة تصف نفسها على أنها “مؤسسة اجتماعية تقدم حلولًا أخلاقية للقوى العاملة لدعم صناعة الذكاء الاصطناعي ،” تدون بشكل دوري حول أدوات التعليقات التوضيحية المفضلة لديها. في أحدث هذه الإدخالات ، قاموا بإدراج 10 أدوات شرح توضيحي مفتوحة المصدر لرؤية الكمبيوتر: Label Studio و Diffgram و LabelImg و CVAT و ImageTagger و LabelMe و VIA و Make Sense و COCO Annotator و DataTurks. غالبًا ما تُستخدم هذه الأدوات لإضافة تعليقات توضيحية لمجموعات التدريب ، ويمكن لبعضها إدارة مجموعات التعليقات التوضيحية.

على سبيل المثال ، تتميز أداة التعليق التوضيحي لرؤية الكمبيوتر (CVAT) بوظائف قوية ومحدثة وتعمل في Chrome. لا تزال إحدى الأدوات الرئيسية التي نستخدمها نحن وعملائنا في وضع العلامات ، نظرًا لأنها أسرع بكثير من العديد من الأدوات في السوق “.

يكتب CVAT README على GitHub ، “CVAT هو أداة مجانية للتعليقات التوضيحية للصور ومقاطع فيديو تفاعلية تعتمد على الويب من أجل رؤية الكمبيوتر. يتم استخدامه من قبل فريقنا للتعليق على ملايين الكائنات ذات الخصائص المختلفة. تستند العديد من قرارات واجهة المستخدم وتجربة المستخدم إلى التعليقات الواردة من فرق التعليقات التوضيحية للبيانات المحترفة. جربه عبر الإنترنت على cvat.org ”. من الضروري إنشاء تسجيل دخول لتشغيل العرض التوضيحي.

تم إصدار CVAT كمصدر مفتوح بموجب ترخيص MIT. يعمل معظم الملتزمون النشطون لشركة Intel في نيجني نوفغورود ، روسيا. يوضح الفيديو التمهيدي لـ CVAT كيف تعمل عملية وضع العلامات.


ما هو التعلم الآلي بمساعدة الإنسان؟ بيانات أفضل ، نماذج أكثر فعالية

IDG

 

كما ترى ، يمكن أن تساهم معالجة الحلقة البشرية في عملية التعلم الآلي عند نقطتين: الإنشاء الأولي لمجموعات البيانات الموسومة للتعلم الخاضع للإشراف ، ومراجعة وتصحيح التنبؤات التي يحتمل أن تكون إشكالية عند تشغيل النموذج. تساعد حالة الاستخدام الأولى على تمهيد النموذج وتساعد الحالة الثانية على ضبط النموذج.

المصدر: InfoWorld

Related Articles

Back to top button