人間が支援する機械学習とは何ですか？より良いデータとより効果的なモデル

MR.abdulkader

What is human-assisted machine learning? Better data and more effective models

人間が支援する機械学習とは何ですか？より良いデータとより効果的なモデル

人間と機械の学習ループは、人間のフィードバックを使用してトレーニングデータのエラーを排除し、モデルの精度を高めます。

機械学習モデルは、多くの場合、完璧にはほど遠いものです。信用承認評価など、人々の生活に影響を与える目的でモデルの予測を使用する場合、人間は、信頼水準が低い予測、範囲外の予測、品質管理など、少なくともいくつかの予測を確認することをお勧めします。ランダムサンプル。

さらに、適切なタグ付き（注釈付き）データがないため、教師あり学習が困難になることがよくあります（学生が何もすることがない教授でない限り）。タグなしデータに半教師あり学習を実装する1つの方法は、モデルシード用に一部のデータにラベルを付け、中間モデルに信頼性の高い予測を使用して（またはモデル学習を転送して）、より多くのデータにタグを付け（自己タグ付け）、予測を送信することです。人間をチェックする自信がないことについて（積極的な学習）。このプロセスは繰り返すことができ、実際には移行から移行へと改善する傾向があります。

また確認してください：

つまり、人間のループによる機械学習は、人間のフィードバックに依存して、機械学習モデルのトレーニングに使用されるデータの品質を向上させます。一般に、人間の機械学習とは、人間がタグ付けできる優れたデータ（注釈）をサンプリングし、そのデータを使用してモデルをトレーニングし、モデルを使用して注釈用のデータをさらにサンプリングすることです。このプロセスを管理するために利用できる多くのサービスがあります。

Amazon SageMaker Ground Truth

Amazon SageMakerは、Amazon SageMaker Ground TruthPlusとAmazonSageMaker GroundTruthの2つのデータ記述サービスを提供します。どちらのオプションも、画像、テキスト、動画などの生データを識別し、情報ラベルを追加して、機械学習モデル用の高品質のトレーニングデータセットを作成します。Ground Truth Plusを使用すると、Amazonの専門家がデータラベルワークフローを設定し、その過程で、事前学習とラベルの自動検証が適用されます。

アマゾン拡張人工知能

Amazon SageMaker Ground Truthはデータの事前分類を扱いますが、Amazon Augmented AI（Amazon A2I）は、実装されたモデルからの信頼性の低い予測またはランダムな予測サンプルの人間による検証を提供します。拡張AIは、レビューワークフローの作成と人間のレビュー担当者の両方を管理します。AWS AIと機械学習サービス、およびAmazonSageMakerエンドポイントにデプロイされたモデルと統合します。

DataRobot-人間の輪

DataRobotには控えめなAI機能があり、不確実な予測、外部入力、監視の少ない領域を検出するためのルールを設定できます。これらのルールは、3つの可能なアクションにつながる可能性があります。アクションなし（監視のみ）。予測を無効にします（通常は「安全な」値を使用）。またはエラーを返します（予測を拒否します）。DataRobotは、ループ内の人間に関するドキュメントを作成しましたが、謙虚さのルール以外の実装はサイトに見つかりませんでした。

Google Cloudヒューマン・イン・ザ・ループ

Google Cloudは、Document AIサービスに組み込まれたHuman-in-the-Loop（HITL）処理を提供しますが、この記事のように、画像やビデオの処理には何もありません。現在、Googleは次のプロセッサのHITLレビューワークフローをサポートしています。

注文処理者：

請求書

領収書

ローン処理業者：

1003アナリスト

1040パーサー

1040アナライザーテーブルC

1040テーブルEパーサー

1099-DIVアナライザー

1099-Gアナライザー

1099-INT。アナライザー

1099-MISCアナライザー

銀行取引明細書アナリスト

HOAアナリストによる分析ステートメント

住宅ローン抽出アナライザー

ペイクーポンアナライザー

リタイアメントアナリスト/投資ステートメント

W2محللアナライザー

W9パーサー

福祉プログラム

データセットにラベルを付けるために、画像分類、オブジェクト検出、セマンティックセグメンテーションなどの人間の画像注釈を構成するのは難しい場合があります。幸いなことに、ラベラーが使用できる優れた商用およびオープンソースツールはたくさんあります。

Humans in the Loopは、「AI業界を強化するための倫理的な労働力ソリューションを提供する社会的企業」と自称する企業であり、お気に入りの注釈ツールについて定期的にブログを書いています。最新のエントリには、Label Studio、Diffgram、LabelImg、CVAT、ImageTagger、LabelMe、VIA、Make Sense、COCO Annotator、DataTurksの10個のオープンソースコンピュータービジョン注釈ツールがリストされています。これらのツールは、トレーニングセットに注釈を付けるためによく使用され、注釈セットを管理できるものもあります。

たとえば、コンピュータビジョン注釈ツール（CVAT）は強力で最新のものであり、Chromeで機能します。市場に出回っている多くのツールよりもはるかに高速であるため、これは私たちとお客様がラベル付けに使用する主要なツールの1つです。」

GitHubのCVATREADMEは、次のように述べています。「CVATは、コンピュータービジョン用の無料のWebベースのインタラクティブな画像およびビデオ注釈ツールです。私たちのチームは、さまざまなプロパティを持つ何百万ものオブジェクトに注釈を付けるために使用します。多くのユーザーインターフェイスとユーザーエクスペリエンスの決定は、フィードバックに基づいています。 Professionalデータアノテーションチームから。cvat.orgでオンラインで試してください。」デモを実行するには、ログインを作成する必要があります。

CVATは、MITライセンスの下でオープンソースとしてリリースされています。インテルのアクティブな債務者のほとんどは、ロシアのニジニノヴゴロドで活動しています。CVATの紹介ビデオは、ラベリングプロセスがどのように機能するかを示しています。