I modelli di apprendimento automatico sono spesso tutt’altro che perfetti. Quando si utilizzano le previsioni del modello per scopi che influiscono sulla vita delle persone, come un rating di approvazione del credito, si consiglia a un essere umano di rivedere almeno alcune delle previsioni: quelle con un basso livello di confidenza, quelle che non rientrano nell’intervallo e un controllo di qualità campione casuale.

Inoltre, la mancanza di buoni dati contrassegnati (annotati) spesso rende difficile l’apprendimento supervisionato (a meno che tu non sia un professore in cui i tuoi studenti non hanno nulla da fare). Un modo per implementare l’apprendimento semi-supervisionato su dati senza tag è che le persone etichettino alcuni dati per il seeding del modello, utilizzino previsioni ad alta affidabilità nel modello provvisorio (o trasferiscano l’apprendimento del modello) per contrassegnare più dati (autotagging) e inviino previsioni sulla scarsa confidenza da controllare Umano (apprendimento attivo). Il processo può essere ripetuto e tende a migliorare da una transizione all’altra nella pratica.

Controlla anche:

In breve, l’apprendimento automatico del ciclo umano si basa sul feedback umano per migliorare la qualità dei dati utilizzati per addestrare i modelli di apprendimento automatico. In generale, l’apprendimento automatico umano consiste nel campionamento di dati validi che un essere umano può taggare (annotazione), nell’utilizzo di tali dati per addestrare il modello e nell’utilizzo del modello per campionare più dati per l’annotazione. Ci sono molti servizi disponibili per gestire questo processo.

Amazon SageMaker verità fondamentale

Amazon SageMaker offre due servizi di descrizione dei dati: Amazon SageMaker Ground Truth Plus e Amazon SageMaker Ground Truth. Entrambe le opzioni identificano dati grezzi come immagini, testo e video e aggiungono etichette informative per creare set di dati di addestramento di alta qualità per modelli di machine learning. Con Ground Truth Plus, gli esperti Amazon configurano per te flussi di lavoro per l’etichettatura dei dati e, nel processo, vengono applicati l’apprendimento avanzato e la convalida automatizzata dell’etichettatura.

Amazon intelligenza artificiale aumentata

Mentre Amazon SageMaker Ground Truth si occupa della preclassificazione dei dati, Amazon Augmented AI (Amazon A2I) fornisce la convalida umana di previsioni a bassa confidenza o campioni di previsioni casuali dai modelli implementati. L’IA avanzata gestisce sia la creazione del flusso di lavoro di revisione che i revisori umani. Si integra con AWS AI e servizi di machine learning, nonché modelli distribuiti sull’endpoint Amazon SageMaker.

DataRobot – Umano sul ring

DataRobot ha una funzione di intelligenza artificiale modesta che consente di impostare regole per rilevare previsioni incerte, input esterni e aree poco monitorate. Queste regole possono portare a tre possibili azioni: nessuna azione (solo monitoraggio); invalidare la previsione (di solito con un valore “sicuro”); o restituisce un errore (rifiuta la previsione). DataRobot ha scritto documentazione sull’essere umano nel ciclo, ma non sono riuscito a trovare alcuna implementazione sul loro sito oltre alle regole dell’umiltà.

Google Cloud Human-in-the-Loop

Google Cloud offre l’elaborazione Human-in-the-Loop (HITL) integrata nei suoi servizi di Document AI, ma come in questo scritto, niente per l’elaborazione di immagini o video. Attualmente, Google supporta i flussi di lavoro di revisione HITL per i seguenti processori:

Processori di ordini:

Fatture

ricevute

Processori di prestito:

1003 Analista

1040 Analizzatore

Analizzatore 1040 Tabella C

1040 Tabella E Analizzatore

Analizzatore 1099-DIV

Analizzatore 1099-G

1099-INT Analizzatore

Analizzatore 1099-MISC

analista di estratti conto

Dichiarazione analizzata dall’analista HOA

Analizzatore di estratto di ipoteca

Analizzatore di buoni di pagamento

Analista pensionistico / Dichiarazione di investimento

W2 محلل Analizzatore

Analizzatore W9

programmi di servizio alla persona

Può essere difficile configurare le annotazioni di immagini umane, come la classificazione delle immagini, il rilevamento di oggetti e la segmentazione semantica, per etichettare i set di dati. Fortunatamente, ci sono molti buoni strumenti commerciali e open source che gli etichettatori possono utilizzare.

Humans in the Loop, un’azienda che si descrive come “un’impresa sociale che fornisce soluzioni etiche per la forza lavoro per alimentare l’industria dell’IA”, pubblica periodicamente un blog sui suoi strumenti di annotazione preferiti. Nelle loro voci più recenti, hanno elencato 10 strumenti di annotazione di visione artificiale open source: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator e DataTurks. Questi strumenti vengono spesso utilizzati per annotare i set di addestramento e alcuni possono gestire i set di annotazioni.

Ad esempio, Computer Vision Annotation Tool (CVAT) è potente, aggiornato e funziona in Chrome. È ancora uno degli strumenti principali che noi e i nostri clienti utilizziamo per l’etichettatura, poiché è molto più veloce di molti strumenti sul mercato”.

CVAT README su GitHub scrive: “CVAT è uno strumento di annotazione di immagini e video interattivo gratuito basato sul Web per la visione artificiale. Viene utilizzato dal nostro team per annotare milioni di oggetti con proprietà diverse. Molte decisioni relative all’interfaccia utente e all’esperienza utente si basano sul feedback dai team di annotazione dei dati professionali. Provalo online su cvat.org. “È necessario creare un login per eseguire la demo.

CVAT è rilasciato come open source con licenza MIT. La maggior parte dei debitori attivi di Intel opera a Nizhny Novgorod, in Russia. Il video introduttivo CVA mostra come funziona il processo di etichettatura.

 

Come puoi vedere, l’elaborazione del ciclo umano può contribuire al processo di apprendimento automatico in due punti: la creazione iniziale di set di dati contrassegnati per l’apprendimento supervisionato e la revisione e la correzione di previsioni potenzialmente problematiche durante l’esecuzione del modello. Il primo caso d’uso aiuta a smussare il modello e il secondo caso aiuta a impostare il modello.

Fonte: InfoWorld