Che cos’è l’inferenza?
MarkdownScopri che cos’è l’inferenza dell’IA, come funzionano l’inferenza batch, edge, in tempo reale e in streaming e come i team possono affrontare le sfide di accuratezza, prestazioni e costi.
Che cos’è l’inferenza (nell’IA)?
L’inferenza è il processo con cui un modello di intelligenza artificiale genera previsioni o risultati a partire da nuovi dati. Dopo l’addestramento, un modello di IA ha appreso parametri e rappresentazioni. Quando riceve nuovi dati, li usa per generare un risultato. L’inferenza avviene durante l’esecuzione o la fase di distribuzione di un’applicazione di IA e consente numerosi casi d’uso nel mondo reale.
Perché l’inferenza è importante?
L’inferenza dell’IA è il processo che genera risultati a partire da dati mai visti prima. Dopo aver appreso schemi generalizzati dai set di dati di addestramento, un modello applica tali schemi ai nuovi dati.
Per esempio, un modello di IA potrebbe essere addestrato su scansioni di immagini mediche annotate da professionisti sanitari. Durante l’addestramento, il modello apprende indizi visivi e associazioni presenti nei dati. Può quindi identificare potenziali tumori o anomalie in nuove scansioni tramite l’inferenza. I professionisti sanitari possono valutare l’accuratezza del processo traendo conclusioni dalle stesse scansioni.
Rispetto alle tecniche tradizionali di analisi dei dati, in cui le persone definiscono regole e scelgono tecniche statistiche, l’addestramento di un modello consente al modello di individuare schemi complessi difficili da codificare manualmente. Questi schemi emergono dai parametri del modello. L’inferenza li applica ai nuovi dati.
Quali sono i tipi di inferenza nell’apprendimento automatico?
Esistono diversi tipi di inferenza nell’apprendimento automatico (ML).
Inferenza batch
L’inferenza batch genera previsioni utilizzando gruppi composti da più input di dati. È utile nelle applicazioni in cui il tempo non è un fattore critico e si può attendere la produzione dei risultati. Per esempio, un’applicazione di IA generativa per l’analisi aziendale potrebbe elaborare gli aggiornamenti una volta all’ora anziché in tempo reale.
Inferenza edge
L’inferenza di IA edge esegue un modello sul dispositivo dell’utente o vicino alla fonte dei dati. Poiché non è necessario inviare i dati a un hub centrale per l’elaborazione, l’inferenza edge può ridurre la latenza di rete. È utile in località remote con connettività limitata o sui dispositivi in cui l’inferenza è essenziale. La velocità di elaborazione dipende dalla latenza del dispositivo e del modello.
Inferenza in tempo reale
L’inferenza in tempo reale genera risultati immediatamente in risposta alle richieste di input. I modelli ricevono dati dagli input degli utenti o da fonti di dati connesse, attivando la necessità di un risultato immediato. L’inferenza in tempo reale si basa su sistemi di IA a bassa latenza ed è comunemente usata nei sistemi in cui il tempo è un fattore critico. Per esempio, i veicoli autonomi la usano per supportare decisioni tempestive.
Inferenza in streaming
L’inferenza in streaming usa una pipeline di dati che trasmette informazioni continuamente a un modello, il quale genera risultati in tempo reale. Come l’inferenza in tempo reale, risponde ai dati in arrivo, ma produce continuamente risultati basati sullo stream di input. L’inferenza in tempo reale risponde all’input dell’utente o alle richieste in diretta, mentre l’inferenza in streaming elabora un flusso continuo di nuovi dati.
Come funziona l’inferenza?
Diverse tecnologie e sistemi di dati collaborano per fornire l’infrastruttura necessaria all’inferenza dell’IA.
Infrastruttura del modello di apprendimento automatico
L’inferenza dell’IA è possibile dopo che un modello è stato addestrato. Prima della distribuzione, un modello può essere sottoposto ad addestramento, ottimizzazione fine, convalida e ottimizzazione dell’inferenza.
Un modello addestrato in produzione può richiedere notevole potenza di calcolo da unità di elaborazione grafica (GPU), unità di elaborazione centrale (CPU) e acceleratori di IA specializzati come AWS Inferentia. Le risorse di calcolo richiedono inoltre archiviazione, rete e pipeline di dati.
Input dell’utente e preelaborazione dei dati
Potrebbe essere necessario preelaborare i dati prima di inserirli in un modello. Per esempio, i modelli di visione possono usare la normalizzazione, mentre i modelli linguistici di grandi dimensioni (LLM) possono usare la tokenizzazione. È anche possibile pulire i dati per migliorarne la qualità.
Il processo di inferenza
Il processo di inferenza prende dati puliti ed esegue un passaggio in avanti, facendo passare i dati preelaborati attraverso i livelli del modello per generare un risultato. Questo comporta una serie di calcoli.
Generazione dei risultati e post-elaborazione
Dopo il passaggio in avanti, un modello genera un risultato basato sugli schemi appresi dai dati di addestramento.
La post-elaborazione può esaminare, filtrare e formattare i risultati in base a guardrail e policy. Per esempio, i guardrail possono aiutare a prevenire parolacce o contenuti dannosi, mentre la formattazione può adattare un risultato al tono di voce di un’azienda.
Quali sono le sfide dell’inferenza per i modelli di IA?
Diverse sfide possono influire sulla capacità di un modello di IA di fare inferenze.
Deriva del modello
La deriva del modello si verifica quando un modello diventa meno efficace nel tempo, man mano che i dati del mondo reale cambiano rispetto ai dati su cui è stato addestrato. La deriva dei dati si verifica quando cambiano gli schemi nei dati di input. Se i pesi del modello restano fissi in base ai dati di addestramento precedenti, questi cambiamenti possono rendere imprecisi i risultati.
La deriva del concetto si verifica quando la relazione tra gli input e i risultati del modello cambia o diventa più complessa. Per esempio, un modello di IA addestrato a identificare le email di phishing usa gli schemi appresi per formulare previsioni. Se le nuove tecnologie modificano il modo in cui vengono condotti i tentativi di phishing, i risultati del modello possono diventare meno accurati. Potrebbe essere necessario riaddestrare il modello per tenere conto di questi cambiamenti.
In entrambi i casi, un modello che in passato funzionava bene può iniziare a produrre risposte meno accurate o errate.
Velocità e prestazioni
La distribuzione di un modello di IA su larga scala richiede un’infrastruttura in grado di fornire risultati in modo affidabile. Le organizzazioni potrebbero aver bisogno di processori grafici, bassa latenza, velocità di rete elevate e ulteriori unità di elaborazione ad alte prestazioni per i modelli complessi.
Altri modi per migliorare velocità e prestazioni includono il perfezionamento dell’architettura dell’infrastruttura, l’uso di hardware specializzato e l’applicazione di tecniche di ottimizzazione dell’inferenza, come la quantizzazione, per ridurre le dimensioni del modello.
Scegliere un approccio di inferenza diverso, come l’inferenza batch, può migliorare le prestazioni per casi d’uso specifici.
Costi
L’esecuzione di carichi di lavoro di inferenza può comportare costi imprevisti. Su larga scala o in molti contesti diversi, la potenza di calcolo e il volume delle richieste di inferenza possono aumentare le spese. Le organizzazioni possono gestire i costi con strategie come ridurre le dimensioni del modello, parallelizzare l’elaborazione e usare un’infrastruttura cloud con scalabilità automatica per l’inferenza online.
Best practice per migliorare l’accuratezza e l’utilità dell’IA
Il miglioramento dell’accuratezza e dell’utilità dell’inferenza dell’IA dipende in parte dai processi di addestramento e ottimizzazione. Queste pratiche possono essere d’aiuto.
Investi nella qualità dei dati
La qualità dei set di dati di addestramento influisce direttamente sulla capacità di un modello di fare previsioni su nuovi dati e produrre risultati utili. Dati di alta qualità, ben etichettati, coerenti e privi di rumore possono migliorare la capacità di un modello di identificare schemi. Stabilisci processi rigorosi per preparare i dati, inclusi pulizia, convalida, standardizzazione e risoluzione delle incoerenze.
Affidati a personale qualificato
Quando possibile, coinvolgi persone esperte nell’addestramento dei modelli e nell’architettura dello stack tecnologico che intendi usare. Gli esperti di settore possono aiutare ad annotare i dati, rendendoli di qualità superiore e più completi. Addestrare un modello con dati di alta qualità può migliorare l’accuratezza dei suoi risultati.
Includi la spiegabilità per la conformità
I risultati dell’inferenza dovrebbero essere spiegabili. Le tecniche di spiegabilità possono aiutare a mostrare quali caratteristiche dell’input hanno influenzato un determinato risultato. I diversi tipi di modelli ML usano tecniche diverse. Per esempio, Shapley Additive exPlanations (SHAP) può essere applicato a qualsiasi modello ed è più adatto ai modelli basati su alberi, ai modelli lineari e alle reti neurali. La spiegabilità può anche aiutare le organizzazioni ad allinearsi ai framework di conformità per l’IA, compreso il diritto alla spiegazione previsto dal GDPR per le decisioni prese dall’IA.
In che modo AWS può supportare l’inferenza dell’IA?
AWS descrive servizi e infrastrutture appositamente progettati per le diverse fasi del ciclo di vita dell’apprendimento automatico e dei modelli di IA.
Amazon SageMaker AI offre un ambiente di apprendimento automatico per creare, addestrare, ottimizzare, testare e governare modelli personalizzati.
Amazon SageMaker AI è un servizio completamente gestito con strumenti di apprendimento automatico per una vasta gamma di casi d’uso. Supporta la creazione, l’addestramento e la distribuzione di modelli su larga scala con strumenti quali notebook, debugger, profiler, pipeline e MLOps in un ambiente di sviluppo integrato (IDE).
SageMaker AI supporta i requisiti di governance durante l’addestramento e l’inferenza con controlli di accesso e trasparenza sui progetti ML. Offre inoltre strumenti per creare modelli di fondazione (FM), ovvero modelli di grandi dimensioni addestrati su set di dati estesi, e per ottimizzarli, sperimentare, riaddestrarli e distribuirli.
AWS offre infrastrutture cloud per l’inferenza dell’IA, incluse GPU specializzate su Amazon EC2 e chip per l’apprendimento automatico come AWS Inferentia.
Inizia a usare l’inferenza dei modelli ML su AWS creando un account gratuito oggi stesso.
Metti in pratica questa guida con Ailoot
Collega i modelli di IA alle tue applicazioni, ai tuoi agenti e alle tue automazioni tramite un’unica API Ailoot. Scegli il modello adatto alla tua attività e segui la documentazione Ailoot per iniziare.