Blog

Che cos’è l’inferenza AI? Il processo alla base di ogni risultato dell’AI

Markdown

Scopri che cos’è l’inferenza AI, come i modelli addestrati generano previsioni in tempo reale e perché latenza, costi e scalabilità sono importanti nello sviluppo di applicazioni AI.

Ogni volta che un’applicazione AI genera una risposta o segnala una transazione fraudolenta, sta eseguendo inferenza. Un modello addestrato riceve nuovi dati e li elabora attraverso livelli di parametri appresi per produrre un risultato. Questo avviene in pochi millisecondi, spesso milioni di volte al giorno. Ma questa velocità ha un costo. Ogni richiesta di inferenza richiede potenza di calcolo GPU e larghezza di banda della memoria, che aumentano in base alle dimensioni del modello e al volume di traffico. I picchi di latenza frustrano gli utenti. Le spese per le GPU crescono più del previsto. Inoltre, scalare i carichi di lavoro su più aree geografiche introduce una complessità infrastrutturale che la maggior parte dei team non prevede. digitalocean.com/currents/february-2026), in molte organizzazioni l’inferenza assorbe ormai circa il 76-100% dei budget AI.

Se stai distribuendo modelli di machine learning o flussi di lavoro AI, ciò che conta di più non è solo come il modello apprende. Conta quanto efficacemente genera previsioni in tempo reale. Capire che cos’è l’inferenza AI e quali fattori ne determinano le prestazioni può aiutarti a prendere decisioni architetturali più consapevoli per il tuo prossimo progetto AI.

Punti chiave:

  • L’addestramento sviluppa l’intelligenza del modello, mentre l’inferenza alimenta applicazioni come il rilevamento delle frodi, le interfacce di chat con LLM e i sistemi di raccomandazione.

  • Mentre i budget AI si spostano verso la distribuzione, throughput, costo per richiesta, utilizzo della GPU e latenza P95/P99 sono fattori importanti nello sviluppo di applicazioni AI/ML.

  • Gli ambienti di inferenza AI, come cloud, edge e inferenza su dispositivo, rispondono a esigenze diverse di latenza, privacy, larghezza di banda e scalabilità. Molti sistemi di produzione adottano un approccio ibrido.

  • Con GPU Droplets, Bare Metal GPUs e Gradient™ AI Inference Cloud di DigitalOcean, puoi distribuire un’inferenza scalabile ed efficiente in termini di costi, senza la complessità degli hyperscaler.

Che cos’è l’inferenza AI?

Immagine del ciclo di vita di un prodotto AI

L’inferenza AI è la fase del ciclo di vita dell’AI in cui un modello addestrato formula previsioni o genera risultati a partire da nuovi dati. È ciò che alimenta applicazioni in tempo reale come i motori di raccomandazione, la diagnostica medica e le interfacce di chat con i modelli linguistici di grandi dimensioni (LLM). Nei tuoi ambienti di produzione, l’inferenza AI determina quanto rapidamente gli utenti ricevono i risultati, quanto bene il sistema gestisce i picchi di traffico e quanto costa fornire ciascuna previsione.

Workato riduce i costi di inferenza del 67%:

Per eseguire AI agentica su una scala di un trilione di carichi di lavoro, Workato ha collaborato con il cloud di inferenza agentica di DigitalOcean per ottimizzare l’inferenza di LLM con contesti lunghi. Distribuendo NVIDIA Dynamo e vLLM su DOKS con instradamento consapevole delle KV, ha ottenuto il 67% di token in più al secondo per GPU e una riduzione del 67% dei costi dei modelli, utilizzando la metà delle GPU.

Qual è la differenza tra addestramento e inferenza?

L’addestramento è il modo in cui un modello apprende. Gli vengono forniti enormi set di dati e il modello modifica iterativamente milioni di parametri interni finché non riesce a riconoscere autonomamente gli schemi. Al modello vengono forniti dati di input insieme alle risposte corrette, ad esempio immagini con etichette o testi con i risultati attesi. Il modello formula previsioni, le confronta con le risposte corrette e si modifica per ridurre gli errori. Il processo si ripete per molti cicli, finché il modello non diventa bravo a formulare previsioni accurate. È un processo che richiede molta potenza di calcolo, ma viene eseguito una sola volta o periodicamente. L’inferenza avviene dopo: il modello addestrato riceve nuovi dati che non ha mai visto prima e genera una previsione o una risposta in tempo reale.

FattoreAddestramento AIInferenza AI
ScopoApprendere schemi e ottimizzare la precisione del modelloGenerare previsioni o risultati a partire da nuovi dati
Dati utilizzatiGrandi set di dati etichettati (ad es. transazioni fraudolente storiche, immagini mediche annotate, recensioni etichettate in base al sentiment)Dati di input nuovi e mai visti prima
RisultatoPesi del modello aggiornati (modello finale addestrato)Previsione, punteggio, classificazione o risposta generata
Requisiti di calcoloMolto elevati (come per i cluster GPU distribuiti)Inferiori per richiesta, ma sensibili alla latenza
Sensibilità temporaleOffline, non rivolta agli utentiIn tempo reale o quasi in tempo reale, rivolta agli utenti
FrequenzaOccasionale (addestramento iniziale e riaddestramento)Continua, viene eseguita a ogni richiesta
Struttura dei costiElevato costo iniziale di addestramentoCosto continuativo per richiesta
Priorità di ottimizzazionePrecisione e riduzione della lossLatenza, throughput, efficienza dei costi
Esempio: sistema AI di moderazione dei contenutiIl sistema viene addestrato su milioni di post etichettati come “sicuro”, “spam”, “incitamento all’odio” o “violazione delle policy”. Durante l’addestramento, il modello apprende schemi di testo, tono, parole chiave e contesto modificando i propri pesi interni per distinguere i contenuti dannosi da quelli accettabili.Quando un utente invia un nuovo post, il modello addestrato elabora il testo in tempo reale e assegna punteggi di probabilità a ciascuna categoria di contenuti. In base a questi punteggi, il sistema pubblica automaticamente il post, lo segnala, ne limita la visibilità oppure lo inoltra a una persona per la revisione.

Addestramento e inferenza vengono spesso confusi, ma impongono requisiti molto diversi all’infrastruttura e al budget. Il nostro articolo sull’inferenza AI rispetto all’addestramento spiega dove vanno davvero i soldi e su cosa concentrarsi quando si eseguono modelli in produzione.

Ambienti di inferenza AI

L’inferenza può essere eseguita in luoghi diversi a seconda delle esigenze dell’applicazione, della sensibilità dei dati e dei requisiti di prestazioni. Può essere eseguita in data center cloud centralizzati, più vicino agli utenti all’edge oppure direttamente sui dispositivi locali.

Ambienti di inferenza cloud

Gli ambienti di inferenza cloud sono l’impostazione più comune per l’inferenza AI in produzione e offrono risorse di calcolo scalabili, come le GPU. Supportano framework per la gestione dei modelli, monitoraggio e integrazione con API e sistemi distribuiti.

Per esempio, un team che distribuisce un motore di raccomandazione potrebbe seguire il flusso di lavoro seguente:

  • Eseguire il servizio di inferenza su DigitalOcean GPU Droplets

  • Distribuire le API usando App Platform per fornirle agli utenti

  • Conservare gli artefatti dei modelli in Spaces

Ambienti di inferenza edge

L’inferenza edge viene eseguita vicino alla fonte dei dati, ad esempio in negozi, fabbriche o torri di telecomunicazione, per ridurre la latenza e l’uso della larghezza di banda. Per applicazioni come l’analisi video e il monitoraggio IoT, elaborare i dati localmente consente di prendere decisioni in pochi millisecondi, anziché affidarsi alla comunicazione di andata e ritorno con server cloud centralizzati.

In un negozio, una telecamera di sicurezza monitora le casse. Un piccolo dispositivo edge installato sul posto esegue un modello di computer vision che rileva comportamenti sospetti, come il mancato pagamento di un articolo. Se viene rilevato un comportamento sospetto, il sistema avvisa immediatamente il personale. I riepiloghi degli avvisi e i report analitici giornalieri vengono caricati successivamente per una revisione centralizzata.

Inferenza su dispositivo

L’inferenza su dispositivo viene eseguita direttamente sull’hardware dell’utente, come smartphone, laptop o sistemi embedded. Mira a migliorare la privacy, ridurre la dipendenza dalla connettività di rete e offrire risposte immediate in applicazioni come gli assistenti vocali e l’autenticazione biometrica.

Quando un utente pronuncia una frase di attivazione come “Ehi, assistente”, un modello di rete neurale eseguito localmente sul dispositivo resta in ascolto per rilevare quella specifica frase. L’audio viene elaborato in tempo reale dalla CPU del dispositivo o da un chip AI dedicato. Quando viene rilevata la parola di attivazione, il sistema si attiva e invia la richiesta al cloud per ulteriori elaborazioni. In questa configurazione:

  • Il modello addestrato per rilevare la parola di attivazione viene memorizzato sul dispositivo.

  • L’inferenza viene eseguita continuamente sull’hardware locale.

  • L’audio grezzo non lascia il dispositivo a meno che non venga attivato.

  • L’assistente risponde subito, anche senza una connessione Internet attiva.

Come scegliere l’ambiente di inferenza AI giusto

L’ambiente di inferenza da scegliere dipende dai requisiti di latenza, dal volume di traffico, dalla sensibilità dei dati e dai vincoli di costo. In molti sistemi di produzione, i team adottano un approccio ibrido, combinando l’elaborazione su dispositivo o edge con l’inferenza basata sul cloud.

  • Scegli l’inferenza cloud: se hai bisogno di elevata scalabilità, gestione centralizzata dei modelli e capacità di gestire grandi volumi di traffico o carichi di lavoro intensivi in termini di GPU.

  • Scegli l’inferenza edge: se la tua applicazione richiede una latenza ridotta vicino alla fonte dei dati, un minor uso della larghezza di banda o elaborazione in tempo reale in sedi distribuite.

  • Scegli l’inferenza su dispositivo: se la privacy è importante, è necessaria la funzionalità offline o servono tempi di risposta immediati sull’hardware dell’utente, come gli smartphone.

Hai dubbi sulla differenza tra edge e cloud? Parti da una domanda: quanto velocemente deve rispondere il tuo sistema? Leggi il nostro articolo sul cloud computing rispetto all’edge computing per capire quando e come usare ciascuno in modo efficace.

Vantaggi dell’inferenza AI

L’inferenza AI determina quanto rapidamente risponde la tua applicazione, quanto affidabilmente scala e quanto efficientemente gestisci i costi infrastrutturali. Se implementata correttamente, offre vantaggi misurabili in termini di prestazioni e operatività:

  • Processo decisionale in tempo reale: l’inferenza converte continuamente i dati in tempo reale in risultati strutturati, come punteggi di rischio, classificazioni, classifiche o testo generato. Questi risultati vengono forniti alle applicazioni. Per esempio, i modelli di rilevamento delle anomalie possono segnalare attività insolite in tempo reale, permettendo avvisi automatici e risposte operative più rapide.

  • Uso efficiente dei modelli in termini di costi: una volta addestrato, un modello può fornire milioni di previsioni senza essere riaddestrato. Sebbene l’inferenza sia costosa su larga scala, tecniche come il batching e la quantizzazione possono ridurre il costo per richiesta nei carichi di lavoro ad alto volume, come gli assistenti basati su LLM.

  • Esperienza utente migliorata: l’inferenza a bassa latenza influisce direttamente sulla percezione di quanto un’applicazione sembri “intelligente”. Se una funzionalità AI risponde in 100 millisecondi invece che in 2 secondi, gli utenti percepiscono il prodotto come reattivo, affidabile e degno di fiducia.

  • Distribuzione scalabile in produzione: con l’aumento del traffico, le pipeline di inferenza scalano orizzontalmente tramite infrastrutture distribuite e scalabilità automatica. Un assistente di scrittura generativa integrato in una piattaforma SaaS può avere qualche centinaio di utenti durante le ore normali, ma gestire agevolmente decine di migliaia di utenti dopo il lancio di un prodotto.

  • Sperimentazione e iterazione dei modelli più rapide: le pipeline di inferenza permettono di testare e distribuire nuove versioni dei modelli senza riaddestrarli da zero. Puoi eseguire test A/B su due modelli servendoli a segmenti di utenti diversi, effettuare distribuzioni shadow per valutare un nuovo modello rispetto al traffico reale senza influire sugli utenti oppure usare rilasci canary per spostare gradualmente il traffico verso una nuova versione prima della distribuzione completa.

Esegui subito modelli di AI generativa, senza bisogno di server. Accedi a più modelli con una sola chiave API, cambia provider e mantieni attivi i tuoi carichi di lavoro di inferenza. Scopri come distribuire i modelli di generazione di immagini e audio Fal sulla piattaforma Gradient AI di DigitalOcean usando semplici chiamate Python in un’app Streamlit.

Sfide dell’inferenza

Quando i modelli si confrontano con i carichi di lavoro di produzione, emerge la complessità dell’inferenza AI. Quando si passa dalla sperimentazione alla distribuzione su larga scala, è necessario valutare costi, prestazioni e vincoli infrastrutturali.

  • Elevati costi dell’inferenza su larga scala: l’uso continuativo delle GPU, i prezzi basati sui token e i modelli di traffico imprevedibili contribuiscono all’aumento dei costi.

  • Sensibilità alla latenza nei carichi di lavoro di produzione: le applicazioni in tempo reale richiedono risposte costantemente a bassa latenza in condizioni di traffico variabile. I colli di bottiglia nella gestione dei modelli, nelle reti o nella predisposizione dell’hardware possono peggiorare l’esperienza utente e l’affidabilità del sistema.

  • Complessità infrastrutturale e costi aggiuntivi di orchestrazione: molti team si affidano a più strumenti e API per eseguire l’inferenza, aumentando la complessità operativa. L’orchestrazione delle distribuzioni, la configurazione della scalabilità automatica e l’osservabilità nei sistemi distribuiti richiedono competenze specifiche nella pianificazione delle GPU e nel bilanciamento del carico.

  • Affidabilità e problemi di produzione: le pipeline di inferenza devono rimanere stabili sotto carico mantenendo la coerenza dei risultati. Se i nodi di inferenza GPU che gestiscono l’assistenza al rendering si arrestano in condizioni di elevata concorrenza, le sessioni di editing video attive possono fallire o le anteprime bloccarsi.

Vuoi passare dalle GPU generiche a un cloud di inferenza ottimizzato? DigitalOcean ha collaborato con Character.AI e AMD per ridurre del 50% i costi di inferenza, aumentare la capacità a circa 2X QPS e ottenere prestazioni superiori di circa il 91% rispetto alle configurazioni GPU standard.

Tipi di inferenza AI

L’inferenza AI viene classificata in base a come e quando vengono generate le previsioni. Alcuni sistemi rispondono subito agli input degli utenti, mentre altri elaborano grandi volumi di dati periodicamente o continuamente, man mano che si verificano eventi. La distinzione riguarda:

  • Tempistica delle richieste: quando vengono generate le previsioni: subito per ogni richiesta, a intervalli programmati o continuamente all’arrivo dei dati.

  • Schema del flusso di dati: come i dati di input attraversano il sistema: una singola richiesta e risposta, l’elaborazione di un set di dati in blocco o uno streaming basato su eventi.

  • Requisiti di reattività: il tempo di risposta accettabile per l’applicazione: millisecondi per i sistemi in tempo reale o risultati ritardati per carichi di lavoro non urgenti.

Inferenza in tempo reale (online)

L’inferenza in tempo reale elabora una richiesta alla volta man mano che arriva e restituisce subito una previsione. Segue uno schema “richiesta-risposta”, in cui ogni azione dell’utente o chiamata API attiva una previsione del modello. I tempi di risposta variano in genere da pochi millisecondi a qualche secondo, a seconda della complessità del modello e dell’infrastruttura.

Inferenza in streaming

L’inferenza in streaming valuta continuamente i flussi di dati in arrivo, invece di attendere richieste singole o processi programmati. I dati attraversano il sistema in modo continuo e guidato dagli eventi, e le previsioni vengono generate quasi in tempo reale man mano che arrivano nuovi dati. In termini di reattività, si colloca tra l’inferenza in tempo reale e quella batch: è più rapida dei processi batch programmati, ma opera su dati in streaming anziché su richieste isolate.

Inferenza batch

L’inferenza batch esegue previsioni su grandi set di dati tutti insieme a intervalli programmati. Il sistema elabora i dati in blocco, ad esempio con processi periodici che possono durare minuti o ore. I carichi di lavoro vengono orchestrati tramite scheduler o motori di workflow ed eseguiti su cluster di calcolo distribuiti. I dati vengono letti dai sistemi di archiviazione, elaborati in parallelo e riscritti come tabelle aggiornate, file o record di database.

TipoDescrizioneTempistica della rispostaFlusso di datiCasi d’uso
Inferenza in tempo reale (online)Elabora una richiesta alla volta man mano che arrivaDa millisecondi a secondiRichiesta-rispostaChatbot, rilevamento delle frodi e motori di raccomandazione
Inferenza in streamingValuta continuamente i flussi di dati in arrivoQuasi in tempo realeFlusso continuo guidato dagli eventiMonitoraggio IoT, rilevamento di eventi finanziari, rilevamento di anomalie
Inferenza batchEsegue previsioni su grandi set di dati tutti insieme a intervalli programmatiDa minuti a ore (processi programmati)Elaborazione in bloccoValutazione del merito creditizio, report analitici, valutazione periodica dei modelli

Come funziona l’inferenza AI

Il processo di inferenza AI avviene tramite un livello di gestione dei modelli che gestisce le richieste, esegue i calcoli (su CPU o GPU) e restituisce i risultati tramite un’API o in un formato specifico. Vediamo che cosa accade in ogni fase quando un sistema di rilevamento delle frodi valuta una transazione con carta di credito.

Immagine del flusso di lavoro di inferenza AI

  1. Preelaborazione dei dati di input: gli input grezzi, come testo, immagini, audio o dati strutturati, vengono convalidati e trasformati nel formato previsto dal modello. Questa fase può includere la tokenizzazione (per gli LLM), la normalizzazione, l’estrazione delle caratteristiche o la conversione in tensori.

Per esempio, supponiamo che un cliente usi la propria carta di credito per un acquisto di elettronica da $2,400 presso un negozio a São Paulo, ma che il suo conto sia associato a Chicago e che il dispositivo non sia mai stato visto dal sistema. Il sistema estrae caratteristiche strutturate dalla transazione: importo, categoria dell’esercente, impronta digitale del dispositivo, geolocalizzazione, ora del giorno e cronologia delle spese recenti. Queste caratteristiche vengono normalizzate e convertite in un vettore numerico di caratteristiche che il modello può elaborare.

  1. Caricamento e inizializzazione del modello: il modello addestrato, inclusi la sua architettura e i pesi appresi, viene caricato in memoria. Negli ambienti di produzione, i modelli sono per lo più containerizzati e gestiti tramite framework come TensorFlow Serving, TorchServe o servizi personalizzati basati su FastAPI.

In questo scenario, una rete neurale preaddestrata per il rilevamento delle frodi è già in esecuzione in memoria, distribuita tramite un server di modelli containerizzato che usa TorchServe. Quando arriva la transazione, il gateway API instrada il vettore di caratteristiche verso l’endpoint del modello.

  1. Calcolo della propagazione in avanti: l’input elaborato attraversa il modello, dove moltiplicazioni di matrici e funzioni di attivazione calcolano il risultato. Per il deep learning e l’inferenza degli LLM, questa fase viene eseguita su GPU o altri acceleratori per ottimizzare latenza e throughput.

Continuando con l’esempio del rilevamento delle frodi, il modello fa passare il vettore di caratteristiche attraverso i livelli della rete e confronta la combinazione di un dispositivo sconosciuto, una località internazionale e un importo elevato della transazione con gli schemi appresi da milioni di transazioni storiche. Restituisce un punteggio grezzo di probabilità di frode pari a 0.92.

  1. Post-elaborazione delle previsioni: il risultato grezzo del modello viene convertito in un esito utilizzabile, come un punteggio di probabilità, un’etichetta di classificazione, un elenco ordinato o token generati. Possono essere applicati soglie, strategie di decodifica (ad es. decodifica greedy o beam search) o regole aziendali.

In questo caso, un motore di regole interpreta il punteggio 0.92 in base alla logica aziendale del sistema. Poiché supera la soglia di 0.85 e la transazione è transfrontaliera, il motore la classifica come ad alto rischio e la segnala per un’autenticazione rafforzata, anziché rifiutarla del tutto.

  1. Consegna della risposta e registrazione nei log: il risultato finale viene restituito ad API, database o sistemi downstream (come flussi Kafka, gateway di pagamento e sistemi di allerta), a seconda dell’architettura dell’applicazione. Allo stesso tempo, vengono registrate metriche come latenza (P95/P99), throughput e tassi di errore per il monitoraggio, la scalabilità e l’ottimizzazione delle prestazioni.

A conclusione della sequenza, entro 120 millisecondi dalla transazione iniziale, il gateway di pagamento riceve la classificazione ad alto rischio e avvia una richiesta di verifica OTP sul telefono del cliente. Contemporaneamente, il sistema registra il punteggio del modello, i metadati della transazione, la latenza (P95) e l’esito dell’autenticazione: dati che contribuiranno al riaddestramento dei modelli e al monitoraggio delle prestazioni in futuro.

Smetti di inseguire i FLOP grezzi e confronta le prestazioni dell’inferenza LLM dove conta davvero. Leggi la guida completa al benchmarking dell’inferenza LLM per imparare a misurare latenza, throughput, concorrenza e costi.

Indicatori chiave di prestazione per l’inferenza AI

Ottimizzare l’inferenza significa innanzitutto sapere a quali metriche prestare attenzione. Non tutte saranno ugualmente importanti per il tuo caso d’uso, ma ignorarle può causare risposte lente, sprechi di potenza di calcolo o costi che aumentano senza che te ne accorga. Ecco le più importanti:

Indicatore di prestazioneDescrizionePerché è importanteEsempio
LatenzaTempo necessario per generare una previsione per una singola richiestaDetermina la velocità percepita dall’utente; la latenza di coda (P95/P99) riflette i ritardi peggiori sotto caricoUn chatbot risponde in media in 120ms, ma impiega 2 secondi al P99 durante i picchi di traffico
ThroughputNumero di richieste al secondo (RPS) o token al secondo (per gli LLM)Indica quanto traffico il sistema può gestire prima che le prestazioni peggiorinoUn LLM che genera 80 token/sec invece di 20 token/sec influisce sulla velocità di risposta su larga scala
Costo per richiestaCosto di calcolo consumato da ogni chiamata di inferenzaInfluisce sull’economia della produzione a lungo termine e sulla sostenibilità della scalabilitàUn’inferenza basata su GPU costa $0.002 per richiesta invece di $0.02 a volumi elevati
Utilizzo dell’hardwareEfficienza nell’uso di CPU, GPU o acceleratoriUn utilizzo inefficiente aumenta i costi e crea colli di bottiglia nelle prestazioniUna GPU al 30% di utilizzo spreca capacità e aumenta il costo per previsione
Scalabilità sotto caricoCapacità di mantenere le prestazioni durante i picchi di trafficoGarantisce affidabilità e latenza costante nei periodi di domanda massimaUn sistema di raccomandazione e-commerce gestisce il traffico del Black Friday senza picchi di latenza

Casi d’uso dell’inferenza AI

L’inferenza AI inizia nel momento in cui la tua applicazione risponde davvero. Che si tratti di valutare una transazione, ordinare i risultati di ricerca o generare testo, l’inferenza è il livello di esecuzione che trasforma l’intelligenza del modello in un’azione rivolta agli utenti.

  • Rilevamento delle frodi nelle transazioni finanziarie: l’azienda statunitense di sistemi di pagamento H2o.ai elabora, con modelli di deep learning, 160 milioni di record con 1,500 caratteristiche per rilevare frodi in tempo reale. Quando viene avviata una nuova transazione, il modello distribuito la valuta in pochi millisecondi. Il sistema blocca o segnala le attività sospette prima dell’autorizzazione.

  • Analisi di immagini mediche: uno studio sul rilevamento dei tumori cerebrali mostra come funziona in pratica l’inferenza su immagini mediche. Le scansioni MRI sono state prima etichettate, ridimensionate a 150×150 pixel e normalizzate prima di essere inserite in una rete neurale convoluzionale (CNN) personalizzata. Durante l’inferenza, il modello addestrato ha classificato ciascuna scansione come tumorale o non tumorale con una precisione di convalida del 98.67%. Per supportare il processo decisionale clinico, tecniche di post-elaborazione come SHAP, LIME e Grad-CAM hanno prodotto mappe di calore visive che evidenziano le aree che hanno influenzato la previsione.

  • Ranking della ricerca e sistemi di raccomandazione: quando un utente invia una query o visita una pagina, vengono codificate caratteristiche contestuali come clic precedenti, comportamento della sessione e metadati. Un modello di ranking o raccomandazione assegna punteggi a più elementi candidati in tempo reale. Il sistema di inferenza AI ordina i risultati in base ai punteggi di rilevanza previsti e restituisce una lista ordinata entro limiti di latenza rigorosi. Netflix usa l’inferenza in cui una fase iniziale di recupero utilizza i clic nella sessione, il comportamento di navigazione e le preferenze a lungo termine per creare un insieme di candidati. Poi, un modello di deep learning di seconda fase calcola i punteggi di rilevanza e restituisce una lista ordinata in circa 40 millisecondi.

  • Percezione dei veicoli autonomi: Tata Elxsi ha integrato l’AI con sensori LiDAR a lungo raggio (fino a 1 km) operanti a 10 Hz per alimentare la percezione in tempo reale dei veicoli autonomi. I dati cloud provenienti dal LiDAR e le immagini delle telecamere sono stati fusi e convertiti in tensori. I dati tensoriali vengono quindi inseriti nei modelli di deep learning, che eseguono inferenza per rilevare veicoli, pedoni e segnali stradali e segmentare le aree percorribili. I risultati del modello, come classificazioni degli oggetti, stime della distanza e rilevamento di violazioni (ad esempio guida contromano o eccesso di velocità), vengono passati direttamente ai sistemi di monitoraggio e controllo per attivare avvisi immediati o decisioni di guida in condizioni meteorologiche e di illuminazione variabili.

  • AI generativa e creazione di contenuti: Writer è una piattaforma di AI agentica che distribuisce LLM con 40 miliardi di parametri per generare testi di marketing e contenuti aziendali. I prompt degli utenti vengono inviati tramite API, elaborati da modelli accelerati da GPU gestiti tramite NVIDIA Triton Inference Server e le risposte vengono generate token per token. In questo caso, l’inferenza supporta fino a un trilione di chiamate API al mese e produce 90,000 parole al secondo.

Come costruisce DigitalOcean l’inferenza di nuova generazione? Scopri come gli ingegneri di DigitalOcean usano Ray, vLLM e Kubernetes per creare inferenza scalabile e ottimizzata per GPU per l’AI generativa. Guarda la sessione per capire come funzionano le modalità serverless e dedicate, il batching dinamico e le strategie avanzate di KV-cache.

FAQ sull’inferenza AI

Che cos’è l’inferenza AI?

L’inferenza AI è il processo che utilizza un modello di machine learning addestrato per generare previsioni o risultati a partire da dati nuovi e mai visti prima. È la fase di produzione dell’AI, in cui i modelli vengono eseguiti per realizzare applicazioni in tempo reale, analisi e sistemi decisionali automatizzati.

Qual è la differenza tra addestramento e inferenza? L’addestramento crea un modello apprendendo schemi da grandi set di dati e modificando i suoi parametri interni. L’inferenza applica il modello addestrato a nuovi dati per produrre previsioni, classificazioni o risultati generati.

In produzione l’inferenza è più importante dell’addestramento? Nei sistemi di produzione, l’inferenza è più importante dal punto di vista operativo perché viene eseguita continuamente e influisce direttamente su latenza, scalabilità e costi. L’addestramento determina la precisione del modello, mentre l’inferenza determina l’esperienza utente e l’economia della produzione.

Quale hardware viene usato per l’inferenza AI? L’inferenza AI viene eseguita su GPU e acceleratori specializzati come le TPU, a seconda dei requisiti di prestazioni e carico di lavoro. L’inferenza su GPU è comune per i carichi di lavoro di deep learning e LLM.

Qual è la differenza tra inferenza in tempo reale e batch?

L’inferenza in tempo reale genera previsioni subito quando arriva una richiesta, generalmente in pochi millisecondi o secondi. Viene usata nelle applicazioni interattive in cui gli utenti o i sistemi hanno bisogno di risposte immediate, come chatbot, rilevamento delle frodi o sistemi di raccomandazione.

L’inferenza batch elabora grandi volumi di dati a intervalli programmati anziché rispondere a singole richieste. I modelli eseguono previsioni su set di dati accumulati come processi periodici, generando risultati come punteggi di rischio, previsioni della domanda o report analitici.

Quali sono le migliori piattaforme per l’inferenza AI?

Le migliori piattaforme per l’inferenza AI offrono infrastrutture GPU scalabili, prezzi prevedibili e strumenti integrati per la gestione dei modelli. Gradient™ AI inference Cloud di DigitalOcean offre inferenza basata su GPU, scalabilità automatica e infrastruttura semplificata per i carichi di lavoro AI di produzione.

Metti in pratica questa guida con Ailoot

Collega modelli AI alle tue applicazioni, ai tuoi agenti e alle tue automazioni tramite un’unica API Ailoot. Scegli il modello più adatto al tuo compito e segui la documentazione di Ailoot per iniziare.