inclusionAI: Ling 3.0 Flash

Ling 3.0 Flash è un modello da testo a testo di inclusionAI. L'architettura pubblicata è a miscela di esperti con 124 miliardi di parametri totali e circa 5,1 miliardi di parametri attivi per token. Seleziona inclusionai/ling-3.0-flash tramite POST /v1/chat/completions con model e un array messages. Istruzioni, materiale di partenza e turni precedenti della conversazione vanno nel testo dei messaggi.

Usa un prompt mirato per trasformare il materiale fornito in un risultato specifico. Per una risposta a un cliente, fornisci la sua domanda e il testo del prodotto o delle regole che la risposta deve usare, quindi specifica il tono e il passaggio successivo. Per riassumere un documento, indica le sezioni necessarie, come decisioni, questioni irrisolte e azioni. Per l'estrazione, definisci i campi richiesti e come rappresentare i fatti assenti dalla fonte. Per il lavoro sul codice, includi la funzione o l'estratto di file pertinente e chiedi una spiegazione, una proposta di modifica o una revisione rispetto a un requisito esplicito.

La finestra di contesto pubblicata è di 262 144 token, con un massimo di 32 768 token di completamento indicati per il modello. Pianifica insieme il testo di partenza, le istruzioni, la cronologia della conversazione e il completamento richiesto. Usa max_tokens per impostare la quantità di output richiesta. Un documento deve essere fornito come testo effettivo quando vuoi che la risposta dipenda dai suoi contenuti; fai riferimento esplicito alle sezioni pertinenti quando una richiesta combina più brani.

L'elenco dei parametri supportati include tools e tool_choice per le chiamate di funzione. Definisci nella richiesta le funzioni disponibili e le descrizioni dei loro argomenti. L'applicazione convalida una chiamata restituita, esegue la funzione selezionata e ne fornisce il risultato alla conversazione prima di richiedere una risposta successiva. Ad esempio, un flusso di assistenza può esporre una ricerca degli ordini definita in modo circoscritto e usare i fatti restituiti per redigere la risposta. Mantieni i risultati degli strumenti associati al turno corretto della conversazione, così che il modello possa distinguerli dalla richiesta originale dell'utente.

Il modello supporta response_format per l'output JSON, senza imposizione di uno schema JSON. Indica i campi desiderati e convalida l'oggetto restituito nell'applicazione prima di utilizzarlo. Altri controlli pubblicati includono temperature, top_p, top_k, min_p, stop, seed e le penalità di ripetizione, frequenza e presenza elencate. L'elenco dei parametri include anche reasoning e include_reasoning; scegli la loro rappresentazione supportata dalle specifiche della richiesta, invece di presumere valori di un'altra edizione.

Chat Completions può restituire una risposta completa o testo in streaming. Per una risposta completa, leggi il contenuto del messaggio restituito e conserva i choices e usage della risposta. Con lo streaming, assembla i delta prima di considerare completa la risposta e conserva ogni chiamata di strumento restituita con i relativi argomenti. Il risultato è testo o una richiesta di chiamata di funzione per il passaggio applicativo successivo; l'applicazione circostante gestisce l'esecuzione e l'uso della risposta completata.