inclusionAI: Ling 3.0 Flash

Ling 3.0 Flash är en modell för text till text från inclusionAI. Dess publicerade arkitektur är en expertblandning med totalt 124 miljarder parametrar och cirka 5,1 miljarder aktiva parametrar per token. Välj inclusionai/ling-3.0-flash via POST /v1/chat/completions med model och en messages-array. Instruktioner, källmaterial och tidigare samtalsturer hör hemma i meddelandetexten.

Använd en fokuserad prompt för att omvandla tillhandahållet material till ett bestämt resultat. För ett kundsvar tillhandahåller du kundens fråga och den produkt- eller policytext som svaret måste använda, och anger sedan ton och nästa steg. För en dokumentsammanfattning anger du vilka avsnitt du behöver, till exempel beslut, olösta frågor och åtgärder. För informationsutvinning definierar du de begärda fälten och hur uppgifter som saknas i källan ska representeras. För kodarbete tar du med relevant funktion eller filutdrag och ber om en förklaring, föreslagen ändring eller granskning mot ett uttryckligt krav.

Det publicerade kontextfönstret är 262 144 tokens, med upp till 32 768 tokens angivna för genererade svar. Budgetera källtext, instruktioner, samtalshistorik och begärt svar tillsammans. Använd max_tokens för att ställa in det begärda utrymmet för utdata. Ett dokument bör tillhandahållas som sin faktiska text när du vill att svaret ska bero på innehållet; hänvisa uttryckligen till relevanta avsnitt när en förfrågan kombinerar flera textstycken.

Listan över parametrar som stöds omfattar tools och tool_choice för funktionsanrop. Definiera de tillgängliga funktionerna och beskrivningarna av deras argument i förfrågan. Din applikation validerar ett returnerat anrop, kör den valda funktionen och tillför resultatet till samtalet innan den begär ett uppföljande svar. Ett supportarbetsflöde kan exempelvis exponera en snävt definierad ordersökning och använda de returnerade uppgifterna när svaret formuleras. Håll verktygsresultat knutna till rätt samtalstur så att modellen kan skilja dem från användarens ursprungliga förfrågan.

Modellen stöder response_format för JSON-utdata, utan tvingande validering mot JSON-schema. Ange de avsedda fälten och validera det returnerade objektet i din applikation innan du använder det. Andra publicerade inställningar omfattar temperature, top_p, top_k, min_p, stop, seed och de angivna straffen för upprepning, frekvens och närvaro. Parameterlistan omfattar även reasoning och include_reasoning; välj deras stödda representation från förfrågningsspecifikationen i stället för att anta värden från en annan utgåva.

Chat Completions kan returnera ett fullständigt svar eller strömmad text. För ett fullständigt svar läser du det returnerade meddelandeinnehållet och behåller svarets choices och usage. Vid strömning sammanställer du deltan innan svaret betraktas som komplett och behåller eventuella returnerade verktygsanrop med deras argument. Resultatet är text eller en begäran om ett funktionsanrop för nästa applikationssteg; den omgivande applikationen ansvarar för körningen och användningen av det färdiga svaret.