inclusionAI: Ling 3.0 Flash

Ling 3.0 Flash er en tekst-til-tekst-modell fra inclusionAI. Den publiserte arkitekturen er en blanding av eksperter med totalt 124 milliarder parametere og omtrent 5,1 milliarder aktive parametere per token. Velg inclusionai/ling-3.0-flash gjennom POST /v1/chat/completions med model og en messages-array. Instruksjoner, kildemateriale og tidligere meldinger i samtalen hører hjemme i meldingsteksten.

Bruk en presis prompt for å gjøre oppgitt materiale om til et konkret resultat. For et kundesvar oppgir du kundens spørsmål og produktteksten eller retningslinjene svaret må bruke, og angir deretter tone og neste trinn. For en dokumentoppsummering angir du delene du trenger, som beslutninger, uavklarte spørsmål og tiltak. For uthenting definerer du de ønskede feltene og hvordan fakta som mangler i kilden, skal representeres. For kodearbeid tar du med den relevante funksjonen eller filutdraget og ber om en forklaring, en foreslått endring eller en gjennomgang mot et eksplisitt krav.

Det publiserte kontekstvinduet er 262 144 tokener, med opptil 32 768 tokener for genererte svar oppgitt for modellen. Planlegg kildeteksten, instruksjonene, samtalehistorikken og det ønskede svaret samlet. Bruk max_tokens til å angi ønsket ramme for utdataene. Et dokument bør oppgis som selve teksten når du vil at svaret skal avhenge av innholdet; henvis uttrykkelig til de relevante delene når en forespørsel kombinerer flere avsnitt.

Listen over støttede parametere omfatter tools og tool_choice for funksjonskall. Definer de tilgjengelige funksjonene og argumentbeskrivelsene deres i forespørselen. Applikasjonen din validerer et returnert kall, utfører den valgte funksjonen og legger resultatet inn i samtalen før den ber om et oppfølgingssvar. En kundestøtteflyt kan for eksempel tilby et snevert definert ordreoppslag og bruke de returnerte faktaene når svaret utformes. Hold verktøyresultater knyttet til riktig melding i samtalen, slik at modellen kan skille dem fra brukerens opprinnelige forespørsel.

Modellen støtter response_format for JSON-utdata, uten håndheving av JSON-skjema. Angi de tiltenkte feltene og valider det returnerte objektet i applikasjonen før du bruker det. Andre publiserte innstillinger omfatter temperature, top_p, top_k, min_p, stop, seed og de oppførte straffene for gjentakelse, frekvens og tilstedeværelse. Parameterlisten omfatter også reasoning og include_reasoning; velg den støttede representasjonen fra forespørselsspesifikasjonen i stedet for å anta verdier fra en annen utgave.

Chat Completions kan returnere et fullstendig svar eller strømmet tekst. For et fullstendig svar leser du det returnerte meldingsinnholdet og beholder svaralternativene og usage. Ved strømming setter du sammen deltaene før du anser svaret som fullstendig, og beholder alle returnerte verktøykall med argumentene deres. Resultatet er tekst eller en forespørsel om funksjonskall til applikasjonens neste trinn; applikasjonen rundt modellen har ansvar for utførelsen og bruken av det ferdige svaret.