inclusionAI: Ling 3.0 Flash

Ling 3.0 Flash er en tekst-til-tekst-model fra inclusionAI. Den offentliggjorte arkitektur er en blanding af eksperter med 124 milliarder parametre i alt og cirka 5,1 milliarder aktive parametre pr. token. Vælg inclusionai/ling-3.0-flash via POST /v1/chat/completions med model og et messages-array. Instruktioner, kildemateriale og tidligere samtaleture hører hjemme i beskedteksten.

Brug en fokuseret prompt til at omdanne medsendt materiale til et konkret resultat. Til et kundesvar skal du medtage kundens spørgsmål og den produkt- eller politiktekst, svaret skal bruge, og derefter angive tonen og næste trin. Til et dokumentresumé skal du angive de afsnit, du har brug for, såsom beslutninger, uafklarede spørgsmål og handlinger. Til udtræk skal du definere de ønskede felter og måden at repræsentere fakta, der mangler i kilden. Til kodearbejde skal du medtage den relevante funktion eller det relevante filuddrag og bede om en forklaring, et ændringsforslag eller en gennemgang i forhold til et eksplicit krav.

Det offentliggjorte kontekstvindue er 262 144 tokens, og modellen er angivet med op til 32 768 tokens til svaret. Planlæg kildetekst, instruktioner, samtalehistorik og det ønskede svar samlet. Brug max_tokens til at angive den ønskede outputramme. Et dokument skal medsendes som dets faktiske tekst, når svaret skal afhænge af indholdet; henvis udtrykkeligt til de relevante afsnit, når en anmodning kombinerer flere passager.

Listen over understøttede parametre omfatter tools og tool_choice til funktionskald. Definér de tilgængelige funktioner og beskrivelser af deres argumenter i anmodningen. Din applikation validerer et returneret kald, udfører den valgte funktion og føjer resultatet til samtalen, før den anmoder om et opfølgende svar. En supportarbejdsgang kan for eksempel stille et snævert defineret ordreopslag til rådighed og bruge de returnerede fakta, når svaret udarbejdes. Hold værktøjsresultater knyttet til den korrekte samtaletur, så modellen kan skelne dem fra brugerens oprindelige anmodning.

Modellen understøtter response_format til JSON-output uden håndhævelse af JSON-skema. Angiv de ønskede felter, og validér det returnerede objekt i din applikation, før du bruger det. Andre offentliggjorte indstillinger omfatter temperature, top_p, top_k, min_p, stop, seed og de angivne strafværdier for gentagelse, hyppighed og tilstedeværelse. Parameterlisten omfatter også reasoning og include_reasoning; vælg deres understøttede repræsentation ud fra anmodningsspecifikationen frem for at antage værdier fra en anden udgave.

Chat Completions kan returnere et komplet svar eller streamet tekst. Ved et komplet svar skal du læse det returnerede beskedindhold og gemme svarets choices og usage. Ved streaming skal du samle deltaerne, før du betragter svaret som færdigt, og gemme eventuelle returnerede værktøjskald med deres argumenter. Resultatet er tekst eller en anmodning om et funktionskald til applikationens næste trin; den omgivende applikation står for udførelsen og anvendelsen af det færdige svar.