inclusionAI: Ling 3.0 Flash

Ling 3.0 Flash est un modèle de texte à texte d’inclusionAI. Son architecture publiée est un mélange d’experts comptant 124 milliards de paramètres au total et environ 5,1 milliards de paramètres actifs par token. Sélectionnez inclusionai/ling-3.0-flash via POST /v1/chat/completions avec model et un tableau messages. Les instructions, les sources et les échanges précédents de la conversation se placent dans le texte des messages.

Utilisez un prompt ciblé pour transformer les éléments fournis en un livrable précis. Pour une réponse client, fournissez la question du client et le texte sur le produit ou le texte des règles sur lesquels la réponse doit s’appuyer, puis précisez le ton et l’étape suivante. Pour un résumé de document, indiquez les sections souhaitées, comme les décisions, les questions non résolues et les actions. Pour une extraction, définissez les champs demandés et la manière de représenter les faits absents de la source. Pour du travail sur du code, incluez la fonction ou l’extrait de fichier pertinent et demandez une explication, une modification proposée ou une revue selon une exigence explicite.

La fenêtre de contexte publiée est de 262 144 tokens, avec jusqu’à 32 768 tokens de complétion indiqués pour le modèle. Budgétez ensemble le texte source, les instructions, l’historique de conversation et la complétion demandée. Utilisez max_tokens pour définir le volume de sortie demandé. Un document doit être fourni sous forme de texte réel lorsque vous voulez que la réponse dépende de son contenu; désignez explicitement les sections pertinentes lorsqu’une requête combine plusieurs passages.

La liste des paramètres pris en charge comprend tools et tool_choice pour les appels de fonctions. Définissez les fonctions disponibles et la description de leurs arguments dans la requête. Votre application valide un appel renvoyé, exécute la fonction sélectionnée et fournit son résultat à la conversation avant de demander une réponse complémentaire. Par exemple, un flux de travail d’assistance peut exposer une recherche de commande définie de manière étroite et utiliser les faits renvoyés pour rédiger la réponse. Gardez les résultats des outils rattachés au bon tour de conversation pour que le modèle puisse les distinguer de la demande initiale de l’utilisateur.

Le modèle prend en charge response_format pour la sortie JSON, sans imposer de schéma JSON. Indiquez les champs attendus et validez l’objet renvoyé dans votre application avant de l’utiliser. Les autres paramètres publiés comprennent temperature, top_p, top_k, min_p, stop, seed et les pénalités de répétition, de fréquence et de présence répertoriées. La liste des paramètres comprend également reasoning et include_reasoning; choisissez leur représentation prise en charge dans la spécification de la requête au lieu de supposer des valeurs provenant d’une autre édition.

Chat Completions peut renvoyer une réponse complète ou du texte en flux. Pour une réponse complète, lisez le contenu du message renvoyé et conservez les choix de réponse et usage. Avec le flux, assemblez les deltas avant de considérer la réponse comme complète et conservez les appels d’outils renvoyés avec leurs arguments. Le résultat est du texte ou une demande d’appel de fonction pour l’étape applicative suivante; l’application qui l’entoure prend en charge l’exécution et l’utilisation de la réponse terminée.