inclusionAI: Ling 3.0 Flash

Ling 3.0 Flash é um modelo de texto para texto da inclusionAI. A sua arquitetura publicada é uma mistura de especialistas com 124 mil milhões de parâmetros no total e aproximadamente 5,1 mil milhões de parâmetros ativos por token. Selecione inclusionai/ling-3.0-flash através de POST /v1/chat/completions com model e um array messages. As instruções, o material de origem e os turnos anteriores da conversa devem fazer parte do texto das mensagens.

Utilize um prompt focado para transformar o material fornecido num resultado específico. Para uma resposta ao cliente, forneça a pergunta do cliente e o texto do produto ou das regras que a resposta deve utilizar, especificando depois o tom e a etapa seguinte. Para um resumo de um documento, indique as secções de que necessita, como decisões, questões por resolver e ações. Para extração, defina os campos solicitados e a forma de representar os factos que não constam da fonte. Para trabalho com código, inclua a função relevante ou um excerto do ficheiro e peça uma explicação, uma proposta de alteração ou uma revisão face a um requisito explícito.

A janela de contexto publicada é de 262 144 tokens, com até 32 768 tokens de conclusão indicados para o modelo. Planeie em conjunto o texto de origem, as instruções, o histórico da conversa e a conclusão solicitada. Utilize max_tokens para definir a quantidade de saída solicitada. Um documento deve ser fornecido como texto real quando quiser que a resposta dependa do seu conteúdo; refira explicitamente as secções relevantes quando um pedido combinar várias passagens.

A lista de parâmetros suportados inclui tools e tool_choice para chamadas de funções. Defina no pedido as funções disponíveis e as descrições dos respetivos argumentos. A aplicação valida uma chamada devolvida, executa a função selecionada e fornece o resultado à conversa antes de solicitar uma resposta subsequente. Por exemplo, um fluxo de apoio ao cliente pode disponibilizar uma consulta de encomenda com um âmbito restrito e utilizar os factos devolvidos ao redigir a resposta. Mantenha os resultados das ferramentas associados ao turno correto da conversa, para que o modelo os possa distinguir do pedido original do utilizador.

O modelo suporta response_format para saída JSON, sem imposição de um esquema JSON. Indique os campos pretendidos e valide o objeto devolvido na aplicação antes de o utilizar. Outros controlos publicados incluem temperature, top_p, top_k, min_p, stop, seed e as penalizações indicadas de repetição, frequência e presença. A lista de parâmetros também inclui reasoning e include_reasoning; escolha a representação suportada a partir da especificação do pedido, em vez de assumir valores de uma edição diferente.

Chat Completions pode devolver uma resposta completa ou texto em streaming. Para uma resposta completa, leia o conteúdo da mensagem devolvida e conserve as choices da resposta e usage. Com streaming, reúna os deltas antes de considerar a resposta concluída e conserve quaisquer chamadas de ferramentas devolvidas com os respetivos argumentos. O resultado é texto ou um pedido de chamada de função para a etapa seguinte da aplicação; cabe à aplicação envolvente executar as ações e utilizar a resposta concluída.