# Apakah penghalaan LLM?

> Cara penghalaan LLM memilih model berdasarkan keperluan permintaan, kos, kualiti, latensi, konteks dan dasar.

Source: https://ailoot.ai/blog/ms/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/ms/what-is-llm-routing/
Language: ms
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-fa831df4fce62024ba5a6cea1c7972b3687e632b7cb907ca889b1d62d687d172


**Penghalaan LLM** ialah amalan menghantar setiap permintaan AI kepada model dan penyedia yang paling sesuai dengannya, bukannya menetapkan setiap panggilan secara tetap kepada satu model. Penghala menilai permintaan berdasarkan matlamat, kos, kualiti, latensi, panjang konteks dan dasar anda, kemudian menghantarnya kepada pilihan yang paling sesuai.

Kebanyakan pasukan bermula dengan menyambungkan aplikasi mereka terus kepada satu penyedia, biasanya OpenAI. Cara itu berkesan sehingga tidak lagi: model yang lebih murah boleh mengendalikan 60% trafik anda dengan sama baik, penyedia mengalami gangguan, permintaan memerlukan tetingkap konteks yang lebih panjang, atau beban kerja terkawal tidak boleh meninggalkan bidang kuasa tertentu. Penghala menyelesaikan semua ini melalui satu titik akhir.

## Cara penghalaan LLM berfungsi

Halakan SDK serasi OpenAI sedia ada anda kepada penghala dan bukannya penyedia. Bagi setiap permintaan, penghala:

1.  **Membina set calon** model yang boleh memenuhi permintaan (keupayaan, tetingkap konteks dan ketersediaan yang sesuai).
2.  **Memberi skor kepada calon** berdasarkan objektif anda, contohnya "pilihan termurah yang melepasi tahap kualiti minimum" atau "latensi terukur yang paling rendah."
3.  **Menggunakan kekangan** seperti belanjawan, penyedia yang dibenarkan, residensi data dan senarai model yang dibenarkan bagi setiap kunci.
4.  **Menghantar dan beralih kepada pilihan sandaran**: jika pilihan pertama mengembalikan ralat atau tamat masa, penghala mencuba calon terbaik seterusnya secara automatik.

## Sebab pasukan memilih penghalaan berbanding menetapkan model secara tetap

- **Kos.** Halakan permintaan mudah kepada model murah dan simpan model premium untuk permintaan yang memerlukannya.
- **Kebolehpercayaan.** Pengambilalihan automatik merentas penyedia bermakna gangguan pada satu vendor tidak menyebabkan produk anda terhenti.
- **Fleksibiliti.** Tukar atau tambah model tanpa menghantar kod baharu, kerana penghalaan ditetapkan dalam dasar, bukan aplikasi anda.
- **Tadbir urus.** Kuatkuasakan belanjawan, residensi dan tahap kualiti minimum secara berpusat, bukan bagi setiap perkhidmatan.

## Penghalaan berbanding sandaran mudah

Sandaran ("jika OpenAI gagal, cuba Anthropic") ialah bentuk penghalaan yang paling asas, tetapi penghalaan sebenar mengoptimumkan **setiap** permintaan, bukan hanya kegagalan, dengan memilih pilihan terbaik sejak awal berdasarkan kos dan kualiti, bukan hanya apabila sesuatu rosak.

## Gunakan panduan ini dengan Ailoot

Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas anda dan ikuti [dokumentasi Ailoot](https://ailoot.ai/docs/) untuk bermula.


## Ailoot · Syarikat dan portfolio projeknya

Ailoot berteraskan pengalaman operasi yang mantap, pangkalan pelanggan yang besar, perkhidmatan yang stabil dan pemantauan KPI berterusan.

Syarikat dan portfolio projeknya: jutaan pelanggan; jualan bernilai berbilion setiap bulan.

Ailoot menggunakan pengalaman operasi ini untuk akses API kepada ciri AI dalam produk pelanggan, ejen, aplikasi dan automasi.
