# Apakah Penghalaan Model?

> Mentakrifkan penghalaan model dan menghuraikan kriteria untuk menilai peraturan penghalaan, alias, pengagihan penyedia, tingkah laku cubaan semula dan sandaran, pengimbangan beban serta pertukaran antara kos dengan kependaman.

Source: https://ailoot.ai/blog/ms/what-is-model-routing/
Canonical: https://ailoot.ai/blog/ms/what-is-model-routing/
Language: ms
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-c73fefd91185f3224274417b8d9cd973e1a205828360953bc549dea6a6d309af


Penghalaan model ialah proses memetakan permintaan LLM yang masuk kepada penyedia, pengecam model dan kunci API tertentu pada masa permintaan, berdasarkan dasar dan bukannya kod aplikasi. Penghala model menilai konteks permintaan (pengepala, penyewa, status belanjawan, kerumitan prompt) dan status penyedia (kadar ralat, kependaman, ruang had kadar), kemudian menulis semula sasaran sebelum panggilan kepada penyedia. Lapisan penghalaan model yang mengurangkan kos token LLM biasanya merupakan tempat pasukan mula-mula melihat pulangan.

Istilah ini merangkumi tiga mekanisme yang sering disamakan:

- **Penghalaan statik** memetakan nama model kepada penyedia dengan wajaran tetap.
- **Penghalaan bersyarat** menilai ungkapan bagi setiap permintaan (pengepala peringkat, pasukan, belanjawan yang telah digunakan, peringkat kerumitan) dan menggantikan sasaran apabila syarat dipenuhi.
- **Penghalaan adaptif** melaraskan wajaran penyedia dan kunci secara berterusan berdasarkan kadar ralat dan kependaman yang diperhatikan.

Penghala LLM produksi memerlukan ketiga-tiganya; alat yang hanya menawarkan satu akan menyebabkan dua yang lain perlu dikendalikan semula dalam kod aplikasi. Panduan penghalaan LLM pintar tentang memilih model optimum bagi setiap permintaan menghuraikan mekanisme kedua dengan lebih mendalam.

## Cara Menilai Penghala LLM

| Kriteria | Perkara yang perlu diperiksa |
|----|----|
| Bahasa peraturan penghalaan | Bolehkah peraturan membaca pengepala, penyewa, penggunaan belanjawan dan jenis permintaan, dengan keutamaan yang ditakrifkan? |
| Pengaliasan model | Bolehkah `best-model` dipetakan kepada pengecam yang berbeza mengikut kunci, pasukan atau persekitaran tanpa perubahan kod? |
| Pengagihan berwajaran | Adakah wajaran digunakan pada peringkat penyedia dan kunci API, dinormalkan bagi setiap model? |
| Semantik sandaran dan cubaan semula | Adakah setiap sandaran mempunyai belanjawan cubaan semula tersendiri? Adakah `429` dikendalikan secara berbeza daripada `401`? |
| Pengimbangan beban adaptif | Adakah wajaran dikira semula berdasarkan kadar ralat dan kependaman langsung, dan seberapa pantas laluan yang pulih kembali digunakan? |
| Kepekaan terhadap kos | Adakah data harga disegerakkan dan boleh ditindih, dan bolehkah peraturan bertindak balas terhadap belanjawan yang telah digunakan? |
| Overhed dan penggunaan | Kependaman yang diukur pada daya pemprosesan berterusan; dihoskan sendiri, dihoskan atau perpustakaan sahaja? |

Perbezaan antara cubaan semula dengan sandaran ialah kriteria yang paling kerap tiada dalam perbandingan vendor: cubaan semula mencuba penyedia yang sama sekali lagi, sandaran beralih kepada penyedia lain, dan penghala yang menggabungkan kedua-duanya tidak dapat menetapkan belanjawan secara berasingan.

## Cabaran Lazim dengan Alat Penghalaan Model

Kebanyakan kegagalan penghalaan model dalam produksi berpunca daripada beberapa jurang yang berulang, dan setiap satunya mempunyai penyelesaian pada peringkat konfigurasi.

- **Status penghalaan berada dalam kod aplikasi.** Nama model, keutamaan penyedia dan senarai sandaran yang disematkan dalam perkhidmatan tidak boleh diubah tanpa penggunaan baharu; konfigurasi kunci maya dan peraturan penghalaan menjadikannya boleh diaudit.
- **Cubaan semula yang mengabaikan kelas ralat.** Mencuba semula `401` dengan backoff membazirkan beberapa saat dan tidak akan berjaya; penghala sepatutnya menandakan bukti kelayakan itu tidak sah dan menukarnya dengan segera..
- **Tiada rekod keputusan penghalaan.** Tingkah laku had kadar penyedia, seperti had RPM dan TPM OpenAI berperingkat, jauh lebih mudah difahami apabila gerbang merekodkan enjin yang memilih laluan dan kunci yang terkena had.

## Soalan Lazim

### Apakah itu penghala LLM?

Penghala LLM ialah komponen yang memilih penyedia, model dan bukti kelayakan bagi setiap permintaan berdasarkan peraturan yang dikonfigurasikan, wajaran statik atau metrik prestasi langsung. Komponen ini berada di antara aplikasi dengan penyedia, menulis semula sasaran permintaan sebelum panggilan dan mengendalikan cubaan semula serta sandaran apabila laluan gagal.

### Apakah perbezaan antara penghala model dengan gerbang AI?

Penghala model menentukan ke mana permintaan dihantar. Gerbang AI melaksanakan permintaan dan turut mengurus bukti kelayakan, belanjawan, had kadar, pagar kawalan dan pengelogan.

### Bagaimanakah penghalaan model mengurangkan kos LLM?

Penghalaan model mengurangkan kos dengan menghantar setiap permintaan kepada model paling murah yang memenuhi keperluan kualitinya, serta mengalihkan trafik daripada penyedia yang hampir mencapai had belanjawan atau kadar.

### Apakah perbezaan antara cubaan semula dengan sandaran?

Cubaan semula mencuba penyedia yang sama sekali lagi, mungkin dengan kunci API yang berbeza, selepas kegagalan sementara seperti `5xx` atau `429`. Sandaran beralih kepada penyedia dan model yang berbeza selepas penyedia utama menghabiskan cubaan semulanya.

### Apakah pengimbangan beban adaptif dalam penghala LLM?

Pengimbangan beban adaptif mengira semula wajaran laluan berdasarkan metrik yang diperhatikan dan bukannya konfigurasi statik.

## Gunakan panduan ini dengan Ailoot

Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas anda dan ikuti [dokumentasi Ailoot](https://ailoot.ai/docs/) untuk bermula.


## Ailoot · Syarikat dan portfolio projeknya

Ailoot berteraskan pengalaman operasi yang mantap, pangkalan pelanggan yang besar, perkhidmatan yang stabil dan pemantauan KPI berterusan.

Syarikat dan portfolio projeknya: jutaan pelanggan; jualan bernilai berbilion setiap bulan.

Ailoot menggunakan pengalaman operasi ini untuk akses API kepada ciri AI dalam produk pelanggan, ejen, aplikasi dan automasi.
