Blog

Apakah Penghalaan Model?

Markdown

Mentakrifkan penghalaan model dan menghuraikan kriteria untuk menilai peraturan penghalaan, alias, pengagihan penyedia, tingkah laku cubaan semula dan sandaran, pengimbangan beban serta pertukaran antara kos dengan kependaman.

Penghalaan model ialah proses memetakan permintaan LLM yang masuk kepada penyedia, pengecam model dan kunci API tertentu pada masa permintaan, berdasarkan dasar dan bukannya kod aplikasi. Penghala model menilai konteks permintaan (pengepala, penyewa, status belanjawan, kerumitan prompt) dan status penyedia (kadar ralat, kependaman, ruang had kadar), kemudian menulis semula sasaran sebelum panggilan kepada penyedia. Lapisan penghalaan model yang mengurangkan kos token LLM biasanya merupakan tempat pasukan mula-mula melihat pulangan.

Istilah ini merangkumi tiga mekanisme yang sering disamakan:

  • Penghalaan statik memetakan nama model kepada penyedia dengan wajaran tetap.
  • Penghalaan bersyarat menilai ungkapan bagi setiap permintaan (pengepala peringkat, pasukan, belanjawan yang telah digunakan, peringkat kerumitan) dan menggantikan sasaran apabila syarat dipenuhi.
  • Penghalaan adaptif melaraskan wajaran penyedia dan kunci secara berterusan berdasarkan kadar ralat dan kependaman yang diperhatikan.

Penghala LLM produksi memerlukan ketiga-tiganya; alat yang hanya menawarkan satu akan menyebabkan dua yang lain perlu dikendalikan semula dalam kod aplikasi. Panduan penghalaan LLM pintar tentang memilih model optimum bagi setiap permintaan menghuraikan mekanisme kedua dengan lebih mendalam.

Cara Menilai Penghala LLM

KriteriaPerkara yang perlu diperiksa
Bahasa peraturan penghalaanBolehkah peraturan membaca pengepala, penyewa, penggunaan belanjawan dan jenis permintaan, dengan keutamaan yang ditakrifkan?
Pengaliasan modelBolehkah best-model dipetakan kepada pengecam yang berbeza mengikut kunci, pasukan atau persekitaran tanpa perubahan kod?
Pengagihan berwajaranAdakah wajaran digunakan pada peringkat penyedia dan kunci API, dinormalkan bagi setiap model?
Semantik sandaran dan cubaan semulaAdakah setiap sandaran mempunyai belanjawan cubaan semula tersendiri? Adakah 429 dikendalikan secara berbeza daripada 401?
Pengimbangan beban adaptifAdakah wajaran dikira semula berdasarkan kadar ralat dan kependaman langsung, dan seberapa pantas laluan yang pulih kembali digunakan?
Kepekaan terhadap kosAdakah data harga disegerakkan dan boleh ditindih, dan bolehkah peraturan bertindak balas terhadap belanjawan yang telah digunakan?
Overhed dan penggunaanKependaman yang diukur pada daya pemprosesan berterusan; dihoskan sendiri, dihoskan atau perpustakaan sahaja?

Perbezaan antara cubaan semula dengan sandaran ialah kriteria yang paling kerap tiada dalam perbandingan vendor: cubaan semula mencuba penyedia yang sama sekali lagi, sandaran beralih kepada penyedia lain, dan penghala yang menggabungkan kedua-duanya tidak dapat menetapkan belanjawan secara berasingan.

Cabaran Lazim dengan Alat Penghalaan Model

Kebanyakan kegagalan penghalaan model dalam produksi berpunca daripada beberapa jurang yang berulang, dan setiap satunya mempunyai penyelesaian pada peringkat konfigurasi.

  • Status penghalaan berada dalam kod aplikasi. Nama model, keutamaan penyedia dan senarai sandaran yang disematkan dalam perkhidmatan tidak boleh diubah tanpa penggunaan baharu; konfigurasi kunci maya dan peraturan penghalaan menjadikannya boleh diaudit.
  • Cubaan semula yang mengabaikan kelas ralat. Mencuba semula 401 dengan backoff membazirkan beberapa saat dan tidak akan berjaya; penghala sepatutnya menandakan bukti kelayakan itu tidak sah dan menukarnya dengan segera..
  • Tiada rekod keputusan penghalaan. Tingkah laku had kadar penyedia, seperti had RPM dan TPM OpenAI berperingkat, jauh lebih mudah difahami apabila gerbang merekodkan enjin yang memilih laluan dan kunci yang terkena had.

Soalan Lazim

Apakah itu penghala LLM?

Penghala LLM ialah komponen yang memilih penyedia, model dan bukti kelayakan bagi setiap permintaan berdasarkan peraturan yang dikonfigurasikan, wajaran statik atau metrik prestasi langsung. Komponen ini berada di antara aplikasi dengan penyedia, menulis semula sasaran permintaan sebelum panggilan dan mengendalikan cubaan semula serta sandaran apabila laluan gagal.

Apakah perbezaan antara penghala model dengan gerbang AI?

Penghala model menentukan ke mana permintaan dihantar. Gerbang AI melaksanakan permintaan dan turut mengurus bukti kelayakan, belanjawan, had kadar, pagar kawalan dan pengelogan.

Bagaimanakah penghalaan model mengurangkan kos LLM?

Penghalaan model mengurangkan kos dengan menghantar setiap permintaan kepada model paling murah yang memenuhi keperluan kualitinya, serta mengalihkan trafik daripada penyedia yang hampir mencapai had belanjawan atau kadar.

Apakah perbezaan antara cubaan semula dengan sandaran?

Cubaan semula mencuba penyedia yang sama sekali lagi, mungkin dengan kunci API yang berbeza, selepas kegagalan sementara seperti 5xx atau 429. Sandaran beralih kepada penyedia dan model yang berbeza selepas penyedia utama menghabiskan cubaan semulanya.

Apakah pengimbangan beban adaptif dalam penghala LLM?

Pengimbangan beban adaptif mengira semula wajaran laluan berdasarkan metrik yang diperhatikan dan bukannya konfigurasi statik.

Gunakan panduan ini dengan Ailoot

Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas anda dan ikuti dokumentasi Ailoot untuk bermula.