# Penerangan tentang Penghalaan Model AI

> Menerangkan fungsi penghalaan model, cara keputusan penghalaan dibuat, cara mengaudit tindanan penghalaan, dan faktor yang perlu dipertimbangkan apabila memilih pendekatan penghalaan.

Source: https://ailoot.ai/blog/ms/ai-model-routing-explained/
Canonical: https://ailoot.ai/blog/ms/ai-model-routing-explained/
Language: ms
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100070
Revision: sha256-888cbfb38ff7473778bd7519ecbc96b7cdda01e586c7e2a6cb6e4d999833f7b2


Penghalaan model AI membolehkan anda menghantar gesaan kepada model bahasa besar yang berbeza melalui satu API. Penghala LLM memilih model yang mengendalikan setiap permintaan berdasarkan kos, kelajuan atau keupayaan. Kedengarannya mudah, tetapi kebanyakan pasukan tidak menyedari ke mana sebenarnya data mereka dihantar.

## Apakah Penghalaan Model AI?

Penghalaan model AI ialah amalan menghantar gesaan kepada LLM yang berbeza melalui satu antara muka bersatu. Daripada menetapkan satu model secara keras dalam kod, aplikasi anda menghantar setiap permintaan kepada lapisan penghalaan. Penghala menentukan model yang mengendalikan setiap gesaan.

Anggaplah ia seperti pengimbang beban untuk model bahasa. Pengimbang beban web mengagihkan trafik merentas pelayan. Penghala LLM mengagihkan gesaan merentas model daripada penyedia yang berbeza.

Penghala boleh memilih model berdasarkan kos, kependaman, panjang konteks atau keupayaan. Sesetengah penghala membolehkan anda menetapkan peraturan. Penghala yang lain menggunakan algoritma untuk memilih model termurah yang memenuhi tahap kualiti.

- Satu titik akhir API menggantikan berbilang integrasi penyedia
- Penghala memilih model berdasarkan peraturan yang anda tetapkan atau tetapan lalai yang dipilihnya
- Penghalaan sandaran menghantar gesaan kepada model sandaran jika model pertama gagal
- Penghalaan berasaskan kos memilih model termurah yang memenuhi ambang kualiti
- Kebanyakan penghala menyeragamkan format API supaya pertukaran model tidak memerlukan perubahan kod

Penghala LLM memberikan fleksibiliti kepada anda, tetapi ini juga bermakna anda mungkin tidak tahu model mana yang mengendalikan permintaan tertentu melainkan anda menyemaknya.

<div id="why-companies-use-routers" class="section">

## Mengapa Syarikat Menggunakan Penghala LLM

Syarikat menggunakan penghala LLM atas tiga sebab utama: penjimatan kos, failover dan percubaan. Setiap sebab itu munasabah. Masalahnya, kebanyakan pasukan berhenti setakat itu dan tidak pernah bertanya ke mana sebenarnya data mereka dihantar.

Kos ialah pemacu terbesar. Model yang berbeza mengenakan harga yang berbeza bagi setiap token. Penghala yang memilih model termurah untuk tugas mudah dan menyimpan model mahal untuk tugas sukar boleh mengurangkan perbelanjaan token .

Failover ialah sebab kedua. Jika penyedia mengalami gangguan, penghala boleh menghantar gesaan kepada penyedia lain. Aplikasi anda terus beroperasi tanpa campur tangan manual.

Percubaan ialah sebab ketiga. Pasukan mahu menguji model baharu tanpa mengubah kod produksi. Penghala membolehkan mereka menguji model A/B di sebalik API yang stabil.

- Penjimatan kos: halakan tugas mudah kepada model murah dan tugas sukar kepada model mahal
- Failover: pertukaran automatik apabila penyedia mengalami gangguan
- Fleksibiliti vendor: uji model baharu tanpa menulis semula kod integrasi
- Pengelogan bersatu: satu tempat untuk melihat semua penggunaan model merentas penyedia
- Pengurusan had kadar: agihkan trafik merentas penyedia untuk mengelakkan pendikitan

Penjimatan kos dan failover ialah manfaat sebenar, tetapi kedua-duanya tidak mewajarkan tindakan mengabaikan ke mana data anda dihantar.

<div id="routing-tool-landscape" class="section">

## Gambaran Keseluruhan Penuh Alat Penghalaan AI

Pasaran alat penghalaan terbahagi kepada tiga kategori: pasaran terhos, proksi sumber terbuka dan get laluan penyedia awan. Setiap kategori mengendalikan residensi data dan pemilihan model dengan cara yang berbeza.

## Cara Keputusan Penghalaan Dibuat

Keputusan penghalaan dibuat melalui salah satu daripada empat cara: pemilihan manual, penghalaan berasaskan peraturan, pengoptimuman kos atau penghalaan berasaskan kualiti. Kaedah yang digunakan oleh alat anda menentukan sama ada anda mempunyai kawalan terhadap lokasi data dihantar.

Pemilihan manual bermakna anda memilih model bagi setiap permintaan. Kebanyakan alat menyokong pilihan ini sebagai sandaran.

Penghalaan berasaskan peraturan membolehkan anda menetapkan syarat. Contohnya, halakan tugas pengekodan kepada model yang sesuai dan soalan mudah kepada model murah. Peraturannya dinyatakan secara jelas, jadi anda boleh mengecualikan penyedia atau model tertentu.

Pengoptimuman kos menghalakan permintaan kepada model termurah yang memenuhi ambang keupayaan.

- Manual: anda menentukan model dalam setiap panggilan API
- Berasaskan peraturan: anda menetapkan syarat yang memetakan jenis tugas kepada model
- Dioptimumkan untuk kos: penghala memilih model termurah yang memenuhi syarat secara automatik
- Berasaskan kualiti: penghala menanda aras model dan memilih model dengan skor tertinggi untuk tugas itu
- Rantaian sandaran: penghala mencuba model mengikut turutan sehingga satu daripadanya berjaya

<div id="compliance-blind-spot" class="section">

## Cara Mengaudit Tindanan Penghalaan AI Anda

Audit bermula dengan satu soalan: model manakah yang boleh dihantar data kepadanya oleh alat penghalaan anda sekarang? Jika anda tidak dapat menjawabnya, terdapat jurang.

Langkah satu: senaraikan setiap titik akhir model yang dikonfigurasi untuk digunakan oleh penghala anda.

Langkah dua: bagi setiap model, kenal pasti penyedia hos dan lokasi pemprosesan data.

Langkah tiga: bandingkan lokasi pemprosesan data dengan keperluan pematuhan anda.

Langkah empat: sekat atau alih keluar mana-mana model yang melanggar keperluan anda. Kemudian sediakan pemantauan untuk mengesan perubahan konfigurasi.

- Senaraikan setiap titik akhir model yang boleh dicapai oleh penghala anda
- Kenal pasti lokasi pemprosesan data bagi setiap model
- Sekat model yang tidak mematuhi syarat dan dokumentasikan keputusan itu
- Pantau perubahan konfigurasi supaya model yang disekat tidak ditambahkan semula

<div id="choosing-the-right-routing-tool" class="section">

## Cara Memilih Alat Penghalaan yang Tepat

Alat yang tepat bergantung pada pendirian pematuhan anda, keupayaan kejuruteraan dan tahap kawalan yang anda perlukan terhadap aliran data. Tiada satu jawapan terbaik untuk semua.

Jika anda berada dalam industri terkawal, mulakan dengan alat yang menawarkan kawalan residensi data secara terbina dalam.

Jika anda memerlukan fleksibiliti maksimum dan mempunyai pasukan DevOps yang kukuh, lapisan penghalaan yang dihos sendiri memberikan kawalan penuh kerana anda mengehos sendiri dan mengkonfigurasi setiap titik akhir. Namun, tahap kawalan itu hanya sebaik disiplin konfigurasi anda.

## Soalan Lazim

## Gunakan panduan ini dengan Ailoot

Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas anda dan ikuti [dokumentasi Ailoot](https://ailoot.ai/docs/) untuk bermula.


## Ailoot · Syarikat dan portfolio projeknya

Ailoot berteraskan pengalaman operasi yang mantap, pangkalan pelanggan yang besar, perkhidmatan yang stabil dan pemantauan KPI berterusan.

Syarikat dan portfolio projeknya: jutaan pelanggan; jualan bernilai berbilion setiap bulan.

Ailoot menggunakan pengalaman operasi ini untuk akses API kepada ciri AI dalam produk pelanggan, ejen, aplikasi dan automasi.
