Blog

Cara Menilai Penghala LLM untuk Produksi

Markdown

Panduan berasaskan sumber untuk menilai keputusan penghalaan, perubahan tugas, kesan cache prompt, kebolehcerapan, kelayakan dan pelancaran produksi.

Bagaimanakah anda memilihnya untuk beban kerja anda sendiri?

1. Catat medan yang menentukan segala-galanya: Bagi setiap panggilan: model, token input, token input cache, token penulisan cache, token output, latensi, jenis tugas dan sama ada hasilnya diterima atau dicuba semula. Medan input cache ialah medan yang sering diketepikan oleh pasukan, sedangkan medan inilah yang menentukan sama ada penghalaan boleh membantu anda sama sekali. Mengumpulkan data ini selama seminggu memerlukan satu petang untuk instrumentasi.

2. Kira had maksimum sebelum membuat pilihan: Penjimatan maksimum ialah S = f x (1 - r), dengan f ialah bahagian panggilan yang boleh beralih daripada model frontier dan r ialah kos model murah sebagai pecahan kos model frontier. Kedua-duanya diperoleh daripada langkah pertama. Luangkan masa untuk caching prompt, titik akhir kelompok dan usaha penaakulan sebagai gantinya.

3. Bina set emas daripada trafik anda sendiri, mengikut kelas tugas: Lima puluh hingga dua ratus permintaan sebenar dengan hasil yang diketahui baik, diambil daripada log anda dan bukannya ditulis secara manual. Inilah artifak yang menjadikan setiap perbualan kemudian dengan vendor sesuatu yang konkrit. Tanpanya, anda hanya membandingkan bahan pemasaran.

4. Uji dua keadaan yang meramalkan tingkah laku produksi: Pertama, jalankan penghala dalam mod bayangan pada trafik langsung dan bandingkan perbelanjaan terhala dengan garis dasar semua model frontier yang harganya dikira menggunakan cache hangat, satu-satunya perbandingan yang adil. Kedua, dan inilah langkah yang tidak diambil sesiapa, ketepikan kelas tugas yang belum pernah dilihat oleh penghala dan ukur prestasinya di situ. Seksyen 2 menerangkan sebabnya. Penghala yang kelihatan baik pada set penentukuran anda tetapi merosot pada bidang ciri baharu tidak akan memberi sebarang amaran.

5. Jadikan penilaian sebagai syarat pelancaran, dan terus jalankannya: Tetapkan ambang yang jelas yang mesti dicapai oleh model murah bagi setiap kelas tugas sebelum kelas itu boleh dihala. Kemudian terus jalankan tugas tersebut, kerana versi model berubah dan penghala yang ditentukur pada bulan Mac menggambarkan barisan model yang sudah tidak wujud.

Apakah yang membezakan penghala LLM produksi daripada demo?

1. Keoptimuman, bukan angka penjimatan utama

Angka penjimatan tanpa angka kualiti di sebelahnya hanyalah separuh ayat.

Keoptimuman ialah ukuran yang tidak dipasarkan oleh sesiapa, sedangkan ukuran inilah yang menentukan bil anda. Ukuran ini menunjukkan berapa kerap penghala memilih model termurah yang masih memberikan jawapan betul. Penghala boleh mencatat angka ketepatan yang baik sambil membazirkan wang.

Minta mana-mana vendor memberikan nisbah pemilihan optimum. Jika mereka tidak dapat mengemukakannya, mereka belum mengukur perkara yang anda beli.

2. Ketahanan apabila jenis tugas berubah

Pilih penghala yang pernah melihat trafik yang menyerupai trafik anda, dan minta mereka menunjukkan hasil pada taburan yang tidak digunakan untuk penalaan.

3. Tingkah lakunya apabila cache hangat

Penghala hanya sebaik mekanisme yang mendasarinya.

Anthropic menerbitkan pengganda ini: bacaan cache berharga 0.1x input asas, penulisan cache lima minit berharga 1.25x, manakala penulisan satu jam berharga 2x. Jadi pertukaran model menelan kos kira-kira dua belas kali ganda berbanding jika kekal menggunakan model yang sama pada awalan yang sama, dan kos itu hanya terbayar jika model baharu mengekalkan sesi tersebut.

Kedua-dua perkara ini boleh diselaraskan. Pembekal mengekalkan awalan yang anda tinggalkan dalam keadaan hangat, jadi kembali kepadanya adalah murah; bahagian yang mahal ialah penulisan pada model yang anda beralih kepadanya. Sama ada pertukaran itu berbaloi bergantung pada panjang awalan anda dan kekerapan anda kembali. Tiada sesiapa boleh menjawabnya untuk anda, dan itulah maksudnya.

4. Kedudukan sempadan penghalaan

Penghala yang membuat keputusan semula pada setiap giliran sedang membuat keputusan tanpa maklumat yang diperlukan, sambil membayar penulisan cache setiap kali ia berubah fikiran.

Sempadan penghalaan yang baik ialah sempadan yang tidak dilintasi semula oleh sesi: keseluruhan sub tugas, fasa yang berbeza atau kerja latar belakang.

5. Sama ada anda boleh melihat dan mengubah keputusan

Apabila kualiti output merosot, jurutera perlu menjawab satu soalan dengan pantas: adakah model yang berubah, atau saya? Penghala yang mencatat model yang dipilih, sebab pemilihannya dan kosnya mudah dinyahpepijat. Penghala yang tidak berbuat demikian menjadi punca regresi yang sukar dijelaskan.

Pastikan terdapat medan model bagi setiap permintaan, medan kos bagi setiap permintaan dan pilihan untuk mengatasi keputusan.

6. Skop impak, kerana penghala memegang kunci anda

Penghala berada pada laluan kelayakan secara semula jadi. Ia mempunyai kunci pembekal, dan dalam penggunaan yang dihoskan sendiri, ia mungkin turut mempunyai kelayakan awan. Ini menjadikannya kebergantungan bernilai tinggi. Semasa menilai penghala, tanya cara pengedarannya, sama ada keluaran ditandatangani, sama ada laluan penggunaan menetapkan kebergantungan, dan perkara yang boleh dibacanya pada hos. Dihoskan sendiri tidak semestinya lebih selamat daripada terurus; pendedahannya berbeza.

7. Siapa yang akan memilikinya dalam lapan belas bulan

Itulah sebabnya anda patut bertanya semasa panggilan penilaian tentang rupa hala tuju produk di bawah pemilikan semasa dan laluan migrasi jika pembangunan dihentikan.

Bilakah anda tidak patut menggunakan penghala LLM?

Apabila trafik anda seragam sukarnya: Penjimatan penghalaan berkait dengan tahap ketidakseragaman trafik anda, bukannya kecanggihan penghala.

Apakah langkah seterusnya?

Kini anda mempunyai dua soalan yang membezakan penghala yang akan berfungsi daripada penghala yang hanya kelihatan hebat dalam demo: apakah nisbah pemilihan optimumnya, dan apakah yang berlaku apabila jenis tugas berubah.

Mulakan dengan langkah pertama. Tambahkan token input cache dan jenis tugas pada log permintaan anda, kemudian biarkannya berjalan selama seminggu. Medan tunggal itu membezakan nilai f yang sebenar daripada tekaan.

Soalan Lazim

Apakah itu penghala LLM?

Penghala LLM ialah lapisan keputusan antara aplikasi anda dengan kumpulan model yang menghantar setiap permintaan kepada model yang paling berkemungkinan menyelesaikannya dengan memuaskan pada kos terendah. Penghala sebelum penjanaan membuat keputusan berdasarkan prompt sahaja; penghala bertingkat membenarkan model murah menjawab dahulu, kemudian meningkatkan ke model yang lebih berkuasa apabila penilai menolak jawapan itu. Kebanyakan sistem produksi kini menggabungkan kedua-duanya.

Adakah penghala LLM benar-benar menjimatkan wang?

Ya, tetapi jauh lebih sedikit daripada yang dicadangkan oleh angka utama, dan jumlahnya bergantung pada trafik anda, bukannya penghala. Kira S = f x (1 - r) daripada log anda sendiri sebelum mempercayai sebarang angka vendor.

Apakah perbezaan antara penghala LLM dengan gerbang AI?

Gerbang menyediakan satu titik akhir, pertukaran automatik, pengurusan kunci, belanjawan dan kebolehcerapan merentas banyak pembekal. Penghala menentukan model yang mengendalikan permintaan tertentu. Kebanyakan gerbang kini menyertakan penghala, tetapi kedua-dua keupayaan ini berasingan.

Bolehkah saya membina penghala LLM sendiri dan bukannya membelinya?

Boleh, dan kerja pengukuran tetap sama dalam kedua-dua keadaan, jadi lakukan langkah satu hingga tiga dalam urutan di atas dahulu. Jika anda membinanya, mulakan dengan jadual carian mengikut jenis tugas. Tambahkan pengelas terlatih hanya apabila garis dasar itu jelas terbukti tidak memadai.

Adakah pertukaran model menjejaskan caching prompt?

Beralih daripada sesuatu model menyebabkan anda menanggung kos penulisan cache pada model baharu, yang dibilkan pada 1.25x input asas untuk TTL lima minit, berbanding 0.1x bagi bacaan yang anda tinggalkan. Pertukaran ini bergantung pada panjang awalan dan kekerapan anda kembali, jadi ukurlah menggunakan trafik anda sendiri.

Gunakan panduan ini dengan Ailoot

Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas anda dan ikuti dokumentasi Ailoot untuk bermula.