Blog

Cách đánh giá bộ định tuyến LLM cho môi trường sản xuất

Markdown

Hướng dẫn dựa trên nguồn về cách đánh giá các quyết định định tuyến, sự thay đổi loại tác vụ, ảnh hưởng của bộ nhớ đệm prompt, khả năng quan sát, thông tin xác thực và triển khai vào môi trường sản xuất.

Làm thế nào để chọn một bộ định tuyến cho khối lượng công việc của riêng bạn?

1. Ghi lại các trường quyết định mọi thứ: Với mỗi lệnh gọi: mô hình, số token đầu vào, số token đầu vào được lưu trong bộ nhớ đệm, số token ghi vào bộ nhớ đệm, số token đầu ra, độ trễ, loại tác vụ và kết quả được chấp nhận hay phải thử lại. Trường số token đầu vào được lưu trong bộ nhớ đệm là trường mà các nhóm thường bỏ qua, đồng thời cũng là trường quyết định liệu định tuyến có thể giúp ích cho bạn hay không. Thu thập dữ liệu trong một tuần chỉ tốn một buổi chiều để trang bị công cụ đo lường.

2. Tính mức tiết kiệm tối đa trước khi tìm mua: Mức tiết kiệm tối đa là S = f x (1 - r), trong đó f là tỷ lệ lệnh gọi có thể chuyển khỏi mô hình frontier, còn r là chi phí của mô hình giá rẻ tính theo tỷ lệ chi phí của mô hình frontier. Cả hai giá trị đều có được từ bước một. Hãy dành thời gian cho bộ nhớ đệm prompt, các endpoint xử lý theo lô và mức độ nỗ lực suy luận thay vào đó.

3. Tạo một tập dữ liệu chuẩn từ lưu lượng của chính bạn, theo từng loại tác vụ: Từ năm mươi đến hai trăm yêu cầu thực tế có kết quả tốt đã biết, lấy mẫu từ nhật ký của bạn thay vì tự viết. Đây là tài liệu giúp mọi cuộc trao đổi sau này với nhà cung cấp trở nên cụ thể. Nếu không có nó, bạn chỉ đang so sánh các nội dung tiếp thị.

4. Kiểm tra hai điều kiện dự đoán hành vi trong môi trường sản xuất: Trước tiên, chạy bộ định tuyến ở chế độ shadow trên lưu lượng trực tiếp và so sánh chi phí định tuyến với mức cơ sở dùng toàn bộ mô hình frontier, được tính với bộ nhớ đệm còn ấm; đây là phép so sánh công bằng duy nhất. Thứ hai, và đây là bước không ai thực hiện, giữ lại một loại tác vụ mà bộ định tuyến chưa từng gặp rồi đo lường trên loại đó. Phần 2 giải thích lý do. Một bộ định tuyến có vẻ ổn trên tập hiệu chỉnh của bạn nhưng suy sụp ở một lĩnh vực tính năng mới sẽ không tự báo hiệu cho bạn.

5. Đặt điều kiện triển khai dựa trên kết quả đánh giá và tiếp tục chạy đánh giá: Yêu cầu mô hình giá rẻ vượt qua ngưỡng đã nêu cho từng loại tác vụ trước khi cho phép định tuyến loại đó. Sau đó tiếp tục chạy tác vụ đánh giá, vì các phiên bản mô hình thay đổi theo thời gian và một bộ định tuyến được hiệu chỉnh vào tháng Ba đang mô tả một danh sách mô hình không còn tồn tại.

Điều gì phân biệt một bộ định tuyến LLM dùng trong môi trường sản xuất với bản demo?

1. Tính tối ưu, không phải con số tiết kiệm nổi bật

Một con số tiết kiệm không đi kèm con số chất lượng chỉ là nửa câu.

Tính tối ưu là khía cạnh không ai tiếp thị, nhưng chính nó quyết định hóa đơn của bạn. Khía cạnh này đo tần suất bộ định tuyến chọn mô hình rẻ nhất mà vẫn trả lời chính xác. Một bộ định tuyến có thể đạt con số độ chính xác tốt nhưng vẫn tiêu tiền lãng phí.

Hãy yêu cầu bất kỳ nhà cung cấp nào cung cấp tỷ lệ lựa chọn tối ưu. Nếu họ không thể đưa ra con số đó, họ chưa đo lường thứ bạn định mua.

2. Khả năng ứng phó khi loại tác vụ thay đổi

Hãy mua bộ định tuyến đã xử lý lưu lượng có đặc điểm giống của bạn và yêu cầu họ cho xem kết quả trên một phân phối mà bộ định tuyến chưa được tinh chỉnh.

3. Hành vi khi bộ nhớ đệm còn ấm

Bộ định tuyến chỉ tốt ngang cơ chế bên dưới nó.

Anthropic công bố các hệ số: đọc bộ nhớ đệm có chi phí bằng 0.1x đầu vào cơ bản, ghi bộ nhớ đệm năm phút có chi phí bằng 1.25x, còn ghi bộ nhớ đệm một giờ có chi phí bằng 2x. Vì vậy, chuyển đổi ở một lượt trao đổi tốn khoảng gấp mười hai lần so với việc tiếp tục dùng mô hình hiện tại trên cùng một tiền tố, và chỉ hoàn vốn nếu mô hình mới duy trì được phiên.

Hai điều này có thể dung hòa. Nhà cung cấp giữ cho tiền tố bạn đã rời bỏ luôn ấm, nên quay lại sẽ rẻ; phần tốn kém là ghi bộ nhớ đệm trên mô hình bạn chuyển sang. Việc đánh đổi đó có lợi hay không phụ thuộc vào độ dài các tiền tố và tần suất bạn quay lại. Không ai có thể trả lời thay bạn, và đó chính là điểm mấu chốt.

4. Ranh giới định tuyến nằm ở đâu

Bộ định tuyến quyết định lại ở mỗi lượt đang đưa ra quyết định khi không có đủ thông tin, đồng thời trả chi phí ghi bộ nhớ đệm mỗi lần đổi ý.

Ranh giới định tuyến tốt là những ranh giới mà một phiên không quay ngược qua: một tác vụ con hoàn chỉnh, một giai đoạn riêng biệt, một công việc chạy nền.

5. Khả năng xem và ghi đè quyết định

Khi chất lượng đầu ra giảm, kỹ sư cần nhanh chóng trả lời một câu hỏi: mô hình có thay đổi, hay tôi đã thay đổi nó? Bộ định tuyến ghi nhật ký mô hình được chọn, lý do chọn và chi phí sẽ dễ gỡ lỗi. Bộ định tuyến không làm vậy là nguồn gây ra các đợt suy giảm bất ngờ.

Hãy yêu cầu trường mô hình cho từng yêu cầu, trường chi phí cho từng yêu cầu và khả năng ghi đè.

6. Phạm vi ảnh hưởng, vì bộ định tuyến nắm giữ khóa của bạn

Theo thiết kế, bộ định tuyến nằm trên đường đi của thông tin xác thực. Nó có khóa nhà cung cấp và trong môi trường triển khai tự quản lý, nó cũng có thể có thông tin xác thực trên đám mây. Điều đó khiến nó trở thành một thành phần phụ thuộc có giá trị cao. Khi đánh giá bộ định tuyến, hãy hỏi cách phân phối, liệu các bản phát hành có được ký hay không, quy trình triển khai có ghim các thành phần phụ thuộc hay không và nó có thể đọc những gì trên máy chủ. Tự quản lý không tự động an toàn hơn dịch vụ được quản lý; nó có kiểu phơi lộ khác.

7. Ai sẽ chịu trách nhiệm về nó sau mười tám tháng

Đây là lý do để hỏi trong buổi đánh giá xem lộ trình sản phẩm sẽ ra sao dưới quyền sở hữu hiện tại và con đường di chuyển là gì nếu họ ngừng hoạt động.

Khi nào bạn không nên dùng bộ định tuyến LLM?

Khi lưu lượng của bạn đồng đều và đều khó: Mức tiết kiệm nhờ định tuyến phụ thuộc vào độ chênh lệch giữa các yêu cầu, chứ không phải bộ định tuyến thông minh đến đâu.

Tiếp theo bạn nên làm gì?

Giờ đây, bạn đã có hai câu hỏi phân biệt bộ định tuyến hoạt động hiệu quả với bộ định tuyến chỉ trình diễn tốt: tỷ lệ lựa chọn tối ưu là bao nhiêu, và điều gì xảy ra khi loại tác vụ thay đổi.

Bắt đầu với bước một. Thêm số token đầu vào được lưu trong bộ nhớ đệm và loại tác vụ vào nhật ký yêu cầu, rồi để hệ thống chạy trong một tuần. Trường duy nhất đó phân biệt giá trị thực của f với một con số phỏng đoán.

Câu hỏi thường gặp

Bộ định tuyến LLM là gì?

Bộ định tuyến LLM là một lớp quyết định nằm giữa ứng dụng của bạn và một nhóm mô hình, gửi từng yêu cầu đến mô hình có khả năng hoàn thành yêu cầu ở mức chấp nhận được với chi phí thấp nhất. Bộ định tuyến trước khi tạo câu trả lời chỉ quyết định dựa trên prompt; bộ định tuyến phân tầng cho phép mô hình giá rẻ trả lời trước rồi chuyển lên mô hình cao hơn khi bộ chấm điểm từ chối câu trả lời. Hầu hết các hệ thống sản xuất hiện nay kết hợp cả hai.

Bộ định tuyến LLM có thực sự tiết kiệm tiền không?

Có, nhưng mức tiết kiệm thấp hơn nhiều so với các con số nổi bật thường gợi ý, và con số đó phụ thuộc vào lưu lượng của bạn chứ không phải bộ định tuyến. Hãy tính S = f x (1 - r) từ nhật ký của chính bạn trước khi tin bất kỳ con số nào của nhà cung cấp.

Bộ định tuyến LLM khác cổng AI như thế nào?

Cổng cung cấp cho bạn một endpoint, khả năng chuyển đổi dự phòng, quản lý khóa, ngân sách và khả năng quan sát trên nhiều nhà cung cấp. Bộ định tuyến quyết định mô hình nào xử lý một yêu cầu cụ thể. Hầu hết các cổng hiện nay đều tích hợp bộ định tuyến, nhưng hai khả năng này độc lập với nhau.

Tôi có thể tự xây dựng bộ định tuyến LLM thay vì mua không?

Bạn có thể tự xây dựng, và công việc đo lường vẫn giống hệt trong cả hai trường hợp, vì vậy trước tiên hãy thực hiện các bước một đến ba trong trình tự trên. Nếu tự xây dựng, hãy bắt đầu bằng bảng tra cứu theo từng loại tác vụ. Chỉ thêm bộ phân loại đã học khi giải pháp cơ sở đó rõ ràng không đáp ứng được.

Chuyển đổi mô hình có làm hỏng bộ nhớ đệm prompt không?

Chuyển sang mô hình khác khiến bạn phải trả chi phí ghi bộ nhớ đệm trên mô hình mới, tính bằng 1.25x đầu vào cơ bản cho TTL năm phút, so với 0.1x cho lần đọc bộ nhớ đệm bạn đã bỏ. Việc đánh đổi phụ thuộc vào độ dài tiền tố và tần suất bạn quay lại, vì vậy hãy đo lường trên lưu lượng của chính bạn.

Áp dụng hướng dẫn này với Ailoot

Kết nối các mô hình AI với ứng dụng, tác tử và quy trình tự động hóa của bạn thông qua một API Ailoot duy nhất. Chọn mô hình phù hợp với tác vụ của bạn và làm theo tài liệu Ailoot để bắt đầu.