Claude Haiku 5.5: cene in naloge agenta, ki jih lahko zaupate cenejšemu modelu

Claude Haiku 5.5 je izšel 7. oktobra: 0,10 USD za 1 milijon vhodnih žetonov in 0,50 USD za 1 milijon izhodnih žetonov, v primerjavi z 1 USD in 5 USD za Haiku 4.5. Agent, ki je mesečno porabil 10 milijonov vhodnih in 2 milijona izhodnih žetonov, je prej stal 20 USD; zdaj stane 2 USD, če so zahteve krajše od 100.000 žetonov. Anthropic ocenjuje, da je povprečni prihranek 75 %.

Zaupajte mu rutinsko delo agenta: razvrščanje prejetih zahtev ali povzemanje pogovora s stranko za vodjo. Seveda naj o zadevah razmisli zmogljiv model; preprostejši pa lahko poskrbi za izvedbo.

V tukaj opisanem primeru s Hermesom so lažje naloge dodeljene manj zmogljivim modelom, najzahtevnejše pa najpametnejšim. Prihranek žetonov je v tem primeru dosegel 80 %.

Kaj je izšlo 7. oktobra in koliko stane Haiku 5.5#

Če Claude Code uporabljate prek Anthropic API-ja, vam ni treba ničesar spreminjati: od v2.1.293, izdaje z istega dne, je privzeti model Haiku v njem Haiku 5.5. Vse, kar je delovalo na Haiku, zdaj že deluje na modelu, ki stane do 10-krat manj na žeton.

Model claude-haiku-5-5 lahko naenkrat prebere do 1 milijon žetonov in ustvari odgovor z največ 128.000 žetoni. Haiku ima prvič nastavitev napora: določa, koliko se model potrudi pri razmišljanju. Na voljo je prek Claude API-ja, Amazon Bedrocka, Google Clouda in Microsoft Foundryja.

Prihranek velja za zahteve do 100.000 žetonov, za katere Anthropic pravi, da predstavljajo približno 90 % zahtev za prejšnji Haiku. Pri daljših zahtevah je cena 5-krat višja.

Tudi tisti, ki ostanejo pri Sonnetu 5.5, bodo plačali manj: cena branja predpomnilnika se je prepolovila, z 0,20 USD na 0,10 USD za 1 milijon žetonov, Anthropic pa pravi, da agentske naloge stanejo približno 20 % manj.

Kaj to pomeni za vašega agenta in kako ga preizkusiti#

Anthropic sam priporoča model za tovrstno rutinsko delo in kot pomočnika za Opus 5.5 ter Sonnet 5.5. Preprosto rutinsko delo lahko zaupate cenejšim modelom, in tudi morali bi ga. Direktorja podjetja vendar ne bi poslali po kruh.

Anthropic priporoča, da zapletene naloge agentov prepustite modeloma Sonnet in Opus. Pri preizkusu Terminal-Bench 4.0, v katerem model rešuje večstopenjske naloge v ukazni vrstici, Haiku 5.5 dosega 39,2 %, Sonnet 5.5 pa 70,6 %. Pri preizkusu OSWorld, v katerem model sam upravlja računalnik, je izboljšanje znatno: 72,4 % v primerjavi s 15,7 % za Haiku 4.5, vendar je rezultat še vedno nižji od 83,9 %, kolikor jih dosega Sonnet 5.5.

Kako ga preizkusiti

1. Izberite 1 rutinski korak, na primer razvrščanje prejetih zahtev. Njegov model nastavite na claude-haiku-5-5, druge korake pa pustite pri miru.
2. Če je bila vaša koda napisana za Haiku 4.5, odstranite ročno nastavitev razmišljanja budget_tokens: pri različici 5.5 povzroči napako 400. Prilagodljivo razmišljanje je v novem modelu privzeto omogočeno.
3. Začnite s privzeto nastavitvijo napora, srednjo. Znižajte jo samo, če kakovost ostane ustrezna.
4. Z modelom Haiku 5.5 izvedite 10–20 enakih nalog, ki jih je prej obravnaval prejšnji model. V nadzorni plošči Anthropic primerjajte kakovost odgovorov — ali je bila kakšna zahteva spregledana oziroma je bila v povzetku izpuščena pomembna podrobnost — in račun za te naloge.

Tu pa je zanka. Haiku 5.5 uporablja novo štetje žetonov (glejte opombe ob izdaji podjetja Anthropic), zato se lahko isto besedilo šteje kot več žetonov, dejanski prihranek pa je lahko manjši od 75 %.

Preizkusite ga lahko tudi brezplačno. V enem tednu bo Anthropic naročnikom paketov Max in Team dodelil mesečno dobroimetje za API: 100 USD za Max 5x, 200 USD za Max 20x in do 500 USD, deljenih znotraj paketa Team; dobroimetje je mogoče uporabiti za kateri koli model. Uveljavite ga lahko v razdelku Settings → Billing; neporabljeno dobroimetje se ne prenese v naslednje obdobje.

Praktičen pristop: preprostejši model ali način za nižji račun#

Tukaj opisani pristop k prejšnjim različicam Haiku je bil preprost: gre za zelo preprost model za preproste naloge; ne uporabljajte ga za razvoj. Za glavno delo izberite najzmogljivejši model, namesto da bi zaradi prihranka preklopili na Sonnet: pomemben je rezultat. Rutinsko delo agenta v Hermesu je dodeljeno brezplačnim ali zelo poceni modelom.

Podobno Haiku 5.5 zaupajte samo korak razvrščanja prejetih zahtev: povežite ga ob zmogljivejšem modelu in agentu naročite, naj ga uporabi za najlažje naloge.

Vrstni red je naslednji: začnite z najdražjimi možnostmi, nato znižujte stroške. Zmogljiv model najprej uporabite za dosego rezultata, nato pa korake enega za drugim prestavljajte na Haiku 5.5 in opazujte, ali se kakovost poslabša.

Redno preklapljanje med modeli samo po sebi ne izboljša uspešnosti pri nalogah; včasih jo celo poslabša. Pri tem pristopu izbrani model ni najpomembnejši. Najpomembnejša so vaša navodila.

Katero rutinsko nalogo bi najprej prenesli na Haiku 5.5? Primerjajte rezultat tega koraka s trenutnim rezultatom svojega agenta.

Dodatno gradivo je na voljo na Ailoot.