Claude Sonnet 5 programoje Claude Code: ar verta pereiti ir ar jis pabrangs?

Daugiau apie darbą su modeliais skaitykite Ailoot dokumentacijoje.

Kas nutiko birželio 30 d.: Sonnet 5 tapo numatytuoju Claude Code modeliu#

Birželio 30 d. „Anthropic“ išleido „Sonnet 5“ ir tyliai nustatė jį kaip numatytąjį modelį. Kai kuriems naudotojams modelis pasikeitė savaime, o kitiems liko tas pats. Tai priklauso nuo plano.

Pirmiausia patikrinkite, kurį modelį šiuo metu naudojate. „Claude Code“ įveskite:

/status

Komanda parodo aktyvų modelį ir paskyros informaciją. Jei rodomas claude-sonnet-5, o modelio nekeitėte rankiniu būdu, numatytasis modelis pasikeitė savaime.

„Sonnet 5“ reikia „Claude Code“ 2.1.197 ar naujesnės versijos. Jei komanda /model sąraše nerodo penktosios kartos modelio, atnaujinkite:

claude update

Toliau aptarsiu pagrindinį klausimą, paskatinusį šią analizę: „Anthropic“ teigia, kad modelis „pigesnis“, tačiau žmonių sąskaitos už tokenus išaugo. Kodėl? Apie tai – kitame skyriuje.

Kodėl „pigesnis“ popieriuje nereiškia pigesnio jūsų piniginei?#

Pasibaigus akcijai, „Sonnet 5“ kainuoja 3 $ už milijoną įvesties tokenų ir 15 $ už milijoną išvesties tokenų. Tai lygiai tiek pat, kiek kainavo ankstesnis „Sonnet 4.6“. Kaina „už tokeną“ nesumažėjo. Teiginys „pigesnis už Opus“ galioja tik palyginus su „Opus 4.8“ (5 $ ir 25 $), o ne su ankstesne „Sonnet“ versija, kurios kaina tokia pati.

Modelis apmokestina tokenus, o ne raides: tokenai yra teksto dalys, į kurias jis suskaido jūsų užklausą. „Sonnet 5“ naudoja naują tokenizatorių, kuris tą patį failą padalija į daugiau dalių.

Anthropic nurodo, kad, priklausomai nuo teksto tipo, skaičius padidėja nuo 1,0 iki 1,35 karto.

Pats „Anthropic“ tai apibūdina atsargiau: „nuo 1,0 iki 1,35 karto, priklausomai nuo teksto tipo“. Net ir pagal mažesnį daugiklį mokate tą patį tarifą už daugiau tokenų. Faktinė tokio pat darbo sąskaita išauga.

Jei jūsų kalbos matavimų nėra paskelbta, tikslų daugiklį savo tekstams galite nustatyti per kelias minutes – štai kaip tai padaryti toliau.

Kiek daugiau iš tikrųjų kainuoja viena užduotis?#

Tokenizatorius – tik pusė vaizdo. Kita pusė ta, kad „Sonnet 5“ atlieka daugiau veiksmų ir dirbdamas sugeneruoja daugiau teksto. Kainoraštyje nurodyta kaina – tik dalis išlaidų: galutinę užduoties sąskaitą lemia sunaudotų tokenų ir atliktų veiksmų skaičius, todėl išmatuokite tai atlikdami savo užduotis.

Pagal vienos užduoties kainą „Sonnet 5“ yra brangesnis už flagmaną „Opus 4.8“ – nors jo sąrašo kaina 2,5 karto mažesnė. Sąrašo kaina sako viena, o tikroji sąskaita – kita: tokenizatorius ir papildomi veiksmai suvalgo visas žadėtas santaupas.

Šis modelis kartojasi iš kartos į kartą. Naudojant ankstesnį modelį „Opus 4.7“, tokenizatoriaus pakeitimas jau buvo padidinęs tokenų skaičių užklausai maždaug 37 %. Šis dėsningumas buvo įvardytas tiesiai:

Išvada paprasta: nepasitikėkite antrašte „2,5 karto pigiau“. Tik jūsų pačių tokenų skaičius atliekant jūsų užduotis parodys tikrąją kainą. Toliau parodysiu, kaip ją išmatuoti, bet pirmiausia – platesnis kontekstas.

Pasirinkimas tarp „Sonnet 5“ ir „Opus“ tėra viena sistemos grandis. Konteksto inžinerija – tai, ką įtraukiate į „Claude“ kontekstą prieš užklausą – lemia faktinį tokenų naudojimą. Perkrautas kontekstas išeikvos bet kokį biudžetą net ir naudojant pigiausią modelį; gerai sutvarkytas kontekstas padės taupyti tokenus net su brangiu modeliu.

Claude Sonnet 5 ir Opus 4.8: ką gali kiekvienas?#

Vien etaloninis testas daug nepasako intuityviai programuojančiam žmogui. Tačiau skaičiai rodo, kur kiekvienas modelis stiprus. Štai trijų modelių oficialūs „Anthropic“ rezultatai greta:

„Opus 4.8“ išlaiko pranašumą sudėtingo agentinio programavimo srityje – SWE-bench Pro teste surenka 69,2 %, palyginti su 63,2 %. Šie šeši punktai atspindi keblias klaidas ir architektūrinius mazgus, kuriuos „Opus“ išnarplioja, o „Sonnet“ palieka neišspręstus pusiaukelėje. Tačiau sudėtingas programavimas – vienintelė eilutė, kurioje pirmauja „Opus“. Atliekant darbą terminale (80,4 % ir 74,6 %) bei žinių darbą (rengiant ataskaitą, analizuojant duomenis), „Sonnet 5“ jau aplenkė flagmaną.

Išsamus vadovas „kurį modelį rinktis kokiai užduočiai“, įskaitant tai, kaip nustatyti pastangų lygį naudojant /effort, pateiktas atskirame vadove apie Sonnet arba Opus pasirinkimą Claude Code – jame paaiškinama, kaip nukreipti modelius pagal užduoties tipą. Čia nagrinėjamas kitas klausimas: ar verta keisti tai, kas jau veikia, vien dėl naujo modelio?

Kaip apskaičiuoti, kiek jums kainuos Sonnet 5?#

Nepasitikėkite kitų žmonių skaičiais – išmatuokite savuosius. „Claude Code“ gali parodyti naudojimą tiesiog sesijoje. Štai trys komandos:

• /usage - pagrindinis naudojimo ekranas: sesijos kaina, likę plano limitai ir tokenai pagal modelį. Komandos /cost ir /stats atveria jo skirtukus.
• /cost - dabartinės sesijos išklotinė: kiek tokenų panaudota, kurie modeliai juos naudojo ir kiek atskirai teko įvesties bei išvesties tokenams.
• /stats - ilgesnio laikotarpio vaizdas: bendras sesijų ir tokenų skaičius per kelias savaites.

Svarbi išlyga: šiomis komandomis rodoma suma doleriais yra vietinis pagal tokenų skaičių apskaičiuotas įvertis, kuris gali skirtis nuo tikrosios sąskaitos. Tačiau jo visiškai pakanka dviem modeliams palyginti.

Štai tikslus būdas išmatuoti, kiek daugiau „Sonnet 5“ kainuoja atliekant jūsų užduotis:

1. Tokenizatoriams palyginti pasirinkite vieną fiksuotą įvestį su tomis pačiomis instrukcijomis ir failų turiniu, be pokalbio istorijos. Palyginkite tos tikslios įvesties tokenų skaičių abiem modeliais, neįtraukdami sugeneruotos išvesties. Šis santykis apibūdina tik įvesties tokenizavimą.
2. Tikrai užduočiai palyginti pradėkite dvi nepriklausomas sesijas nuo tos pačios projekto būsenos — po vieną modeliui. Naudokite tą pačią užklausą, pastangų lygį, prieinamus įrankius ir sėkmės kriterijus. Nekeiskite modelių vieno bendro pokalbio viduryje.
3. Užfiksuokite naudojimą prieš kiekvieną užduotį ir po jos. Užduoties kainai įvertinti naudokite įvesties, išvesties, talpyklos skaitymo ir įrašymo skirtumus kartu su taikomais tarifais; pakartotinius ir nesėkmingus bandymus palikite bendroje sumoje.
4. Gautą kodą patikrinkite tais pačiais testais. Lyginkite sėkmingo rezultato kainą, užuot bendrų tokenų kiekių santykį vadinę kainos daugikliu.

Pirmiau nurodytos komandos parodo vieną sesiją. Dienos ir savaitės apžvalgai yra nemokamas įrankis ccusage. Jis nuskaito vietinius „Claude Code“ įrašus ir parengia ataskaitas. Paleiskite jį neįdiegę:

npx ccusage@latest

Kaip pereiti prie Sonnet 5 ir grįžti atgal, jei jis jums netiks?#

„Claude Code“ modeliai pakeičiami viena komanda, o pakeitimas įsigalioja iškart. Štai visos parinktys, įskaitant grįžimą, nes po ankstesnio skyriaus palyginimo galbūt norėsite persijungti atgal.

Perjungimas dabartinėje sesijoje:

/model              # atverkite modelių sąrašą ir pasirinkite
/model sonnet       # perjungti į Sonnet 5
/model opus         # perjungti į Opus 4.8

Sąraše paspaudus Enter, pasirinkimas išsaugomas kaip numatytasis naujoms sesijoms; paspaudus s, jis taikomas tik dabartinei sesijai.

Grįžkite atgal, jei naujasis modelis jums netiks. Yra vienas keblumas: trumpasis pavadinimas sonnet dabar nurodo 5 versiją. Norėdami grįžti konkrečiai prie išbandyto „Sonnet 4.6“, naudokite visą jo pavadinimą:

/model claude-sonnet-4-6    # grįžti prie ankstesnio Sonnet
/model claude-opus-4-8      # grįžti prie Opus 4.8
/model default              # atkurti paskyrai rekomenduojamą numatytąjį modelį

Prisekite modelį visai sesijai naudodami aplinkos kintamąjį:

export ANTHROPIC_MODEL="claude-opus-4-8"    # paleisti prisegtą Opus modelį
claude

Visam laikui nustatykite numatytąjį modelį faile settings.json:

{ "model": "opus" }

Taip pat verta žinoti apie opusplan režimą. Planavimo etape, kai svarbus mąstymo gilumas, jis naudoja „Opus“, o vykdymo etape, kai svarbi kaina, persijungia į „Sonnet“. Kompromisas „brangios smegenys, pigios rankos“ yra protingas numatytasis pasirinkimas, jei nenorite kiekvienai užduočiai modelio rinktis rankiniu būdu.

Kam Sonnet 5 iš tiesų naudingas, o kam vertėtų likti prie Opus?#

Paprasta pagal etaloninius testus ir kainas sudaryta maršrutizavimo taisyklė: Sonnet 5 vykdymui, Opus 4.8 sprendimams. Štai ta pati mintis – kaip užduoties pasirinkimo žemėlapis:

Pagrindinė netikėta išvada: esant dideliam pastangų lygiui (xhigh, max), „Sonnet 5“ praranda kainos pranašumą. Jis atlieka daugiau veiksmų ir sunaudoja daugiau tokenų, todėl viena sudėtinga užduotis kainuoja daugiau nei naudojant „Opus 4.8“ – nors sudėtingo programavimo kokybe „Opus“ vis dar geresnis. Todėl, jei dauguma jūsų darbų sudėtingi ir atliekami nustačius didelį pastangų lygį, prasminga palikti „Opus“ numatytuoju modeliu.

Jei dauguma jūsų darbų yra įprastos vidutinio sudėtingumo agentinės užduotys, šiuo metu „Sonnet 5“ su standartiniu pastangų lygiu yra geras pasirinkimas, ypač taikant akcines kainas iki rugpjūčio 31 d.

Ką sako tie, kurie jau perėjo prie naujo modelio?#

Per kelias pirmąsias valandas po išleidimo kilo nepasitenkinimo banga. Apibūdinimas „beprasmis fiasko“ iškart prilipo prie pristatymo. Štai kokiu tonu prasidėjo diskusija:

Trys pagrindiniai nusiskundimai, be emocijų:

1. Tokenai kainuoja daugiau. Naujasis tokenizatorius panaikina žadėtas santaupas – apie tai ir kalba visa pirmiau pateikta analizė.
2. Daugiau atsisakymų. Modelis dažniau atmeta prieštaringas užklausas; jo cenzūra griežtesnė. Daugelis teigia, kad ankstesnis „Sonnet 4.6“ atrodė greitesnis, išmanesnis ir mažiau suvaržytas.
3. Pažanga per menka. Skirtumas nuo 4.6 nepateisina perėjimo, ypač atsižvelgiant į kainos padidėjimą.

Tačiau vaizdas nėra vienpusis. Žmonėms, vykdantiems agentines užduotis, „Sonnet 5“ patinka: jo kokybė artima „Opus“ kokybei, o esant mažam pastangų lygiui jis kainuoja mažiau. Jie taip pat giria pastangų lygio valdymą – tai iš tiesų leidžia kontroliuoti sąskaitą. Tačiau tie, kurie „Claude“ naudojo kūrybiniam rašymui, nepatenkinti – modelio formuluotės tapo sausesnės ir atsargesnės.

Mano išvada iš viso šio triukšmo: „fiasko“ banga daugiausia kilo dėl išpūstų lūkesčių. Žmonės tikėjosi šuolio į priekį, o gavo atsargų žingsnį su brangesniais tokenais. Techniniu požiūriu „Anthropic“ pristatė veikiantį modelį. Čia tėra vienas teisingas klausimas: ar jis jums naudingas atliekant jūsų užduotis? Tai galite patikrinti tik pagal savo tokenų sąskaitą – kitų žmonių įrašai už jus to neįvertins.

Praktinis scenarijus: bandymai atliekant savo užduotis#

Pasirodžius naujam modeliui, scenarijaus autorius jį išbando neskubėdamas daryti išvadų – pirmosiomis dienomis ažiotažas visada garsesnis už realybę. „Sonnet 5“ yra kaip tik toks atvejis.

Štai šio scenarijaus žingsniai:

1. Patikrino numatytąjį modelį. Autorius turi „Max“, todėl numatytuoju liko „Opus 4.8“. Jį jis pasilieka sudėtingoms užduotims.
2. Kasdieniams darbams pasirinko Sonnet 5. Pirminė kodo peržiūra, testų generavimas, projekto tyrinėjimas – šiems darbams jis nebrangus, o jo kokybės pakanka.
3. Išmatavo savo užduotis. Po kiekvienos sesijos autorius patikrina /cost ir palygina naudojimą. Jis naudoja savo tikrą kodą, o ne kitų žmonių etaloninius testus.
4. Pasinaudojo akcija. Iki rugpjūčio 31 d. „Sonnet 5“ siūlomas mažesne kaina – tai tinkamas metas rinkti statistiką apie asmeninę jo kainą, kol jis dar pigus.

Neįmanoma kartą ir visiems laikams atspėti, kuris modelis yra „tinkamas“. Modeliai keičiasi kas mėnesį, kartu su kainomis ir tokenizatoriais. Visada padeda žinoti, kaip per dvi minutes išmatuoti naudojimą ir priimti sprendimus remiantis skaičiais, o ne antraštėmis. Modelio pasirinkimas – įgūdis, kurio prireiks išleidus kiekvieną naują versiją.

Jei norite tęsti, išbandykite Ailoot.