Blog

Kimi K3 v praksi: preizkus in primerjava s Claude Code

Markdown

Hitrost, poraba žetonov, predpomnjenje in združljivost z večagentskimi nastavitvami: avtorjeve osebne izkušnje in objavljena neodvisna merila.

Preberi celoten članek

Poudarki

Preizkusil sem ga tudi sam. V primerjalnih testih se model uvršča na prvo mesto pri delu s frontendom in prekaša Claude pri terminalskih opravilih. Pri mojih opravilih je delal dvakrat počasneje, porabil občutno več žetonov in motil delo več agentov.

Dokumentacija Ailoot opisuje povezovanje modelov in delo z API-jem.

Kako se je izšel avtorjev preizkus

Poudarki

  1. julija sem objavil oceno Kimi K3 in jo sklenil s predlogom, naj mu namenim en dan za umerjanje ter preverim, ali se prehod splača. Nato sem v kanalu napisal, da preizkušam model in da sem bil prijetno presenečen. To je držalo prvih nekaj ur. Potem so sledile dolge seje z več agenti in slika se je spremenila.

Kimi K3 je izšel 16. julija 2026. Ima 2,8 bilijona parametrov, kontekstno okno z milijonom žetonov, odprte uteži in prvo mesto v slepi primerjavi frontendov. Vse podrobnosti o njegovi arhitekturi, primerjalnih testih in cenah sem zbral v celotni oceni Kimi K3 proti Claude Code, zato jih tukaj ne bom ponavljal.

Na koncu te ocene sem zapisal: tveganje je izgubljen dan zaradi nastavljanja; korist pa račun, ki se začne zniževati od drugega tedna naprej. Preizkus sem izvedel pri svojih opravilih.

Prvih nekaj ur je res vznemirljivih. Model se z veseljem loti naloge, pripravi smiselno delo na frontendu in se ne ustraši velikih datotek. Zato sem v kanalu objavil, da sem bil prijetno presenečen. Težave so se pokazale pri dolgih sejah, z več agenti, skozi ponavljajoče se kroge urejanja in zvečer pri delu v terminalu.

Na koncu sem povrnil prejšnjo nastavitev. Tukaj je, kaj me je pripeljalo do te odločitve, skupaj s številkami in povezavami do primarnih virov, da lahko vse preverite sami.

Zakaj primerjalni testi kažejo, da Kimi K3 prekaša Claude?

Poudarki

Na posameznih področjih Kimi K3 v primerjalnih testih res prekaša Claude: pri terminalskih opravilih, dolgih inženirskih maratonih ter slepih primerjavah frontendov. Toda v celotnem sklopu 35 testov je rezultat drugačen: Claude Fable 5 zmaga 22-krat, Kimi K3 dvanajstkrat, en rezultat pa je neodločen. Obe sliki sta točni; prva je le pogosteje citirana.

Tukaj so primerjalni testi, v katerih Kimi K3 prekaša Claude Fable 5:

Primerjalni testKimi K3Claude Fable 5Razlika
Terminal-Bench 2.188.384.6+3.7
SWE-Marathon42.035.0+7.0
BrowseComp91.288.0+3.2
Program Bench77.876.8+1.0

llm-stats je zbral primerjalne teste; vsaka vrstica je primerjava s Claude Fable 5.

Številke so resnične. V vseh 35 primerjalnih testih iste zbirke Claude Fable 5 zmaga 22-krat, Kimi K3 dvanajstkrat, en rezultat pa je neodločen.

Zanimivejše je, kje Kimi K3 zaostaja. Njegov primanjkljaj pri programerskih testih je zmeren, 4–5 točk. Slabše se odreže pri znanju in sklepanju: pri HLE Claude vodi za skoraj 10 točk. Prav tu dolga naloga trči ob oviro: najprej je treba razumeti in šele nato pisati.

Moonshot to v glavnem delu objave ob izidu pove takole:

Čeprav še vedno zaostaja za najmočnejšimi zaprtimi modeli na splošno, Claude Fable 5 in GPT 5.6 Sol, je Kimi K3 v celotnem naboru naših primerjalnih testov pokazal vrhunsko raven.

— Moonshot AI, https://www.kimi.com/blog/kimi-k3

Zakaj je Kimi K3 v praksi videti dvakrat počasnejši?

Poudarki

Kimi K3 vrne prvi žeton dvakrat hitreje kot Claude, nato pa tok teče dvakrat počasneje. V kratkem klepetu se to zdi hitro; pri delovni nalogi pa celoten odgovor traja občutno dlje. Neodvisni primerjalni testi mu pripisujejo 34.7 žetona na sekundo v primerjavi z 61.3 za Claude Opus 4.8.

MeriloKimi K3Claude Opus 4.8
Hitrost izhoda34.7 žetona/s61.3 žetona/s
Čas do prvega žetona4.19 s9.50 s
Indeks inteligence5756
Povprečna cena na milijon$2.31$3.85

Primerjava uporablja Claude Opus 4.8, različico Claude, za katero imajo popolno meritev hitrosti.

Kimi K3 odgovori prej, zato se v kratkem klepetu subjektivno zdi hitrejši. Pri delu se čas porablja za nekaj drugega: za počasno prejemanje celotnega odgovora. Tu zaostaja skoraj za polovico, pri dolgem odgovoru pa se razlika nabere v minute.

Kimi Code oglašuje hitrost 180–260 žetonov na sekundo in ta številka je videti prepričljiva v primerjavi z mojimi 34.7. Nanaša se na hitrejšo gradnjo prejšnje generacije, K2.7 Code HighSpeed. Kimi K3 takšne gradnje sploh nima, neodvisni primerjalni test pa meri sam Kimi K3.

Kam gredo žetoni, če sklepanja ni mogoče izklopiti?

Poudarki

Sklepanja pri Kimi K3 sploh ni mogoče izklopiti. Če model pokličete neposredno prek API-ja, je privzeto nastavljena najvišja stopnja napora in model sklepa pri vsaki zahtevi, tudi pri nepomembnih. Ena generacija je stala 25 centov.

Stopnjo napora lahko znižate; dokumentacija navaja tri: nizko, visoko in največjo. Sklepanja pa ni mogoče povsem izklopiti: izrecno piše, da sta sklepanje in shranjevanje njegove zgodovine pri Kimi K3 vedno omogočena. Pri neposrednih klicih API-ja je privzeta najvišja stopnja, večina ovojnih programov pa je ne spremeni.

Vsak korak doda tisoče izhodnih žetonov po ceni $15 na milijon. Poleg tega Moonshot zahteva, da vrnete celotno sporočilo pomočnika, vključno z njegovo zgodovino sklepanja, ti izhodni žetoni pa postanejo vhodni žetoni v naslednjem koraku.

Tako za isto sklepanje plačate dvakrat: prvič, ko ga model ustvari, nato pa še, ko ga pošljete nazaj modelu.

Po skupnem indeksu Kimi K3 porabi 21% manj izhodnih žetonov kot njegov predhodnik, K2.6. Model je postal varčnejši v primerjavi s svojo prejšnjo različico. Claude pri istih opravilih še vedno porabi manj.

Prompt »hi« se obračuna kot 86 žetonov. V ozadju je skrit sistemski prompt s približno 85 žetoni, zanj pa plačate pri vsaki zahtevi.

Posebej sem ocenil, kako izračunati porabo in kje preveriti preostalo dobroimetje: koliko žetonov vam dajeta Claude Pro in Max. Logika izračuna je enaka; spremenijo se le cene.

Kaj se zgodi, ko se model zatakne pri sklepanju?

Poudarki

Kimi K3 se je pri meni večkrat ujel v zanko: blok sklepanja je začel ponavljati isti del besedila in razpadati na zloge, medtem ko so se podrejeni agenti negibno obesili. In to se ne dogaja samo meni. Na Moonshotovem lastnem seznamu znanih težav je več poročil o takih zankah.

Videti je takole. Model začne razmišljati, vendar se besedilo namesto razvijanja misli prevesi v ponavljanje: ista beseda, nato drobci zlogov, v nedogled. Naloga obstane, števec žetonov pa se še naprej vrti.

Poročilo z dne 28. julija na Moonshotovem seznamu znanih težav opisuje, kako Kimi K3 šestkrat zapored poskuša prebrati isto datoteko, sedemkrat prejme zavrnitev »klic brez sprememb, datoteka se od prejšnjega branja ni spremenila«, nato pa konča korak, kot da se ni nič zgodilo. V sledilniku težav za Kimi CLI avtor navaja štiri različice podobnega zastoja—branje, zamenjavo, testiranje in analizo—in jih povzame z enim stavkom:

Tudi po večkratnem branju datoteke jo še naprej berem. Tudi po uspešni zamenjavi še naprej izvajam ukaze. Te mrtve zanke so porabile ogromno žetonov.

— Razvijalec, sledilnik težav za Kimi CLI

Moonshot vzrok navede neposredno. Model je bil naučen v načinu, ki ohranja zgodovino sklepanja, zato mora v celoti prejeti svoja pretekla sklepanja. Če zgodovina prispe nepopolna, model poskuša znova sestaviti odgovor, ustvari isti klic orodja in začne novo zanko.

Avtor analize v usmerjevalniku zahtev tretje osebe pride do enake diagnoze: Kimi je dovolj strog, da zavrača zahteve z nepopolno zgodovino sklepanja. Zunanji ovoj za to strogost ne ve in zgodovino skrajša.

Zakaj se večagentska nastavitev s Kimi K3 sesuje?

Poudarki

Ko se Claude Code poveže z API-jem Moonshot, nekatere njegove zmogljivosti odpovejo. WebFetch sploh ni podprt, odloženo nalaganje orodij povzroči napako 400, po več takih napakah pa se seja preneha odzivati celo na navadno besedilo. Težava nastane na vmesniku med Claude Code in API-jem Moonshot.

V uradni dokumentaciji Moonshot to jasno piše: njihov API še ne podpira WebFetch. Z drugimi besedami, Claude Code, ki običajno obišče spletno stran in pridobi njeno vsebino, tega s Kimi K3 ne more narediti. Rešitev je, da vsebino prilepite ročno ali povežete orodje tretje osebe.

Claude Code lahko orodja nalaga po potrebi in v zgodovino vstavi servisni blok vrste tool_reference. Kimi te vrste ne sprejme in vrne napako 400. To stori brez pojasnila, ne navede ne polja ne razloga:

{"error":{"type":"invalid_request_error","message":"Invalid request Error"},"type":"error"}

Za primerjavo: tako je videti ista napaka v Anthropicovem izvornem API-ju, kjer strežnik vsaj navede polje in našteje sprejete vrste:

messages.166.content.0.tool_result.content.0: Input tag 'tool_reference' found
using 'type' does not match any of the expected tags: 'document', 'image',
'search_result', 'text'

Razlika je pomembna. Prvega sporočila ni mogoče diagnosticirati: ne odjemalec ne oseba za njim ne moreta ugotoviti, kateri blok je bil zavrnjen. Točno nad tem se pritožujejo avtorji poročil. Razvijalci preklopnikov ponudnikov že predlagajo, naj se odloženo nalaganje orodij za Kimi privzeto izklopi ali naj se API Moonshot označi kot tak, ki teh blokov ne sprejema.

Posledico opisuje ločeno poročilo, odprto 17. julija, na katero še vedno ni odgovora. Avtor je v eni seji naletel na to napako sedemkrat. Seja je preživela prvih šest; sedma jo je dokončno končala: zatem je sesutje povzročil celo vnos navadnega besedila »continue«. Avtor posebej poudari, da se še zdaleč ni približal omejitvi konteksta, zato razlaga »zgodovina je bila predolga« ne drži.

Tukaj je povzetek vrst blokov, ki jih API Moonshot sprejema oziroma zavrača:

Kaj naredi Claude CodeDeluje s Kimi K3
Standardni klic orodjada
Spletno iskanjeda
Pridobivanje strani prek WebFetchne, API tega ne podpira
Odloženo nalaganje orodijne, napaka 400 in nevarnost izgube seje

Beseda »združljiv« tukaj opisuje samo obliko zahteve. Vse drugo se razlikuje: katere vrste blokov so sprejete, kaj mora vsebovati zgodovina in katera orodja so sploh na voljo.

Česa ni mogoče prenesti na Kimi K3?

Poudarki

Menjava modela zamenja motor, vendar celoten ovoj okoli njega—sam Claude Code, njegova orodja in podagenti—ostane prilagojen Claude. Datoteka z navodili, veščine in podagenti so bili napisani za Claudeovo vedenje. Moonshot izrecno priporoča uporabo ovoja s preverjeno združljivostjo in odsvetuje menjavo modela sredi seje.

Razdelek o omejitvah v objavi ob izidu pravi dobesedno:

K3 je bil naučen v načinu, ki ohranja zgodovino sklepanja. Če ovoj agenta ne vrne celotne zahtevane zgodovine sklepanja ali če se seja, začeta z drugim modelom, preklopi na K3, lahko kakovost generiranja postane izjemno nestabilna. Priporočamo uporabo ovoja s preverjeno združljivostjo, kot je Kimi Code, in izogibanje preklopu na K3 sredi seje.

— Moonshot AI, razdelek o omejitvah, https://www.kimi.com/blog/kimi-k3

Razvijalec modela pravi: uporabljajte našega odjemalca; za vedenje drugih ne jamčimo.

Druga točka v istem razdelku pojasni še nekaj, kar sem prej pripisoval trmoglavosti modela:

K3 je bil naučen s poudarkom na dolgih in zapletenih nalogah. Zato lahko pri delu ob manjši nedoslednosti ali dvoumnem uporabnikovem namenu sprejme nepričakovano odločitev v uporabnikovem imenu.

— Moonshot AI, razdelek o omejitvah, https://www.kimi.com/blog/kimi-k3

Moj CLAUDE.md je bil napisan za nasprotno navado: vprašaj, pokaži načrt in počakaj na potrditev. Navodila so še vedno tam, vendar jih zdaj bere model z drugačnim temperamentom.

Če želite za več agentov uporabljati eno datoteko s pravili, sem to nastavitev obravnaval posebej: ena datoteka z navodili za Claude Code, Codex in Cursor.

Koliko je Kimi K3 v resnici stal?

Poudarki

Cena Kimi K3 na žeton je skoraj za polovico nižja od Claudeove. Pri agentskih delovnih potekih se ta račun zaradi predpomnilnika poruši: vsaka sprememba sistemskega prompta ali seznama orodij ga v celoti ponastavi, zato cena vhodnih žetonov z 30 centov znova naraste na $3 na milijon. Claude Code takšne spremembe izvaja redno in nenehno.

Najprej cene, ki so v prid Kimi K3:

PostavkaKimi K3Claude Opus 5
Vhod na milijon$3.00$5.00
Vhod na milijon pri uporabi predpomnilnika$0.30$0.50
Izhod na milijon$15.00$25.00

Cene Kimi izvirajo iz dokumentacije o predpomnjenju konteksta; desni stolpec prikazuje cene Claude Opus 5 na dan 30. julija 2026.

Kimin predpomnilnik je samodejen, ni ga mogoče izklopiti, prepozna pa se po zgoščeni vrednosti na začetku zahteve. Vsaka sprememba sistemskega prompta ali seznama orodij v celoti izbriše predpomnilnik sporočil.

Tukaj je, kaj Claude Code počne med običajnim delovnim dnem:

  1. Ko naloga napreduje, povezuje in odklaplja zunanja orodja.
  2. Po potrebi nalaga orodja na zahtevo.
  3. Zažene podagente z drugačnim naborom orodij.
  4. Sistemskemu promptu doda datoteko z navodili.
  5. Pri stiskanju konteksta znova zgradi zgodovino.

Vsaka od teh postavk ponastavi začetek zahteve in s tem tudi predpomnilnik. Vhodni žetoni znova stanejo $3 na milijon namesto 30 centov—desetkrat več. Temu se pridruži še nenehno sklepanje po ceni $15 na milijon izhodnih žetonov, isti žetoni pa se v naslednjem koraku vrnejo kot vhodni. Tako lahko model z nizko navedeno ceno ustvari nepričakovan račun.

Po zbirnih podatkih OpenCode povprečna seja Kimi K3 v skoraj 280,000 dejanskih sejah stane $1.86, pri povprečni porabi 3.1 milijona žetonov. Ta številka temelji na tem, da 93% vhodnih žetonov zadene predpomnilnik. Spremenite začetek zahteve in ta podatek za vas ne velja več.

Paketi Kimi stanejo $19, $39, $99 in $199. Kvota prihaja iz skupnega bazena za celotno članstvo, tedensko se ponastavi brez prenosa neporabljenih količin in uporablja drseče peturno okno. Ocena paketov to opiše takole: štirje terminali z nenehno sklepanjem Kimi K3 hitro porabijo peturno okno.

Programerska kvota paketa za $99 je primerljiva z Anthropicovim paketom za $200, kar je v nasprotju z mojim stališčem. Kimi je na žeton cenejši, vendar tega zvečer na računu ne vidite več.

V čem je Kimi K3 objektivno dober?

Poudarki

Kimi K3 je močan pri nalogi, ki je ena velika, jasno opredeljena celota: delo na frontendu, obsežno preurejanje kode, delo z dolgimi datotekami in analiza velikega repozitorija. Prvo mesto v slepi primerjavi frontendov si je zaslužil, zato mu je smiselno dodeliti takšne naloge. Spodaj je pet njegovih prednosti.

  1. Frontend. Prvo mesto v slepi primerjavi, ki so jo izvedli dejavni razvijalci. Ustvarja urejene postavitve z dobrim občutkom za estetiko.
  2. Obseg. Kontekstno okno z milijonom žetonov, dolge datoteke ga ne zmotijo. Analiza velikega repozitorija in izdelava njegovega pregleda sta nalogi po njegovi meri.
  3. Prvi odgovor. Čas do prvega žetona je pol krajši kot pri Claude. V kratkem pogovoru je to opazno in prijetno.
  4. Cena na žeton. Približno 60% cene Claude Opus 5. Če se začetek zahteve ne spremeni, to prinese resnične prihranke pri velikih, ponavljajočih se obremenitvah.
  5. Odprte uteži. Model ni vezan na enega ponudnika.

Pri zadnji točki velja opozorilo. Takšnega modela doma ni realno poganjati: tudi v stisnjeni obliki njegove uteži merijo terabajte. Tukaj odprtost pomeni neodvisnost od enega samega ponudnika.

Kako vse to sami preizkusite v enem večeru

Poudarki

Kimi K3 morate preizkusiti pri svoji običajni nalogi: razlika se ne pokaže v kratkem pogovoru. Izmerite dve stvari: koliko časa je trajalo in koliko je stal večer. Spodaj je sedem korakov po vrsti, da težave samega modela ne zamenjate za težave ovoja okoli njega.

  1. Dostop nastavite po navodilih. Tri okoljske spremenljivke in zamenjave modelov po ravneh sem opisal v oceni Kimi K3 proti Claude Code. Nastavitev preverite z ukazom /status: Kimi se ne bo pojavil v meniju za izbiro modela, ker ima ta vgrajen seznam vzdevkov, ki se ga ni treba dotikati.
  2. Odstranite stari ključ. Če ste prej nastavili ANTHROPIC_API_KEY, ga odstranite. Skupaj z ANTHROPIC_AUTH_TOKEN povzroči spor in po nepotrebnem boste dobili napako pri avtorizaciji.
  3. Takoj izklopite odloženo nalaganje orodij. Naredite to pred prvim zagonom, ne po sesutju prve seje.
  4. Med nalogo ne menjajte modelov. Če ste začeli s Kimi K3, končajte s Kimi K3. Enako velja v obratni smeri. To je neposredna zahteva Moonshot; citiral sem jo zgoraj.
  5. Uporabite svojo resnično nalogo. Takšno, na kateri ste delali včeraj, z vso zmedo in nedokončanimi nitmi. Igra kače ne bo pokazala razlike: ta se pokaže šele dolgoročno.
  6. Zapišite dve številki. Koliko minut je trajalo in koliko denarja ste tisti večer porabili. Primerjajte z običajnim večerom ob Claude.
  7. Čas nedelovanja spremljajte ločeno. Ko se agent obesi, v zanki bere isto datoteko ali odgovori z napako—tudi to je del stroška.

Če je večerni račun višji od pričakovanega, je skoraj vedno kriv predpomnilnik: preštejte, kolikokrat se je tisti večer ponastavil začetek zahteve. Cena na žeton je pri tem malo pomembna.

Kaj sem se na koncu odločil obdržati

Poudarki

Kimi K3 ni povsem nadomestil Claude Code in tega nisem poskušal izsiliti. Claude Code je ostal glavni motor za dolge naloge in večagentske nastavitve. Kimi K3 ostaja ob njem kot drugi motor za naloge z veliko ponavljajočega se dela na postavitvah, ki jih je mogoče predati v celoti. Ločnica je število prehodov, ki jih naloga vključuje.

Bralci kanala, ki so model preizkušali z mano, so neodvisno prišli do iste nastavitve: Kimi K3 prosijo, naj pregleda repozitorij in poda drugo mnenje, glavno delo pa prepustijo svojemu znanemu agentu. Ta nastavitev deluje, ker ne zahteva premestitve ovoja ali pokvarjenja nečesa, kar že deluje.

Lahko povemo takole: ena celotna naloga gre Kimi K3; dolga veriga z orodji in podagenti gre Claude Code. Več kot naloga zahteva preklopov med orodji, dražja je uporaba Kimi K3 in večja je možnost, da se seja pokvari.

Posebej sem ocenil, kako razdeliti vloge med dva agenta, ne da bi ju pomešali: trije načini dela z dvema agentoma.

Primerjalni testi odgovarjajo na vprašanje »kdo je močnejši v laboratorijskih razmerah?« Večerni račun in seznam opravljenega dela odgovarjata na vprašanje »kdo je močnejši za vas?« Če se odgovora razlikujeta, zaupajte drugemu: izračunali ste ga sami, ne marketinški oddelek.

Ko sem vse to pretehtal, sem se odločil: ne glede na to, kaj ljudje pravijo o novih modelih, vodilni ostaja vodilni. Claude Code ostaja moj glavni motor.

Delo z AI lahko nadaljujete na Ailoot.

Več podrobnosti

Vprašanja in odgovori: Kimi K3 v praksi: preizkus in primerjava s Claude Code

Ali hitrejši prvi žeton pomeni hitrejše dokončanje programskih nalog s Kimi?

Ne. Zakasnitev prvega žetona in hitrost preostalega toka sta različni meritvi. Merite celotno nalogo z orodji, ponovitvami in preverjanji, namesto da ocenjujete začetek odgovora.

Kako preverim, ali Kimi ustreza mojemu delu?

Uporabite značilno nalogo z istimi začetnimi datotekami in preverjanji uspeha kot pri sedanji nastavitvi. Zabeležite skupni čas, porabo žetonov in rezultat, nato večagentni potek preizkusite ločeno, preden se nanj zanesete v dolgih sejah.

Vsi članki