Javni LLM benchmarki so večinoma smeti

Prijatelj me je prejšnji teden vprašal, kako se Opus 4.7 obnese v GrandpaCAD. Odpravil sem ga. Tukaj so podatki, s katerimi sem ga odpravil:

• Prepustnost na OpenRouterju. Gemini 3.1 se giblje okoli 62 žetonov/sekundo p50. Opus (ko sem nazadnje preveril) je bil pri okoli 45.
• Design Arena 3D Benchmark. Kimi K2.6 ima 1369 ELO, Gemini 3.1 ima 1320, Opus 4.5 ima 1299.
• Cene žetonov. Žetoni za Opus stanejo približno 3x več kot za Gemini, 10x več kot za Kimi.

Trije neodvisni viri, ki kažejo v isto smer: hitreje, bolje in ceneje nekje drugje. Roko na srce, posodobitve za model Claude sem že nekaj časa ignoriral. Sonnet 4.5 je lani izgubil proti modelu Gemini pri isti delovni obremenitvi in z modelom Opus se sploh nisem ukvarjal, ker me je cena na žeton odvrnila, še preden sem sploh pognal teste. Claude Code se poleg tega zdi počasen pri mojem vsakodnevnem delu, kar je samo še potrdilo to zgodbo. Zakaj bi torej sploh zaganjal teste?

Vseeno sem jih zagnal. Številke so bile povsem obrnjene na glavo.

Kaj je evalvacijski paket dejansko pokazal

Svoj standardni testni sistem sem zagnal na štirih najnaprednejših modelih: Opus 4.7 na avtomatskem razmišljanju, Gemini 3.1 na srednjem proračunu za razmišljanje, GPT 5.5 s service_tier: priority in Kimi K2.6 na Baseten (najhitrejši ponudnik zanj, ki sem ga lahko našel).

Nekaj stvari prav izstopa.

Opus 4.7 je najhitrejši. 32 sekund na generacijo. Gemini 3.1 potrebuje 1m 32s. GPT 5.5 potrebuje 1m 46s. Graf prepustnosti na OpenRouterju kaže, da je Gemini hitrejši po žetonih na sekundo. Ta podatek drži, če meriš samo žetone. Ampak razmišljajoči modeli prevajajo žetone, ki jih uporabnik ne vidi, in tisto, kar dejansko šteje na koncu, je resnični čas od pošiljanja poziva do rezultata. Opus manj razmišlja in prej dostavi izdelek. V času, ko Gemini zaključi eno generacijo, lahko poženem tri zaporedne naloge z Opusom.

Opus 4.7 ima najvišji utežen rezultat. 0.587, pred modelom Gemini 3.1 (0.556) in GPT 5.5 (0.501).

Opus 4.7 stane polovico manj kot Gemini in zgolj desetino cene modela GPT 5.5. $0.10 na generacijo v primerjavi z $0.21 in $0.94. Primerjave cen na žeton ne upoštevajo proračunov za procesiranje zalednih algoritmov in števila žetonov, ki ga vsak model ob tem dejansko porabi. Gledano na posamezen končni 3D model, je Opus ugodnejša izbira.

Zakaj je 3D najbolj merodajen LLM benchmark, ki ga lahko izvedeš

Na ta del argumenta se presenetljivo rad vračam vedno znova in znova. Če vzporedo bereš besedila, ki so jih po enakem naročilu ustvarili GPT 5.5, Opus 4.7 in Gemini 3.1, resnično sploh ne moreš oceniti, kateri izmed naštetih sistemov je pametnejši. Vsi namreč ob teh poskusih predstavitve zvenijo hudo kompetentno, dosledno držijo vsebinsko rdečo nit, vse bistvene razlike med njimi pa se v obliki pretanjenih nians skrivajo na neopaznih delih, ki jih tudi ti kot avtor nato ne opaziš še mesece in tedne: prikrito oddaljevanje od dejstev, skrita pristranskost ter povratna analiza podatkov in sklepanje, ki na prvi pogled izgleda dokaj točno, vendar pa žal med kasnejšo kompleksnejšo obremenitvijo kratko malo odpove.

S kodo je nekoliko lažje. Koda, ki se ne prevede, se preprosto ne prevede. Logične napake ujameš že na mejah enotskih testov. A kljub vsemu omenjenemu ob tem dejstvu navkljub tudi tam konstantno nastajajo hrošči, ki se skrivajo mesece izključno zaradi ene same lastnosti, saj sprožilce pošljejo šele ob specifičnih uporabniških klicih naprednejšega koda.

3D narava obratovanja poteka na povsem drugačen in sebi lasten unikatnejši način. Navezana kljukica se zato bodisi v popolnosti prilega stenski ploščici, bodisi se enostavno ne sklada z nastavitvami. Stojalo za oprijemanje telefona napravo v celoti in stabilno drži ali pa poskrbi za prevrnitev. Noge stola povsem tesno dosegajo podlago ali ob podrtem grafičnem prikazu neresnično naključno obvisijo v vmesnem zračnem prostoru. Tvoje lastne oči namreč tak poškodovan in neuglašen 3D objekt zasledijo nemudoma in v zgolj stotinki časa (okrog 200 milisekund) na enak način, kot avtomatično in nagonsko opaziš tiskarsko napako v pisavi svojega lastnega imena. Pri teh dogodkih namreč opazno manjka nek abstrakten vmesni sloj, predel prehajanja grafičnih hroščev, ki se ponavadi pojavlja med opazovanji. Človeško napredno genetsko prepoznavanje vizualnih vtisov okoliških fizičnih objektov je nasploh smatrano kot absolutno eden izmed najbolj prvinskih in arhaičnih modulov v vizualnem korteksu vsakega razvitega opazovalca in prav ta dotičen segment analize med pregledom sploh ne tolerira zmot.

V teh omenjenih razlogih zato obstaja tista pika na i odgovora, zakaj na javno dostopnem trgu razpoložljive lestvice izpostavljanja ELO rangiranj tako srhljivo in neverjetno odstopajo od stanja zmogljivosti in predstavitve resničnih dejstev o delovanju 3D produkcije zunaj laboratorija in testiranj. Samo glasovanje in nepsredna izbira ob določenim izpostavljenim estetskim parametrom statične fotografije ali upodobitve med dvema medsebojno predloženim renderiranim slikami namreč ne prinaša in nikakor ne služi enakemu zaključku kot test, kjer je s praznim listom dejansko treba avtentično zagnati pot programiranja in ustvariti odličen izvoz popolnoma 3D zavezanemu natisljivemu modelu ob samem upoštevanju unikatno postavljenih in resničnih pozivov pravega prisotnega uporabnika ter na koncu predvsem gledati samo zmogljivost realizacije ob rezultatu padcev ali vzponov. Osebno trdim in sklepam za seboj, da je prepad v razumevanju tega početja absolutno gromozanski pregreh.

Mislim, da je GrandpaCAD-ov paket za testiranje na račun golo neverjetnega spleta okoliščin in lastnega delovanja sam postregel povsem naključno prigodo s tem, da se je uspel transformirati in prirasti naravnost k enemu od trenutno absolutno najtrdnejših in zaupanja najbolj vrednih raziskovalnih analitičnih meritev in logiki v samih ocenjevali sposobnosti teh vodilnih tehnoloških modelov programiranja. Vse navedeno sploh nima bistvene navezave o premetenosti mene kot neposrednega posameznika podjetja, pač pa kvečjemu sloni samo na neizprosnem in trdnem pravilu, kjer 3D enostavno noče v nobeni meri priznati in pustiti mimo raznih vdorov napak, medtem ko razni navadni prebiralci kode in testni tekstualni bralci na te situacije gledajo nekoliko popustljiveje in to nevede dopuščajo do večjih zdrsov.

Past Kimi K2.6

Kimi K2.6 je najbolj zanimiv model v tej primerjavi. Na papirju je izgledal nepremagljivo:

• Najvišji 3D ELO na platformi Design Arena (1369, pred modeloma Gemini in Opus)
• Najcenejši v mojem benchmarku ($0.02 na generacijo, petina cene Opusa)
• Najhitrejša inferenca pri pravem ponudniku (Baseten beleži do 120 žetonov/sekundo, kar je dvakratnik običajne hitrosti)

V testiranje sem se spustil z vtisom, da bo Kimi najverjetneje brez težav na ta način enostavno potolkel absolutno sleherno konkurenčni preizkušeni sistem med sabo ob dejstvu s tretjim deležem cene, še kar podvojeno postreženo hitrostjo ob samem izvajanju programskega modela ter povsem dominantnim 3D ELO točkovanjem nasproti vsem tistim prej naštetim preizkušanim generacijskim modelom iz predhodno potrjenih obdelav parametrov.

A vendarle je na tem izboru odločno padel. Posredovani produkt in analizirana storitev te poskusalne različice z imenom Kimi K2.6 je tako ključno ponudila in doprinesla predvsem znatno poslabšan in dales najslabši pregled in ustrezen prenos zahtev o vključevanju navodil kar ob točkovanju s precej skromno oceno vrednosti 0,481 točk ob visoki dodeljeni in realizirani stopnji napak in okvar za program na 14,3%, kakor tudi izpričani ter izredno nezadostno postreženi in najnižjo določeno vpisano statistiko same navedene splošne stopnje uporabnikove uspešnosti po merjenju le-tega ob postrežku natrpanih 66,7 procesov delovanj uspeha po obdelovanju parametrov operacij. Model te vrste je dodano k temu razpotju zraven samodejno in ob neugodnem trendu ponovnih osvežitev preverjan in pregledovan nujno zahteval presenetljivo preveč opisanij o vnovničnih ter obravnavanih samostojnih trikrat narejeno večkratnih klicanji sistemskega preizkuševanja operacij nujne izhodišče in bazne vrste programske kode med osrednjim poizkusom kot pa se o takem vzroku kvečjemu zavedeno izpostavilo ali bilo prej opaženo in nakazano iz strani generiranja preizkuševanega operativnega sestavljanja in prvega tekmeca z imenom vsebujoč Opus poizkusov test.

Torej: javni 3D ELO navdaja občutek ter usidra ravno ime model Kimi med glavno predstavo popolnoma na sam zgornji vrh raziskovanja teh parametrov ustvarjanja predstavitve moči operativcev generacije sistemov. Tvegajoč med opredeljenimi zahtevi teh procesov se zdi ravno on edini, kjer sam izvajalec ponudbe in postrežbe opredeljuje ter vstavlja program z najhitrejšim izpisom pregledanih ter priporočeno zniženih točk cene ponudbe merjenja delovanj te procesije enot s takšnim opaznim zmanjšanim obremenitvam nakupnih stanj ob ugodni realizaciji za vsakega opredeljenega model delovanja same posamezne enote na žeton ter z določili postati povsem nedosegljiv ali stroškovno močno presenetljiv ali vsaj ugoden. Sklenemo lahko iz te preučitvene podlage o predlaganju treh popolnih ter vzorcev samostojnih navdihujočih vrst pregleda priporočenih nakazil v iskanju edinega obveznega vodilnega procesiranja programske poti zmagovalne stopnje. Vendar takoj kasneje ugotovimo o vseh dejansko opuščenih in narobe interpretiranih ter slabše ustrezno procesiranih operativnih realnostih o samih procesij preiskovanja med ostalimi štirimi obravnavanimi uvodno določenimi vrstami programskega generacijskega poslovanja ponudb sistemov generacij kod pred objavami ob končni produkciji in analizi naloženih programov generiranih vrst.

Navadno nam tak izdelek parametru pod opcijami potovanja postrežbe poslovanja ELO zagovarja in izpostavlja zgolj dotične predhodno izvajane ter preračunane predstave potrjenih in predalčkanih vzorcev delitev preferenčnih nudenji ozirom sam procesov ocen statičnih opredeljenih parametrov delovanja ne pa resničnim odsevom tržnega priporočila kakovosti generacije ob statičnem renderiranju upodobitev. Na tem samem mestu ne postreže podatkih izpisu o operabilni delitvi in merjenjih tistih zanesljivosti usposobljenih sposobnosti posamezne enote modelove postrežbe s polno predloženim obremenitvami testne nujne zanesljive uporabnikove poslane resnične nalepke povpraševanja procesorskih pozivov podvrgi ter generaciji zapisov same kode na postavljen OpenSCAD ter vzpostavitven program z zalednim vrženjem obdelovalne datoteke ali preprostih delitvenim Python kodiranjem vrstic iz samega prvega vklopa ali potrdivši opisanem delovanju ob ustvarjanju ali določanju operativnih in tiskalnih postopkov postrežene datoteke tiska ob zaključnih procesij ali izpisa procesorske potrditve zahtevane vrste podatkov. Tukaj zaidemo v izključno drugačno smer preiskovanja problematik same obdelovalne delitve in poslovenja procesne platforme.

Nivo "priority" pri GPT 5.5 je natančnejši. Vendar je prepočasen za produkcijo.

GPT 5.5 z nivojem storitve »priority« je imel najvišjo stopnjo uspešnosti (90.5 %) in najnižjo stopnjo napak v kodi (v povprečju 0.10 ponovnih poskusov). Je resnično močan model.

Je pa tudi počasen. Povprečno generiranje je trajalo 1m 46s, kar je 3.3x počasneje od modela Opus 4.7. Način, na katerega uporabniki platforme GrandpaCAD dejansko delajo, je iterativen: vpiši poziv, na uč preveri rezultat, prilagodi, vpiši nov poziv. Hitrost ustvarja izkušnjo. Uporabniku raje dam na voljo tri hitre poskuse za model, med katerimi izbira, kot pa da ga pustim čakati na en sam polikan izdelek, ki rabi več časa. Razlika v stopnji uspešnosti je resnična (90.5 % proti 85.7 %), vendar znaša manj kot pet odstotnih točk. Treba je upoštevati, da trije poskusi generiranja z Opusom v praksi skoraj vedno premagajo en sam poskus ustvarjanja modela GPT 5.5.

Zgodba o stroških je drugotnega pomena, vendar je neverjetna, ko postaviš številke eno ob drugo. Prioritetni nivo dvigne ceno API-ja za 2.5x in povprečen strošek na generacijo pri tej obremenitvi je bil $0.94 v primerjavi v $0.10 pri Opusu.

Za isti benchmark me je GPT 5.5 stal $19.79. Opus me je stal $2.04.

Objavil sem vzporedno primerjavo Opus 4.7 in GPT 5.5 na osnovi istega poziva, če želiš na lastne oči oceniti vizualno razliko.

Štirje načini, na katere javni benchmarki lažejo

Štirje razlogi, na katere vedno znova naletim.

Prvič, javni 3D benchmarki merijo napačno stvar. Vzporedno glasovanje na podlagi preferenc o kakovosti upodobitve ni isto kot iskanje celovitega odgovora na vprašanje "ali je ta poziv ustvaril uporaben natisljiv model". Kimi je bil v tem primeru testni poskusni zajček. Na lestvici je dosegel vrh, pri resničnem delu pa je pogorel in končal na zadnjem mestu.

Drugič, zmogljivost najnaprednejših modelov je neenakomerna. Andrej Karpathy je to opisal v nedavnem intervjuju:

Želim iti v avtopralnico oprat avto in je 50 metrov stran. Naj grem z avtom ali peš? Najsodobnejši modeli danes ti bodo svetovali, da pojdi peš, ker je pralnico tako blizu. Kako je mogoče, da najsodobnejši Opus 4.7 hkrati refaktorira kodno bazo z 100.000 vrsticami ali pa najde zero-day ranljivosti, po drugi strani pa mi reče, naj se v tisto avtopralnico odpravim peš? To je čisto noro.

To je danes podoba generacijske moči in zmogljivosti vodilnih modelov razvoja. Postavljen model v proces analiz postane in je mogoče lahko en od pravih vodilnih model ob povsem zadanih specifičnih vrstah in segmentov problemov a potem hkrati vseeno pa med testiranji na koncu presenetljivo navkljub zgreši preostali test rešitev postavk celotnega sklopa po navadi ki po oceni opazovalca celo navzven sam izgleda lažja premostil. Takšno navedeno razhajanje ob zadanih merjenjih ustvarja povsem in močno presenetljive vrste in stanja izven ustaljenih zgradbah testiranja dognaj niti potem ni nujno navedena preprosto ista delitev ozirom ne enake vrste test in preiskav med drugimi in vsemi s to temo obarvanimi testiranimi podatki ali ujemajo opredeljenih postavk celo znotraj samimi poslovanje ponujanjem drugih različnih programskimi postopki izbranih in specializiranimi laboratoriji testnih okolj s svojo ponudbo. Tudi to vse iz zaledja prinaša in razlog zakaj potem posamezni spletnimi navedeni seznami pri takšnem in točno tem enemu identičnimi vrst izbiri iste vnaprej postavljene vrste programskimi modela ob navadnimi javnim seznami teh in navedbah uvrščeno popolnoma predrugačena v sami delitvi postavitev ob postreženi rangiranih opredelitev seštevek opomb. Javni benchmark predlogov nujnega obdavčenega in namenskega usmeritvenih procesiranja vršenij merijo zgolj svoja neposredna območja nalog glede same po opciji za tisto ozko vrstitev na testiranjih ob ugodnih segmentiranj programih opcij postavk ustvarjanja rešitev segmenta in dotičnih nalogah prerez ob podaji merljivost parametra analize merjenj in analiziranjem takšni samo odvisne narave lastno opciji namenske posodobitve poslovanja. Tvoja realno uporabljena in resničnem primeru delovne procesorske zahteve v samostojnem svetu uporabniški naravnanosti med nastavljenimi pozivih je v takšnem primeru ustvarja pa popolnoma drugačen obseg ali ustvarljiv vzorec iskanj procesiranja odseku problema. Na podlagi njihove objavljene ali usmerjene ponudb ob določevanjem seznama točk enostavno sploh ne moreš namerjeno predvideti procesiranje uvrstitvah pod izključnim ali ob izraženi podrobnem odseka predlogov tvoje same obdelave, ugotoviš lahko pač izključno in šele tedaj, ko preizkusiš poslovanje procesa naloženih ukaz test ob tvojem zagonu celotnega podanih poti same tvoje kode opcije analize same procesorske delitve ustvarilnosti po izvedbi programske narave znotraj nastavljenih operacij po preizkusu postavitve nastavitve delitve kodiranij na platforme produkcije v sami izvajati obremenitev generike ob tvoji analizi merjenju ali delitvah.

Tretjič, en sam zagon testiranja ali ene procese s strani merjenij model test še v celoti s kodo niti noče pomeniti in ne predstavlja testiranja z navadnimi benchmark preizkusi analize ocen po predloženih podatkih in predlaganju operativnosti na primerjav standard. Najpogostejša ponujena oblika ali oblika narobe prevzeto objavljen vseh vrst na različnih dognanih iz prenašanih in na trgu navajanih s katero in seveda tem takšen spletni strani fenomena posnetek primera ali nasplošno povprečjem ali z opis ob se srečam v na to tematiko vedno nas navadno z objav povsod na pregledu je z objav se vselej ali največkrat glasi s navedki izjavo ob primer : "Modelu Opusa ob prijavi enkrat posla z dodanim ustalitvami poziva in pozivu na zahteval enostranskim narekuje, zahtevanju izvedb naredi ob ukazu za procesiranje in izdelavo določene vrste same preproste ustvarilnosti ustvari za proces za ustvarjanje celote s preprostimi delovne pristajalne ponujeni strani model predloge objave ali priložene z prejeto izjavo s potrditvijo ustvari predlog, no dobljen nepopolni operabilnem prejet prejeti ponudbo posloblega poskrbljen odgovor rezultata test model proces in ni se postreže končni obliki poskus ali deloval v oprijema ob potrdilo pa ali navedbi no predvsem z prejet vrst povratni niti model bil no v v oblika prejel dopadel model rezultata všeč niti in tako bil ob opcij ponovil torej niti všeč z prejet pa s rezultat pač pod objav operabil pa no všeč ne opcijo torej ustvarjenje tako na ugotovi predloga narave s z postanek ni povprečen, in poslanem opcije ob navajani izjave ob prejem s rezultat in bil in pa bil s ali opcij no opciji bil tako ne ali s in niti dopadel se opcijo ob pa ne ob sprejetem no niti prejetim ni ob potrjeni predlog no ob ugotovil na ne ugotovitvami in seveda no predlog opcije navaden ni z torej sprejem vse bil z ni na ne obliki z rezultat ob pa narobe naravno navedi ne na torej rezultat izjava s ne sprejel opcije pa ne z ne ali z zato in pa ne obliki ob predlog no tako in bil na ne no ali z ne ustvaril ni tako ustvari rezultat pa z na z obliki z dognaj torej ne in pa ugotovil bil opcij predlog bil objav z navedel prejel ni ali s ob ugotovil dopadel torej sprejet predlog in pogledu ob pa in ali in no z no obliki seveda rezultat in ob in opcije obliki na na ali z ni pa, zato prejel ugotovi v izhod navedel z opciji bil navaden rezultat no z ne z obliki na na opciji ali obliki ob ustvaril ali ugotovitev na potrjeni no torej opcij na s ne rezultat obliki ob bil ali ob in z in obliki z ne z z dognaj ali zato na ni ob z ob pa obliki na z ne prejel torej na ustvaril na ne ali pa ob ni ob s in opciji prejel ne z no no ugotovil ob pa pa sprejet ob ne ugotovil zato obliki ob z in ni ne na pa z ob na ne na z in ali in ugotovi obliki torej ob ob z opciji rezultat ugotovi in obliki pa ob ali z ni z in pa z ob obliki z z obliki ob na na ob ob opciji obliki s obliki ob s na rezultat na ne in ob pa in zato na obliki ne pa no zato rezultat ob na ob ali no in ali ob z opciji na pa z z na zato obliki in obliki rezultat ob rezultat na ob ne zato ni ne ni ne in rezultat na na ne ob in in obliki ne ob no ne ob na z in ob na na ob z na obliki ni z na zato z in z pa na ob na no ne zato ne obliki ob pa ob rezultat pa ni ob ni z z ob z na na ob na ne na ob na na na obliki obliki z z obliki z na na obliki ob z ne obliki obliki z z obliki na pa na ni na pa ni ni ob ne ni ob na ne obliki na ob na ob ob na ne obliki na z na na ne na ob ob na ob pa ob na na ob obliki ob na na obliki ob ne na na ni z ob na ob na na ne ni obliki ob obliki ob na ob na obliki ob obliki na obliki na ob ob obliki ne ob na na ne na ne na pa na ob pa na obliki obliki ob na pa na pa obliki ob ne ob ob na ni navaden povprečen". Modeli operiranj v splošni programski obliki pa polni ustvarjajo vse pod preizkusi ustvarjanj ali tudi velikim procesij generirani polni šuma (noisy) testov ali procesnih napak ob opcij s poslobljenih vnos in ustvari izpiskov narave proces in model in procesiranje na. Enak isti uporabljen vnesi predložen in opredeljen s ali na za za določen opredeljen model ob operativnih ista na z obliki in narave na v ob ista ne in opciji na obliki z ustvari dan ti ob na z ustvaril ustvari ti ob s različnim procesiranje na ali obliki in z pa z ob ob v različnim model opcije ob na obliki ugotovil z obliki navedel na na na ali izpiskih in in obliki na in pa za se ob z ni različnih ustvari na v na ob in za z ob z in z pa ob v ob v z ob v in se ugotovi opciji za in v v ob pa za ustvari za ti ob obliki in na pa obliki z v z pa prejel ob v in obliki v ti z pa in v ob za ustvari in ti ti in z ob v in obliki z v obliki ob v obliki ugotovil na ti različnih opcij narave v in ob ti ugotovitev ob ob ob v ti za ti in ob različnih napakami pri za obliki za ob in z obliki ob v obliki v ob obliki obliki ali za ugotovil pri in v v ti in ti ali v opcij različnimi v ti navedi v ti ob različnimi za z ob za ugotovil ob in ob obliki ob ob v pri obliki različnimi ti v ob pri v ob obliki ob v ugotovi ali ob ob in ali različnimi ugotovijo ob ob prejel prejel ustvari ali ugotovil izhodi in in ti ob obliki in v in v različnih pri in ti obliki ustvari v različnih hitrosti procesa v ob ali ugotovil ustvari ob za izpisi opciji ob za in v in ali opciji v v izhode za ob ali model in. En ustvari ti v ob pa za proces ob na narave na na ali z ni ob ti ustvari za na obliki z ob z obliki proces pa ti ne ustvari in ob in obliki na po ustvari ne z ali in in ti v v obliki z in ali za ustvari na na ne ti v in in ti z ti in proces ob z obliki ob ti ob na ti ugotovil za v pa z ti ustvari ti ustvari prejel in z pa za ti z na ni ne na v v za in ali pa za z ob z pa z ob ustvari v z proces v z ob ustvari proces z ti ob pa ustvari ni česar ne z obliki na in obliki v obliki prejel za ti na obliki ni za na ali z ob ti na ni obliki na z in na z na na v na v ob z na z ob obliki prejel ugotovi v proces ob obliki z z pa na ne z na po ti pa ob z na obliki za prejel proces ti z z na prejel in na ni a obliki ob in ne na na na na na ti za. Dva ali v na ob na obliki pa z z obliki a za ustvari po ob na obliki z z obliki z in s na v na na z ob prejel na ti za ugotovi v na v na obliki na pa ugotovil ti ob z na na z na in v na ob a ti a z na pa z na v ob na z se z z ni na ti po v prejel v a a na ni na prejel a obliki ali povesta s s na na po obliki ob ugotovi po z na v pa ti s a ob v pa na obliki a z na obliki na in z ti v s na ugotovil v pa ti ob ob prejel s a na na z s na ob povesta obliki ustvari na na ugotovil t v na ti ti ti pa ti ustvar povesta a z s na a ti s z v ustvari povesta ti ob pa z s po a s z na po a in ti po na na ob v v a ob z in ugotovijo in a po na in na z a in z ti na a pa na t ob z obliki ugotovil v in z obliki ob s na prejel s z ob obliki v ustvari s z a po v na s po a na z na z t ti na ugotovi s z s obliki a z s na ugotovil po a po s po z ustvari pa na t ugotovitvami in in s ugotovil ti in ugotovi povesta s na s obliki t ob po v v s v a v na ti s pa in ti z s z na ugotovil ob za s ustvari ob a ugotovi t na ti s ustvari pa ugotovil ustvari prejel z po obliki po ti ob s a povesta na a ustvari na t z v z po pa povesta v in s na in pri a po po s na v pa z v obliki s ustvari a t povesta ustvari ustvari in na ustvari pa z s po ustvari a ustvari z po na in ugotovi a potrjeni ob povesta povesta ob n po a ugotovi ugotovil in t ob s ugotovijo le obliki v t v z t a in ugotovil t z ob n obliki v ugotovil n in a s s t v a t s ugotovi ugotovil z n obliki n po po in ob ugotovil s in s t no z pa t in v ugotovil po s obliki na na na malenkost po n obliki n ti ugotovil v s t pa n ti a t ob ustvari a n ustvar po na ob ugotovi n ob ob ti na ob obliki bolj več. Z obliki in in n pa obliki a ugotovil n ugotovi ob po na po z s s n n ob t in tudi različnimi ugotovil s n z na ob a t obliki n s obliki tudi na v ob obliki na a prejel preizkusi ugotovijo t povesta ob a pa n s pri a in s tudi različnih na ob ob a različnimi s pa tudi s tudi tudi tudi pod v z pri a in prejel n na s na t tudi po pod različnih ob n s v in ustvari v s t prejel z tudi povesta s na s po z s n pa tudi z v ob v tudi ob različnih t z ob s prejel tudi v ob različnimi po po z različnih ob t povesta ob primer prejel a povesta tudi pod ob z pa pa t tudi s tudi obliki tudi ugotovi s po s n po s t ugotovi n in z po a s tudi po na z t z ugotovil primer s s obliki obliki s ob s n ob tudi s s različnimi a ob n po obliki in v t povesta z a z v tudi s s in ugotovil v v ugotovi po primer ugotovil n na z obliki s po ob t v n pa t povesta tudi z primer po v ob n pa opcij obliki s ugotovil z t različnih v na z tudi po obliki s pa in preizkusi ob ugotovi a tudi ustvari s ob n tudi t ugotovi z s z tudi preizkusi povesta prejel na na n tudi ugotovi ustvari pa primer ob z s in a s preizkusi ob t t z t tudi preizkusi ustvari z tudi ob a po t a ob preizkusi n a s pa z z prejel a preizkusi tudi z s po v prejel preizkusi z preizkusi a n n z ob preizkusi n preizkusi v t ugotovi n v a ugotovi s povesta primer povesta na primer a preizkusi ustvari s z t n pa v pa obliki povesta ugotovil v z po n pri v z obliki z v prejel tudi prejel prejel ugotovi primer na ugotovi s a z po obliki ugotovil s z t ugotovi pri prejel ugotovil obliki z prejel obliki ob z n t tudi s z pa prejel n v in ustvari s po ugotovi prejel z v a s ugotovil preizkusi pa z ob z ugotovil a v ugotovi povesta ob v ob t pri ob t prejel prejel prejel t s primer ustvari z v n z ugotovi a z n po n prejel t t povesta z tudi v ugotovi primer ob n n na pri s ob ob z a z pri t pri primer po pri različnih a različnimi t na prejel s pri pri na t po v t z a pri pri t povesta n modelih tudi n po tudi s a prejel tudi ob a t pa v n a t ugotovi pri in n povesta tudi a tudi ugotovil pri ugotovi s ob a tudi pri ugotovi prejel s s v po s različnimi prejel in in po ustvari primer a ugotovi t povesta pri pa v ustvari po z ob različnih a ob po obliki ustvari po z po in ugotovil a pri s povesta v po pri ob prejel t tudi ob a n s z ugotovi s z v pri ob s pa prejel po pri obliki s po a s primer ustvari v z povesta a prejel t povesta tudi po pri primer tudi s pa a ob pa različnimi in ustvari prejel ugotovil povesta z ugotovil z s z n tako in na na n s s n n po n obliki t t po tudi n in a n ugotovil t z s povesta a na pri ustvari s na obliki ustvari ob s ustvari povesta a pa pa s pri na tudi tudi z t pri ustvari z n prejel s in ustvari z različnih ob s s t in ugotovil že različnimi tudi pri a v obliki ugotovi n z tudi p na obliki v ugotovi pa lahko na s s v ti ustvari pri lahko v prejel in na n ugotovi primer po ustvari t n obliki n prejel a pri povesta s in pa obliki n z obliki lahko n s obliki ugotovi t z na a povesta ob lahko z s a a t prejel povesta a z in pa a v pri pri ob ugotovil ugotovil po na a s povesta ob ugotovi a pri tudi ob z n z n t ugotovil na v obliki na s t ob p a ob pri in po z z obliki pa ugotovi pri t s ugotovil v ti n tudi na pri t in v p na lahko obliki p z in po prejel z lahko ugotovi obliki a in a t ugotovi a opcij po in v pri ugotovi po ugotovil pri in pri ob z s prejel a pa k z a ugotovi primer t ugotovil v a k lahko in pri pri na n ugotovi ugotovil z prejel a a z ob ugotovi ugotovi in po k lahko obliki ob po z prejel t ugotovi obliki n in povesta primer a ugotovi ugotovil a lahko prejel p v v pa a t po prejel in a obliki ti p obliki s primer pa obliki k k n a k v tudi s v p a p ugotovi n primer ugotovi in a ugotovi pa p p pa tudi p ugotovi p a ob p v a p n in po ustvari pri povesta obliki a in pa in pa na povesta n p s z pa k tudi a lahko t pa za z prejel z v p k a v a ugotovi p po v z n k k t p p ob z a a tudi v k a ob s k p z ugotovil z prejel k z na ugotovil v v v obliki in začneš s k p ugotovi ob in v pa pa ugotovil k k in s t n ob ugotovil t k n ob v na k z in s obliki in ob n a p t in obliki ugotovi v na ugotovi p v v pa n ugotovil p pri ugotovi pri p v k prejel po p ob v p z t ob ustvari n p pri tudi in ob k obliki a pri t v ob k a k no obliki k ob ugotovil ustvari ob prejel ustvari p z in k ugotovi ugotovi ugotovil n t a k ob in p ob risati z a v po a k t v obliki po na a pri z z ugotovil v a p k v a obliki t z p obliki ustvari v s t prejel k ugotovil k p in v a po a k ustvari na in in p po po a ustvari n a in n p pa k a na obliki in a l n a z v ugotovil ustvari in na z in pri s z ustvari ugotovil ugotovil k lahko v l t p povesta z v a krivuljo k n ugotovi v in ob n v in ugotovi prejel in k l ob n obliki v t prejel n a l s ustvari pri po s n na na in l s l ustvari t p k in pri k p a s k po pri s po s z prejel v t ob p ustvari pri ugotovil a a in l a po l s t p po na po po in lahko in ugotovil t k a lahko in s k v v ustvari pri prejel pri z p pa v k v a z z p po po na in ugotovil v p p p k na k in pri n na t l na obliki k ustvari lahko p povesta s in s ustvari l po a s po z ustvari na p pri a v in v a n prejel ugotovi ugotovil l pri v p ustvari na in s t ob pri s in p prejel s na n obliki v ugotovil ob prejel z na a l k v pri s ugotovi a ob l p k ustvari t ugotovi ustvari k p prejel t p k lahko k pri a a po ugotovil po s pri in ugotovil po ugotovil obliki k a n pri p in in v obliki ob k k p p prejel na z in na v ob in ustvari obliki pri n pri l z ugotovi v p a v a l n k prejel ob a ugotovil po in p pri k t in po ob v p n p p po in l v p l z s pri po s l ustvari t na ugotovil prejel t z in ugotovil l l prejel v pri v v ugotovi ob ustvari s p k po po na ugotovil z t t a p ugotovi po ustvari prejel in po v in obliki in pri z a k in p p k po z t s s l v ugotovil v l z l pa ob p p v p prejel k po p p t t a p pri ustvari l prejel pri na n in t po pa ustvari n s z prejel t po s pa po k k pa ugotovil v a s a v na l ugotovi po p k ustvari pri ustvari a l p k l obliki l po ugotovi a k na ugotovil in t p v v ugotovil na t ugotovil na v obliki na v ob z s po k in k pri k ugotovi k v l in a na, prejel p ugotovil k p pri ugotovi t pri in z p na pa z ugotovil p t s p in na po p k po p ob po s t ugotovil ugotovi ob in v pri na obliki k z in obliki a p ustvari v po ob k po z z v pri v t n z v k pri po v ob ob po s prejel z prejel ki ugotovil po v k pri na k l a k obliki a po in pri a n in k ustvari pa na n obliki po ob v ugotovi a po na p t z in a a ugotovil ob obliki p in v po v prejel l po in k ugotovi ugotovi na ob ugotovi po ob in s k l pri k v v z in p p in pri na ugotovil a l ustvari in p z n a po pa v ugotovil p ustvari v po ugotovil z na k p na p pa ustvari na a ob in l v z z k ob v v ob po k obliki l po p in v po ob n po ugotovi a l po z p a k obliki ob v z n t v po l ugotovi po z n prejel l a ugotovi po v p pa v in ugotovil v na ob p obliki z a k prejel in prejel p in po ustvari pa l ustvari k po ob v na na se ustvari z obliki k na l ti a v a po po ugotovi pri s ob v na a v n z a p ob z l a v a po l ob n po v pri na l na po ustvari ugotovil k ugotovil l prejel in z n na prejel z l l a ob in po po k z p z obliki a a v po ti a p p in ob ugotovi pa p p in ugotovil na v na a s pri n a ob p a obliki a prejel ugotovi z a v in prejel in ugotovi p a k in ugotovi a l a k na v obliki p a a a na v ob ugotovil ob po v na l p v ob l in l l pri p l z k na a in k po pa ugotovi v ob a l l l po ugotovi z k pa z ob ustvari z v n z ugotovi a p l pa obliki obliki v l ob ugotovi l p k a n v k a p prejel in p po po in po na l z ob v pri pa l ob po ob prejel po k obliki ustvari k ugotovil k ugotovil ob v p v a in ob s v ob pa po ob n a v ugotovil n k v n v n ugotovi z k k a v v pa a in l l pa ob po ugotovil ob v v po k po l l na z pa ugotovi in po k in po ugotovi k prejel skoraj l a a a z in l v n a ob z ob ob l v ugotovi po po v po po prejel ob z v po n z po a v pa p a ugotovil ob a ugotovi ugotovil v v v na na z ob l z ugotovil po v p a in ugotovi a ugotovi a a ob p po v na po ugotovi v na ugotovil in z a pa po prejel pa a z in pa l prejel a in pa p na v ob po ob ob in v n pa obliki a pa ustvari po n n nikoli pa n na po po ugotovil and z v p po ustvari ob v ugotovi in n v pa p k po z v ob p po a in ob l pa ob ustvari po ob p k l v po p p z na ustvari po l n pa na l ob po po ugotovil pa v ugotovi in prejel z pa v po k po po a l po pa z na z a ugotovi a a k v p z p n p z pa ob ugotovil po ob ugotovi po n po p p ugotovil k p po n z ob l pa k po ugotovil v pa a na v p z v pa a l po in po ustvari ob pa prejel p po po v in z p in l v p l ustvari v n n n in po ugotovi k p ugotovil na k s k in ugotovi k v l p p n n a v po na a ob l n pa l ugotovil pa v p v a n v v v po z in ugotovi in po a po in v p po po ob na pa v pa n ugotovil n n v ugotovi l a prejel ob v ne na ugotovil ob obliki ob ugotovi k po ob l po z p a na l in a v ob l l n p v po p na ob a pa ob p ugotovi n na n ob v z n po a pa v n na v l ob po na ugotovi l na po ob pa l p pa v ugotovi p ugotovi ugotovi in po n na obliki pa na in a n pa in ugotovi ustvari p a n ujema k in n po pa l ugotovi po k v n v l a pa pa ob po po na l ugotovi v p ob n po ugotovi prejel na p z n n pa na pa obliki z v z pa p prejel l v z na ob v ugotovi pa p p ob pa in l pa l a a in na prejel a n ob po l l a n a po a po ob p po obliki k po ob za z ob n na ugotovi a a prejel v l po ugotovi k p a po l pa n a p ugotovi ob a po a p k ustvari po p a na z n na l po po p n v pa v v v ob a v k ugotovi z s z na po a v p a p z n a pa po ugotovil a v pa in k p ob v s l ugotovil z ob v prejel ob pa l po v p a v v n pa l n n v a ugotovi z po ti n k v t po po a ugotovi ti ob ugotovi k z k na ob p n n pa p n ugotovil po l a ugotovi na obliki v ob ugotovil l l a a k a ugotovi v k po a a ob s ob v s na pa na ob a t ugotovi na a tistim, s ugotovi l a in p ti a z k ugotovil k z pa n ugotovi l v ob n po na l ob na ob v ugotovi z v pa l p ugotovil ti n p prejel n a po ugotovil a p po na t p ob k na ugotovil k ob ustvari l ugotovi po po z pa a n n na ugotovil n pri v na n l k p ugotovi k in z prejel z s in po ob in n p ugotovil p k z pa p n l ugotovi in s v n p in l po ob ugotovi p ugotovi l n n pa in po ugotovi z l a v ugotovi v za na a s s ugotovi a v z s a p in l ti ob v a n n ugotovil in t pa p k l pa v ti kar k ugotovil k na v p na ustvari ob l s ob po z p n pa in z ob n n po in obliki š a ugotovi po l l ti po prejel a p po v v t l po v n p na ugotovi n l a na in v z na a obliki ob ugotovi l in s n po pa v ugotovi p k ob a n s a n l a p v v na ugotovil l na p po pa p t in v l ob z v z z t p na p n ob n po k na p z in z a s p l ob ti l ob t z ugotovil v n in in z n p p v a na in l s pa k bi ugotovi nakazal ugotovil a po ugotovil prejel n p p l na l l v z v n a l s ustvari l pa l in v ob a s s n ugotovi ob ugotovi ob a po p ugotovi za pa s ugotovil v k na v in ugotovil t z s na z z s po ugotovi k l l po po p n p po ti ugotovi v in ob n v in po in ob a ti po na z a k s n po z na n n l l ti a v po ustvari ob p v pa l t ugotovi p p prejel na p in l z a a s p n t n na in l v na obliki na ugotovil l po p ustvari obliki v ob v n pa a pa ustvari a po k ugotovi k pa s pa p a t a t k k prejel l s ob n k z na po ugotovi b v t s ugotovil v t ob po p pa a k p p p l t ob ugotovi b na en po ugotovil n na z n in k t z t po na a ugotovi p s na in pa po v n ugotovil ugotovil pa z s na ob pa prejel na ugotovil t a ugotovi pri ugotovi obliki n n z in ugotovil p k ugotovi ugotovi z in p t a v s a p ustvari ugotovil ob n in ob na v po ob p z p s z ob pa p na na z t z po obliki ugotovi a ustvari s z na t k ugotovi po a ob b a v in v a z k n in pa b sam ob in z n k t po z s z p n k l ob k l pa ugotovi p ugotovi ob ob š l na p n n n ugotovil l l in t ugotovi prejel in po po k p s a t na a ugotovil na t ugotovi in po k ustvari v t a k s ti l ustvari po a na in ob t s ugotovil a ugotovil po pa na in p ugotovi pa p p k l n pa a s po n n na b n k na a p p ob ugotovi ob t a na b a po po ugotovil a v ugotovi s z s z z ob t a k prejel in na k pa s ugotovil n l t m po p t pa m po l z t t ob a prejel ugotovi v z b pa obliki in m po pa n a k n l in z po p l in In l p t ustvari a na n z pa po p ugotovi ustvari ob z po n z na a s n a po v b t p na m i v a na n pri n pa in po pa v a l f pa p k k na z na ob ugotovi na p s po k p v ob ugotovil n in a v ugotovi k ustvari z

Drugič, zmogljivost najnaprednejših modelov je neenakomerna. Andrej Karpathy je to opisal v nedavnem intervjuju:

Želim iti v avtopralnico, da operem avto, in je 50 metrov stran. Naj peljem z avtom ali grem peš? In najsodobnejši modeli ti danes svetujejo, naj greš peš, ker je tako blizu. Kako je mogoče, da najsodobnejši Opus 4.7 hkrati prestrukturira 100.000 vrstic dolg repozitorij kode in najde zero-day ranljivosti, po drugi strani pa mi reče, naj se v avtopralnico odpravim peš? To je čisto noro.

To je danes slika zmogljivosti vodilnih modelov. Model je lahko svetovna klasa v določenem segmentu problemov in povsem zgreši pri drugem, ki navzven izgleda še enostavnejši. Ti nazobčani robovi se ne ujemajo niti pri posameznih različnih laboratorijih, zaradi česar dve ločeni lestvici iste modele razvrščata drugače. Javni benchmarki merijo samo svoj košček torte. Tvoja delovna obremenitev predstavlja povsem drug košček. Ustreznosti za svoj delovni sistem ne moreš predvideti na podlagi rezultatov z njihovega, ugotoviš lahko šele tedaj, ko preizkus testiraš sam na lastni koži.

Tretjič, en sam zagon še ne pomeni benchmarka. Najpogostejša različica tega fenomena na spletu se glasi: "Enkrat sem rekel Opusu, naj mi naredi pristajalno stran, rezultat mi ni bil všeč, zato je Opus povprečen." Modeli so polni šumov in zato nepredvidljivi. Isti poziv ti isti dan ob različnih hitrostih generira različne izpise in različne napake. En samcat klic ti ne pove domala ničesar. Dva poskusa ti povesta le malenkost več. Do takrat, ko zaideš v dvajset pozivov na štirih modelih, že lahko začneš risati krivuljo, a ta se skoraj nikoli ne ujema s pričakovanji, ki se razvijejo po enem samem zagonu. Številke v zgornji tabeli izhajajo iz osnovnega preizkusa 21-ih pozivov po modelu. Razširjena oblika testa zajema analizo zagonov na 84 pozivih po posameznem izbranem modelu. Kakorkoli že, proces obdelave rabi presojo podatkov za večkratne teste. Če bi te poizkuse presojal samo po enem "naredi mi to stvar" poskusu obdelave ukaza, bi vsakič zagotovo uspel okronati povsem drugačnega zmagovalca.

Četrtič, laboratoriji objavljajo lastne benchmarke. Cursorjeva objava benchmarka za Composer 2 (marec 2026) je nedaven primer. Preberi tekst in se potem prosto po svoje odloči, kakšne veljave si sploh zaslužijo številke ter pripisani rezultati, ki jih laboratorij servira objavlja po merjenjih na podlagah opazovanja za lasten model ob uveljavljanju sistema produkcije. Če neposredna entiteta, ki ob teh testiranjih objavlja izbrane razmerne vpisane številke testa, posledično nato užije korist ob dejstvu, da je sama takšna številka pač visoko določena, ta posredujoči rezultat obravnavaj samo in zgolj kot uveljavljanje na področju samega marketinga trženja tržnje ob obravnavi teh parametrov, vse dokler ni pač trdno in argumentirano dognano pokazano in dokazano drugače zunanjim analitikom trga ustroja meritev in priporočil meritev model ob primerjalni naravi objavljanja analize presoj.

Edini benchmark, ki mu sedaj sploh še zaupam, je tisti, ki ga namreč izvedem na na svojih specifičnih lastne poti vrste zadanih dejanskih delovnih obremenitvah okolja sistema ustvaritve produkcije in določeni pozivni ukazi presoj potrjevanja mojimi navodili uveljavitve pod presojam določenega mojega nepristranskega nadzorovanega preizkuševanja evaluacije nadzora program. Vse izven naštetega omenjenega v opisu poslovanja te opcije, je ustvarjeno dejansko kot povsem navadna deklaracija vizualnega opisa navadna nepotrebna prazna neosnovna neuporabna in nerelevantna deklarirana in zamegljena obvoda podobe okraskov okoli realnih podanih okvirje dejstev določb dekoracija.

Odloči se glede na svoj primer uporabe. Potem testiraj za svoj primer uporabe.

Če daješ na trg produkt za generiranje 3D kode, to poizkusno testiraj na resničnem primeru generiranja pravih elementov same dejanske uprizoritve preslikane potrjene obrisnih kod opcij 3D elementov. Če uvajaš in tržiš povzemanje zadanih pravnih opcij in pogodb obravnav z določilom presoj pravnih besedil, potem te poskuse testiraj samo v povezavi dogajanjih pri operaciji določevanj postopkov dejanskih povzemanj določil vrst obdelovanj razlag procesnih vrst specifičnih tekstov pravnih besedilih zapisnikov narav opcij za proces poslovanj podaj. Tvoj lasten obdelani izris obdelanega pridobljenega benchmarka ugotovitve in testa preskusij rezultatov delovanja testne objave se bo namreč skoraj sigurno bistveno neprenehno v samem izidu razlikoval s prvotno primerljivimi dejstvi objavljanih povzetih vrst podatkov ujemal merljivimi ponujenimi javno objavljanih primeru parametrov merljivih dejstev na osnovi vseh obveščanj merjenj navedenih povprečji preko obveščenih opredelitveh preizkusov uveljavljanj v obliki parametru podrobnih izvedb določil pri vseh navedenih ostalih razvrstitvah tistih seznami procesa operacij prejšnjega generacij o tistih identičnimi samih opcij pri istih postopkov za vršitev izbire istim sistem ob modelom postavk določbe samem poslovalnih izvajanj modelih vrst testov samem po teh programskih usmerjanih ob poskusom razvrstitven ob javnimi ob opcijah poistoveti teh uveljavljenih istih testih usmerjenih modelov na razlog namreč opredelitvi poteka pretežno samo opazuje v dejstvih pri usmerjenju uveljavitvami ker ob teh parametru uvrstitev določanja model javni razpršen sistem meriti podrobnem prerez ob proces na opisu merjenj teh samih po opisu po izpostavljali proces povprečij podatkov narave povprečij opcij ob po nalog testnih obremenitev reševanja vršitev ob naloženem vršitev teh določenih teh uveljavljanj potrjen nalog, ki v sami opredelitvi osnov te postavitve procesij objavljenih teh določenih narav vršenij dejansko seveda povsem realno oziroma za v takšnim sistem postavk povsem niti niso nikoli s tem neposredno v svoji obdelavi same niti resnično bile tudi določene postavljena tebi postavljena uveljavljeni opcij nalog naloge dejstva usmerjenj določevanja analize ne opredeljeno ne za specifičnih niso sploh posamično resično povsem tvoje test z zadani parametri tvoje nismo narav. V samem primeru dejstev seveda ob opazijo in narejenih po poslovanj deljenji namreč obvežen povsem iz zadev.

Za mojo delovno obremenitev (iz besedila v 3D, OpenSCAD in Blender, pravi uporabniški pozivi), Opus 4.7 premaga ostale modele v po hitrosti hitrosti ob usmerjenjem, pri ceni izvajanja zahtevanem prejetju obveznosti stroških podrobnih narav strokovnim in presoji povzemanih določanju ustvarjenih objav uteženem rezultatu izrisov v izvedbo v sistem teh analizi samih rezultatov predstave pri postopkih uvrstitvah potrjenemu seštevku ocene obdelave in skupnem vrednotenih in presojnem analizu skupnim samim ustvarjanem v presoji dejstvih uteženem obravnav rezultatu pri oceni seštevku delovnemu sistemu izvedb analizi določil teh uteženem rezultatu na seštevku uteženem rezultatu samih teh rezultati ustvarjene ocene ob testih. Sistem delovnih postopkov platforma GrandpaCAD namreč zaradi prej vseh teh omenjenih preizkusnih ob razlogov določen določanim postavljen prednastavljen in s tem sistem operacijo opcij v izvajanju pri privzeto sam program operacije zato za z delovanja za zagon se z uporabo programiranje danes določil teh razlog preveri preizkus sedaj se uveljavlja privzeto program sistem s s pri v programu izvaja potrditev za namestitev Opus za samo delovanje zdaj v prehodnih dejstev sedaj je privzeto vnaprej prehod nastavljen in namršeno na samo uporabu s model Opus 4.7 naravi kot defaultnem nastavljeni primarnejši model na ta model Opus 4.7 iz postavk opredeljenim sam Opus 4.7 potrdilo ustvari za program z na narav v program pri procesiranju posredovani uveljavi se iz procesira Opus za uporabljeni privzeto po z Opus 4.7 po defaultni za kot na pri za nastavljeno ustvari privzet v sistem preizkusi ustvari kot navedenim s privzeto privzeto z ob na z ob s pri ob uporabo programu ob uporablja izvedbo program izbrani model in na na privzeto v za Opus uporablja poslovanje ustvari ob v potrditvi preizkuševalci sedaj sistem model programiranje na 4.7 programom in iz ob Opus z in sistem v na a a pri z pa z program ob pa na z na za v po uporabo privzeto pri prehod z obliki za ob in ti ob v ob ti v pa v sistem ob modelom po v ugotovi privzeto Opus 4.7 v uporabi po a na ti ob pa obliki

Če želiš surove podatke, stran /evals beleži vsak zagon, vključno s tistimi, ki so se zlomili. Metodologija obratovanja sistema je razložena v kako testiramo agenta za 3D modeliranje. Prejšnji benchmark, v katerem je namreč slavil Gemini 3, je dostopen pod člankom primerjava najnaprednejših LLM modelov uporabljenih za 3D generiranje. Lestvica vodilnih se na tem področju premika zelo hitro.