Zakaj Gemini 3.7 Flash poganjamo na srednji zahtevnosti, ne visoki

Google je Gemini 3.7 Flash izdal včeraj. V uri sem ga imel že vklopljenega na GrandpaCAD, sama zamenjava pa je bila dolgočasna: ceneje od tega, kar smo poganjali prej, hitro in v prvem poskusu vrne model, ki ga je mogoče natisniti. Zanimiv je bil majhen poskus, ki bi ga skoraj preskočil — koliko naj model sploh razmišlja.

Na kratko: več razmišljanja je popravilo težavo, ki smo jo že rešili, in nam za to zaračunalo. Ostali smo na srednji.

Zamenjava

3.7 Flash je zdaj privzeti model tako za starejši generator kot za agentski klepet. Uvodna cena je $0.75 na milijon vhodnih žetonov in $3.75 na milijon izhodnih, precej pod vrhunskimi modeli, na katere smo se doslej naslanjali. Pri delu z besedilom v 3D, kjer ljudje iterirajo (napišeš, pogledaš, popraviš, spet napišeš), poceni in hiter model, ki vrne veljaven del, premaga počasnega in dragega, ki je za spoznanje lepši. Isti argument kot takrat, ko sem vam rekel, preizkusite na svojem delu, ne na javnih lestvicah — le da tokrat velja za nov model.

Poskus z razmišljanjem

Pri Geminiju lahko nastaviš, koliko naj razmišlja: nizko, srednje, visoko. Naš standardni nabor testov sem pognal dvakrat, enkrat na srednji in enkrat na visoki zahtevnosti, vse ostalo enako. 23 pozivov, en poskus na vsakega.

Na eni osi je visoko razmišljanje naredilo točno to, kar bi si želel. Napake v kodi v prvem poskusu so padle z 10 na 3. Zapletene večkoračne zahteve, ki model običajno spravijo v težave (stojalo za telefon, ki se je na srednji prebijalo skozi tri polomljene poskuse), so tokrat prišle čiste že v prvem prehodu.

In je vseeno izgubilo.

Zakaj manj napak ni zmagalo

Bistvo teh napak v kodi je tole: uporabnik jih nikoli ne vidi. Ko generirana koda sproži napako, jo agent vrne modelu in ta poskusi znova znotraj istega koraka, še preden karkoli pride na tvoj zaslon. Oba zagona sta za vseh 23 pozivov vrnila dokončan model. Torej »manj napak v prvem poskusu« meri predvsem delo, ki se dogaja v zakulisju.

Do tebe pride dokončan del, čakanje in (pri nas) račun. Pri vseh treh je bilo visoko razmišljanje slabše. Model je stal približno 35% več in trajal približno 15% dlje. Ko sem rezultate ocenil na roko, so bili deli z visokim razmišljanjem po skladnosti celo malenkost slabši, ne boljši. Pri tako majhnem vzorcu bi skladnost razglasil za neodločeno, a ravno to je poanta: ni bilo bolje. Za več razmišljanja sem plačal več in dobil enake modele, le počasneje.

(Ne upoštevaj morebitnega sklepa, da je »visoka slabše prestala preverbe«. Edine preverbe, ki jih ni prestala, so bile 60-sekundni časovnik, ki ga je zrušilo daljše razmišljanje. Nobena ni bila o pravilnosti.)

Prava lekcija

To se učim vedno znova. Pred nekaj meseci me je nadgradnja na Gemini 3.1 naučila, da srednje razmišljanje po deležu napak premaga visoko. Tokrat je visoko po deležu napak zmagalo in vseeno izgubilo. Nasproten mehanizem, isti sklep: vmesna meritev je lagala o izdelku.

Če model uglašuješ za nekaj resničnega, meri tisto, kar uporabnik dejansko dobi. Ne ponovitev, ne števila žetonov, ne sledi razmišljanja. Pri nas je to model, ki ga je mogoče natisniti, koliko časa si čakal in kako blizu je pristal. Zdelo se je, da bi moral delež napak v prvem poskusu nekaj šteti. Za cevovod, ki svoje napake že sam počisti, ni.

Poštene ograde

To je bila naša poceni testna zanka: en poskus na poziv, brez sodnika LLM, skladnost sem ocenil na oko sam. Je usmerjevalno branje, ne razsodba. En zagon na poziv pomeni, da je nekaj teh številk šum, in ne bom se pretvarjal, da je 0.80 proti 0.72 čist rezultat. Celoten nabor požene tri poskuse s samodejnimi sodniki, in če kaj od tega prevrne, bom o tem pisal. Vsak zagon, tudi polomljeni, je zabeležen na strani z evalvacijami.

Za zdaj: Gemini 3.7 Flash, srednje razmišljanje, v živo na GrandpaCAD.