Primerjava vrhunskih jezikovnih modelov za 3D generiranje

Zadnji meseci so bili pri jezikovnih modelih razburljivi. Izšli so GPT-5 (7. avgusta), GPT-5.1 (12. novembra) in nazadnje Gemini 3 (19. novembra).

Za GrandpaCAD, moje orodje za pretvorbo besedila v 3D, je to pomembno. Ne zanimajo me primerjalni testi o poeziji ali halucinacijah. Zanima me ena sama stvar: zna model napisati kodo, ki ustvari natisljiv 3D predmet?

Da bi to izvedel, sem za vsak model pognal 84 generiranj.

Da si predstavljate obseg: v prvih 24 urah po izidu sem samo na Geminiju 3 porabil 6 milijonov žetonov. To ni hiter preizkus na občutek. Mislim, da je moj pristop precej dobro podatkovno podprt.

Zasnova preizkusa

Uporabil sem svoj običajni nabor evalvacij. To pomeni 27 različnih pozivov, od preprostega »nizkopoligonsko drevo« do zahtevnega »zmaj, natisljiv brez podpor«. Vsak poziv poženem trikrat, da se nihanje med zagoni zgladi.

V tem ogrodju je doslej steklo 29 celotnih evalvacijskih zagonov, iz katerih je nastalo 1.050 3D modelov. Za ta nabor podatkov se je nabralo 2.664 minut (več kot 44 ur) generiranja in 186,26 $ stroškov API-ja.

Surove podatke si lahko ogledate na strani /evals. Upoštevajte, da je ta stran živ dokument, zato se pretekli zagoni morda ne ujemajo povsem, če sem ogrodje vmes prilagodil.

Podatki

Takole se odrežejo.

Gemini 3 je za mojo rabo jasen zmagovalec. Ima najvišji uteženi rezultat (0,555) in najvišjo skladnost s pozivom (0,57). Ključno je, da je tudi najcenejši (12,05 $ skupaj) in zelo hiter.

GPT-5.1 je bil presenečenje. Neverjetno hiter je (1 min 12 s v povprečju), a je strošek (22,13 $ skupaj) napihnjen, ker sem ta preizkus pognal z OpenAI-jevo nastavitvijo service_tier: priority. Ta pri tem modelu podvoji ceno za skromnih 20–30 % pospeška. Tudi brez prioritete je hiter, a kakovost je padla – uspešnih je bilo le 67,86 % generiranj. Za zdaj hitrost ne odtehta izgube zanesljivosti.

GPT-5 ostaja trdna, čeprav počasna izbira. Pravzaprav je imel najvišji delež uspehov (80,95 %), a v povprečju potrebuje več kot 3 minute na generiranje (pognan brez prioritetne stopnje).

Gemini 3: ustvarjalnost in inteligenca

Številke ne povedo vsega. Gemini 3 je drugačen. Ima svoje muhe.

Ko sem prejšnje modele prosil za »3D lonček za zlaganje«, sem običajno dobil valj z robom. Uporabno, a dolgočasno. Gemini 3 je naredil nekaj resnično ustvarjalnega.

Bistveno boljši občutek ima tudi za prostorsko razmišljanje. Modele pogosto preizkusim s tem: »Naredi preprosto stojalo za telefon, ki lahko drži telefon pokončno in ležeče.«

Večina modelov se muči s tem, kam glede na težišče telefona postaviti utor ali naslon. Gemini 3 je razmerja in postavitev zadel takoj. Čeprav evalvacijski zagoni niso pokazali najboljših številk, sem z njim videl boljše izdelke kot kdaj koli s katerim koli drugim modelom.

Moje dekle, ki te generacije potrpežljivo preizkuša z mano (in ob tem običajno izgubi živce), je razliko res opazilo.

»Vito, poglej to, res dobro mu je uspelo!«

To je prvič, da jo je izboljšava navdušila. Pri tem projektu je na prvem mestu funkcija. Estetika je prijeten dodatek, a če se del ne prilega ali se ne natisne, je neuporaben. Videti je, da Gemini 3 bolje razume odtenke zahteve.

Vizualna primerjava

Tukaj je mreža nekaterih rezultatov po modelih.

Kliknite sliko, če si želite model ogledati od blizu

Prompt	Gemini 3	GPT 5.1	GPT 5
Make a chess queen piece
Make a beautiful dog tag with configurable name and phone number on it
Make a low-poly tree with a stable, flat base suitable for tabletop models.
Make a simple smartphone stand that can hold a phone vertically and horizontally.
Make a miniature coffee cup with handle and hollow interior, printable without supports.
Make a small dragon figurine, about 8 cm tall, standing on a 3 cm circular base, with detailed wings and scales. Ensure all parts are printable without overhangs exceeding 45°, and hollow the interior to reduce material usage.
Make a bird house out of 4 pieces: 1. The roof. 2. The walls with base. 3. The perch. 4. The removable tray that slides in and out from the bottom of the house to remove the trash. The roof should be attached with pegs.
Make a chess Knight Piece
Make a cookie cutter set (tree, bell, snowflake, star)		Failed

Ni vse popolno. Pri vseh modelih je precej neuspehov.

Sodba

Privzeti model preklapljam na Gemini 3. Zaradi kombinacije visoke skladnosti, nizke cene in »zdravorazumskega« prostorskega razmišljanja je trenutno najboljša izbira za 3D generiranje.

Bi radi videli še več takih primerjav za 3D generiranje?

Bi radi preizkusili generiranje 3D modelov?