Warum der beste Benchmark oft das falsche Modell empfiehlt

Diese Woche kam ein neues Modell mit Frühzugang, noch vor dem offiziellen Rollout. In der aggregierten Rangliste steht es auf Platz 5, gleichauf mit seinem Vorgänger. In der Vorführung, die ich gesehen habe, fühlte sich das nicht wie Platz 5 an. Das fühlte sich wie ein Sprung an.

Das ist die Falle, in die gerade ein halber Markt läuft. Die Zahl sagt das eine, die Arbeit sagt das andere, und die meisten glauben der Zahl, weil sie eine Zahl ist.

Die Tabelle ist ein Durchschnitt, dein Job ist es nicht

Nimm ein aktuelles Modell aus der Spitzengruppe. Auf einem breiten Coding-Benchmark liegt es bei 74,1 Prozent. Ein Konkurrenzmodell liegt bei 75,4 Prozent. In der Aggregat-Rangliste landet unser Modell auf Platz 5, exakt auf Höhe seines eigenen Vorgängers.

Jetzt dasselbe Modell auf einem Design- und Grafik-Test. Platz 1. Vor dem Konkurrenten, vor zwei schnellen Varianten anderer Anbieter. Der KI-Richter, der die Ergebnisse bewertet, gibt dem zweitplatzierten Modell in einer einzelnen Aufgabe 5,7 von möglichen Punkten, und wer sich das visuelle Ergebnis daneben ansieht, sieht sofort: Das ist deutlich schwächer.

Zwei Skalen, zwei völlig verschiedene Antworten auf die Frage "ist das gut?".

Ein Aggregat-Ranking mittelt das weg. Es nimmt Code, Weltwissen, Design, Mathematik, wirft alles in einen Topf und rührt einen Platz daraus. Der Platz ist mathematisch korrekt und für deine Entscheidung fast wertlos, weil du nie den Durchschnitt aller Aufgaben machst. Du machst deine.

Wenn du den ganzen Tag Grafik und Interfaces baust, ist ein Modell auf Platz 1 im Design-Test das richtige, auch wenn es im Gesamt-Aggregat auf Platz 5 dümpelt. Wenn du reine Coding-Pipelines fährst, ist die Rechnung eine andere. Der Durchschnitt weiß nichts von deinem Job.

Warum "das beste Modell" die falsche Frage ist

Die naheliegende Lösung klingt vernünftig: nimm das Modell, das oben steht. Spart Denkarbeit.

Sie reicht aus zwei Gründen nicht.

Erstens sättigen die guten Benchmarks aus. Zwei der bekannten Test-Suites, eine für Weltwissen auf Doktoratsniveau, eine für höhere Mathematik, gelten inzwischen als gesättigt. Alle Top-Modelle liegen so nah beieinander, dass die Zahl nicht mehr trennt. Ein Wert von 99 gegen 98 sagt dir über den Alltagsnutzen genau nichts. Bei einem anderen Test, ARC AGI 3, springt ein Modell von 7,8 auf 99,9 Prozent, während der durchschnittliche menschliche Tester bei 48 Prozent liegt. Übermenschlich, sauber. Und trotzdem hilft dir die Zahl bei der Frage, ob das Ding deinen Blender bedienen kann, kein Stück.

Zweitens misst kein Benchmark die Fähigkeit, die im Moment den echten Unterschied macht: dass ein Modell eigenständig fremde Software auf deinem Rechner steuert. Das taucht in keiner Rangliste auf, weil es sich schlecht in eine Prozentzahl gießen lässt. Genau dort liegt aber der praktische Sprung.

Was neu ist, wenn man es benutzt

Der Test, an dem sich Fortschritt sauber festmachen lässt, ist immer derselbe: ein bestimmtes kleines Spiel als Klon nachbauen lassen. Vor ein paar Modellgenerationen dauerte das eineinhalb bis zwei Stunden. Zuletzt: acht Minuten. Ein Teil davon ist wahrscheinlich geringere Serverlast durch limitierten Zugang und nicht reine Modellstärke. Selbst wenn man das rausrechnet, bleibt ein deutlicher Unterschied.

Der eigentliche Moment kam woanders. Das Modell übernahm die Kontrolle über Blender, eine 3D-Software, die der Mensch davor nicht bedienen konnte. Es baute eine humanoide Wolfsfigur, in acht Minuten. Dann riggte es die Figur mit 50 Knochen und legte eine acht Sekunden lange Lauf-Animation drüber, in sechs Minuten. Danach übergab es das Ganze an die Unreal Engine und baute daraus eine begehbare Waldwelt mit dem Wolf als spielbarem Charakter, in 35 Minuten.

Kein Mensch hat dabei eines dieser Programme bedient. Ich habe zugesehen, mit laufender Uhr.

Das ist der Punkt, den keine Tabelle fängt. Der Wert liegt nicht darin, dass das Modell in einem Test um zwei Prozent besser wurde. Er liegt darin, dass eine Fähigkeit von "geht nicht" auf "geht" gesprungen ist. Und diese Sprünge findest du nur, wenn du das Modell an deine echte Aufgabe lässt, nicht an die Aufgabe, die ein Benchmark-Team sich ausgedacht hat.

So testest du ein neues Modell, bevor du es freigibst

Dafür braucht es einen festen Ablauf. Kein Benchmark-Lesen, sondern eine halbe Stunde ehrliche Arbeit mit dem Modell an Sachen, die du im Alltag machst.

Modell-Aufnahmeprüfung (30 Minuten, vor jeder Freigabe)

1. Deine drei häufigsten realen Aufgaben aufschreiben.
 Nicht "kann es programmieren", sondern
 "baut es mir die Resend-Mail-Pipeline, die ich
 von Hand gebaut habe".

2. Eine Standard-Aufgabe definieren, die du bei
 JEDEM neuen Modell wiederholst. Immer dieselbe.
 Sie ist dein Lineal über Generationen hinweg.

3. Zeit stoppen. Rohe Wanduhr-Zeit von Prompt bis
 fertigem, benutzbarem Ergebnis. Nicht die Zeit,
 die das Modell "denkt".

4. Kosten mitschreiben. Token-Zahl der Aufgabe notieren
 und in Geld umrechnen. Ein einzelnes Testdokument
 kostete zuletzt 1,94 Dollar bei 63.858 Tokens.
 Das summiert sich schneller als gedacht.

5. Die Fähigkeit prüfen, die KEIN Benchmark misst:
 Kann es eigenständig ein fremdes Tool bedienen,
 das du selbst nicht beherrschst? Das ist der Test,
 der über "inkrementell" oder "Sprung" entscheidet.

6. Erst danach in eine Rangliste schauen. Als
 Gegenprobe, nicht als Grundlage.

Der wichtige Schritt ist der zweite. Eine Aufgabe, die du bei jedem Modell wiederholst, ist mehr wert als jede fremde Tabelle, weil sie deinen Fortschritt in deiner Sprache misst. Der Spiel-Klon von oben ist so ein Lineal. Bau dir dein eigenes.

Wo die Sache überschätzt wird

Jetzt die Gegenrede, und die gehört dazu, sonst ist das hier nur Begeisterung.

Der Geschwindigkeitsvorteil von oben ist mit Vorsicht zu genießen. Acht Minuten statt zwei Stunden klingt nach Revolution, aber ein Teil davon ist schlicht ein leerer Server bei limitiertem Frühzugang. Sobald alle drauf sind, sieht die Uhr anders aus. Wer seine Kalkulation auf die Preview-Geschwindigkeit stützt, rechnet sich reich.

Zweitens die Kosten. Das neue Modell kostet pro Aufgabe mehr als sein Vorgänger. Der Fähigkeitssprung ist real, der Preissprung auch. Für eine Wolfsfigur in einer Waldwelt spielt das keine Rolle, für einen Prozess, der hundertmal am Tag läuft, entscheidet es alles.

Drittens, und das ist der Teil, über den in den Launch-Videos niemand redet: Wenn ein Modell eigenständig Software auf deinem Rechner steuert, gibst du Kontrolle ab. Es klickt, es tippt, es speichert. In der Demo mit dem Wolf ist das großartig. In einer Umgebung mit echten Daten und echten Zugängen ist das eine Frage, die man vor der Freigabe geklärt haben will und nicht danach. Computer-Use gehört zuerst in eine abgeschottete Umgebung, ohne Zugriff auf irgendetwas, das wehtun kann. Erst wenn klar ist, was das Ding von sich aus macht, kommt es an echte Ordner.

Und schließlich: Der Benchmark, der einen Sprung von 7,8 auf 99,9 Prozent zeigt, ist vermutlich einfach am Ende. Ein Test, den ein Modell "im Grunde löst", misst danach nichts mehr. Ein Wert nahe 100 ist kein Grund zum Feiern, sondern ein Zeichen, dass dieser Test dir künftig nichts mehr sagt.

FAQ

Sind KI-Benchmarks nutzlos?

Nein, aber sie messen den Durchschnitt über viele Aufgabentypen, und dein Arbeitsalltag ist kein Durchschnitt. Aggregierte Ranglisten wie Artificial-Analysis-Werte gewichten Code, Design und Weltwissen zusammen, sodass ein Modell auf Design-lastigen Aufgaben Platz 1 belegen und im Gesamt-Aggregat trotzdem nur auf Platz 5 landen kann. Nutze Benchmarks als Gegenprobe, nicht als Kaufgrund.

Was ist Computer-Use bei KI-Modellen?

Computer-Use ist die Fähigkeit eines Modells, fremde Software auf einem Rechner eigenständig zu bedienen, also zu klicken, zu tippen und Programme wie eine 3D-Software oder eine Spiele-Engine selbst zu steuern. Der Nutzer muss diese Programme dafür nicht beherrschen. Diese Fähigkeit taucht in klassischen Benchmarks kaum auf, macht aber praktisch oft den größten Unterschied.

Wie oft sollte ich mein Test-Setup wiederholen?

Bei jedem neuen Modell, das du ernsthaft erwägst, und immer mit derselben Standard-Aufgabe. Nur so wird Fortschritt über Modellgenerationen hinweg in deiner eigenen Sprache messbar, statt in fremden Zahlen. Ein fester Test-Case ist dein Lineal, eine wechselnde Aufgabe ist kein Vergleich.

Warum ist ein Benchmark-Wert nahe 100 Prozent ein Warnsignal?

Ein Wert nahe 100 bedeutet meist, dass der Test gesättigt ist, also alle Top-Modelle nah beieinanderliegen und die Zahl nicht mehr zwischen ihnen trennt. Zwei bekannte Suites für Weltwissen und höhere Mathematik gelten bereits als gesättigt. Ein Sprung wie von 7,8 auf 99,9 Prozent auf einem einzelnen Test heißt in der Regel, dass dieser Test dir künftig nichts mehr über Modellunterschiede sagt.

Kostet ein stärkeres Modell automatisch mehr?

Meistens ja. Das aktuelle Spitzenmodell liegt pro Aufgabe über seinem Vorgänger. Ob sich das lohnt, hängt an der Häufigkeit: Für eine einmalige komplexe Aufgabe ist der Preis nebensächlich, für einen Prozess, der hundertmal am Tag läuft, entscheidet er über die Wirtschaftlichkeit.

Der eine Satz

Kauf nie ein Modell nach seiner Tabellenposition, sondern nach dem, was es an deiner eigenen Standard-Aufgabe in dreißig Minuten liefert.