LLM API Vergleich 2026: Die beste API für Production

Ich habe fünf LLM-Anbieter in Production-Code verdrahtet. Nicht in Nebenprojekten. Echte Dinge, für deren Wartung ich bezahlt werde. Nach zwei Jahren des Wechselns zwischen ihnen, des Wiederholens fehlgeschlagener Calls um 3 Uhr morgens und des Debuggens von Tool-Use-Schemas habe ich klare Meinungen.

Das ist ein LLM API Vergleich, der sich darauf konzentriert, was beim Ausliefern tatsächlich zählt. Keine Benchmark-Rankings. Keine Marketing-Datenblätter. Features, SDK-Qualität, Fehlermodi, Tool-Use-Zuverlässigkeit und ob die Docs Ihren Nachmittag verschwenden werden.

Wenn Sie hier auf der Suche nach Preistabellen gelandet sind, diese liegen bei /guides/llm-api-cost-comparison/. Auf dieser Seite geht es um alles andere: Ist das Tool-Use-Schema sinnvoll, passt das Streaming-Protokoll zu Ihrer UI, hat der Anbieter eine EU-Region, wird das SDK gegen Sie arbeiten. Die Kostenfrage ist wichtig, aber sie zählt erst, nachdem die Shortlist steht.

Mein kurzes Urteil vorweg: Claude Sonnet 4.6 ist das, worauf ich Production Agents baue. OpenAI GPT-4o ist das, wozu ich greife, wenn ich Audio oder Bildgenerierung in der Schleife brauche. Gemini ist die Long-Context-Engine für Pipelines mit 500k-Token-Dokumenten. Mistral ist mein EU-Fallback, wenn das Legal-Team eines Kunden deutschen Boden braucht. DeepSeek ist dort, wo ich mit Reasoning-Aufgaben experimentiere, die bei den anderen zu teuer wären. Ich werde jede dieser Entscheidungen unten begründen.

Was dieser Vergleich abdeckt (und was nicht)

Abgedeckt: Feature-Abdeckung (Tool Use, Structured Output, Vision, Streaming, Caching, Batch, Thinking), SDK-Qualität in TypeScript und Python, Rate-Limit-Verhalten, Observability, Enterprise-Reife, Uptime-Historie, Stärken und Schwachstellen der Anbieter, eine Workload-zu-Anbieter-Entscheidungsmatrix und Multi-Provider-Strategie.

Nicht abgedeckt: exakte Preise in Dollar pro Million Tokens (siehe den Cost Guide), Leaderboard-Scores bei MMLU oder HumanEval (sie spiegeln das Production-Verhalten nicht wider), Bildgenerierungs-Modellqualität jenseits von “funktioniert über API” und Fine-Tuning, das nicht allgemein verfügbar ist. Ich überspringe auch Bedrock, Azure OpenAI und die Vertex-Resale-Layer, außer wo die direkte API-Geschichte Sie in die Irre führen würde.

Das Ganze ist aus europäischer Praktiker-Perspektive geschrieben. Wenn Ihr Kunde in Berlin oder Paris sitzt, ändert die Frage nach der EU-Region Ihre Shortlist, bevor Sie eine einzige Feature-Zeile lesen.

Die Anbieter im Vergleich

Die fünf Anbieter, die ich aktuell in Production betreibe, plus drei Hosted-OSS-Plattformen, die ich für Edge Cases nutze:

• Anthropic: Claude Opus 4.7, Claude Sonnet 4.6, Claude Haiku 4.5 (claude-haiku-4-5-20251001). Mein Standard für Agent-Workflows, Tool Use und Long-Document Reasoning.
• OpenAI: GPT-4o, o3 (Reasoning), o3-mini. Tiefes Ökosystem, starke Multimodalität, Assistants API für persistenten State.
• Google: Gemini 1.5 Pro, Gemini 2.0 Flash. Der 1M-Context-Wurf, starke Multimodalität, Vertex AI für Enterprise.
• Mistral: Mistral Large, Mistral Small, Codestral. EU-gehostet, Open-Weights-Varianten, solide Mittelklasse.
• DeepSeek: DeepSeek V3, DeepSeek R1 (Reasoning). Der Preis-Qualitäts-Durchbruch 2026 bei Reasoning-Aufgaben, Open Weights.
• Hosted OSS (ehrenvolle Erwähnung): Groq, Together, Cerebras, um Llama 3.x oder Mixtral hinter einer API mit sub-sekündlichem TTFT zu betreiben.

Modelle ändern sich jedes Quartal. SDKs, Error-Shapes, Rate-Limit-Verhalten und Anbieter-Kultur ändern sich viel langsamer. Das ist es, was ich vergleiche.

Feature-Matrix

Einige Zeilen brauchen Kontext.

Tool-Use-Qualität. Das Function-Calling-Schema von Anthropic ist das sauberste, das ich genutzt habe. Parallele Tool Calls funktionieren zuverlässig, das Modell wählt bei mehrdeutigen Eingaben zuverlässig das richtige Tool, und der tool_use-Content-Block ist leicht zu parsen. Der Strict Mode von OpenAI (Ende 2024 hinzugefügt) hat den Großteil der Lücke geschlossen, und für reine JSON-Extraktion ist er wohl besser. Gemini funktioniert, aber ich habe erlebt, dass Tool Calls auf Flash in Text-Markdown eingewickelt zurückkamen, was zusätzliches Parsen bedeutet. Mistrals Tool Use ist funktional, fühlt sich aber wie v1 an. DeepSeek verwendet OpenAI-kompatible Tool-Schemas, was eine schöne Portabilitätsgeschichte ist.

Context Window vs. Recall. Theoretischer Context und nutzbarer Context sind unterschiedliche Zahlen. Claudes 200k sind das Stärkste, das ich für Recall in der zweiten Hälfte des Fensters gemessen habe. Gemini 1.5 Pro kann physisch 1M Tokens aufnehmen, beginnt aber in meinen Tests ab rund 500k zuverlässig bei Needle-in-Haystack zu verlieren. GPT-4o hört jenseits von etwa 80k auf, präzise zu sein. DeepSeek V3 verliert bei Multi-Doc Reasoning um 60k herum die Kohärenz. Wenn Sie 1M brauchen und mit etwas Präzisionsverlust beim Recall leben können: Gemini. Wenn Sie 200k brauchen und ihnen vertrauen müssen: Claude.

Prompt-Caching-Ökonomie. Anthropics Cache ist der expliziteste: Sie markieren cache_control am Block, Reads sind 90 % günstiger, Writes etwas teurer. OpenAI cached automatisch und rabattiert recent Prefixe automatisch (kein Aufschlag, 50 % Rabatt auf Reads), was freundlicher ist, Ihnen aber weniger Kontrolle gibt. Für Agent-Workflows, bei denen ich einen 50k-Token System Prompt über viele Calls hinweg fixieren möchte, gewinnt Anthropic bei Kosten und Kontrolle mit Abstand.

Developer Experience

Das ist der Abschnitt, der in Benchmark-Zusammenstellungen übersprungen wird, und er zählt mehr als jeder Leaderboard-Score.

SDK-Qualität

Die Python- und TypeScript-SDKs von Anthropic sind die am besten konstruierten LLM-SDKs, die ich nutze. Typisierte Events, saubere Streaming-Primitive, ordentliche Error-Klassen, und das @anthropic-ai/sdk TS-Paket hat exzellente DTS-Abdeckung. Retries, Timeouts und clientseitiges Rate-Limit-Backoff sind sinnvolle Defaults.

Die SDKs von OpenAI sind funktional und weit verbreitet unterstützt, tragen aber gefühlt Geschichte mit sich. Mehrere überlappende APIs (Chat Completions, Assistants, Responses) bedeuten, dass Sie entscheiden müssen, auf welche Oberfläche Sie bauen, und Migrationen zwischen ihnen sind nicht gratis. Das TS-SDK ist in Ordnung.

Googles Python-SDK ist passabel. Die TypeScript-Geschichte ist unübersichtlicher. Es gibt @google/generative-ai für die direkte API und ein separates @google-cloud/vertexai für Vertex, mit unterschiedlicher Ergonomie. Beim Debuggen von Gemini greife ich immer noch zu rohem HTTP.

Mistrals SDK ist schlank und funktioniert. Kleine API-Fläche, leichter Einstieg.

DeepSeek liefert kein eigenes SDK aus. Es ist OpenAI-kompatibel, also nutzen Sie das OpenAI-SDK mit einer anderen Base URL. Das ist exzellent für Portabilität und schrecklich für die Auffindbarkeit DeepSeek-spezifischer Features (wie dem R1 Reasoning Output Format).

Dokumentationstiefe

Anthropics Docs sind die klarsten für die Features, die sie abdecken. Jedes Beispiel läuft, wie es dasteht. Edge Cases sind dokumentiert.

OpenAIs Docs sind umfassend, aber weitläufig. Die richtige Seite zwischen Chat Completions, Assistants und Responses zu finden, kostet Klicks. Das Cookbook-Repo trägt das meiste echte Wissen.

Googles Docs bringen die Gemini API und Vertex AI ständig durcheinander. Beispiele funktionieren, dann funktionieren sie nicht, je nachdem, auf welcher Oberfläche Sie gelandet sind.

Mistral und DeepSeek haben beide prägnante Docs. Sie stoßen schneller an das Ende dokumentierten Verhaltens, aber was da ist, ist akkurat.

Error-Messages

Claude-Errors sind maschinenlesbar und menschenlesbar zugleich. overloaded_error, rate_limit_error, invalid_request_error kommen mit strukturierten error.type-Feldern. Retry-Logik ist trivial.

OpenAI-Errors sind in Ordnung, haben aber im Lauf der Jahre ihre Shape geändert. Sie sehen noch legacy Shapes in freier Wildbahn.

Gemini-Errors sehen bei transienten Problemen oft wie “Internal Error” aus, was für Root-Cause-Analyse unbrauchbar ist. Die Error-Codes existieren, aber die Messages verstecken sie.

Rate Limits

Hier hat OpenAI mir am meisten wehgetan. Neue Modell-Rollouts kommen mit unvorhersehbaren Rate Limits, und Organisation-Level-Tiers können Sie ohne Vorwarnung drosseln. Tier-Upgrades erfordern anhaltende Ausgaben, was für Production-Apps Henne-Ei-Probleme schafft.

Anthropics Tier-System ist vorhersehbarer. Sie bekommen dokumentierte TPM- (Tokens per Minute) und RPM-Limits (Requests per Minute) pro Tier, sichtbar in der Console. Upgrades geschehen auf Anfrage mit einem echten Menschen in der Schleife.

Geminis Rate Limits sind großzügig im Free Tier, was großartig fürs Experimentieren ist. In Production auf Vertex ist die Quota-Geschichte sinnvoll, sobald Sie sich durch die Project-Level-Quota-Console von GCP navigiert haben.

Observability

Claudes Response-Objekt meldet usage.input_tokens, usage.output_tokens, usage.cache_creation_input_tokens und usage.cache_read_input_tokens. Sie können Kunden abrechnen und Caching aus Production-Daten tunen. Anthropics Console hat auch die beste Admin-API zum Abrufen historischer Nutzung.

OpenAI gibt vollständige Nutzung und Logprobs auf Anfrage zurück. Das Dashboard zeigt Ausgaben pro API-Key. Solide.

Geminis Nutzungs-Reporting funktioniert, aber das Dashboard ist tief im GCP-Billing vergraben. Ausreichend.

Mistral und DeepSeek melden grundlegende Nutzung. Nichts Ausgefallenes.

Enterprise-Reife

• SOC 2 Type II: Alle fünf haben es.
• HIPAA BAA: OpenAI, Anthropic, Google. Nicht Mistral oder DeepSeek.
• EU-Region / Datenresidenz: Anthropic hat eine EU-Region über Zero-Retention-Endpoints und Bedrock EU verfügbar. Mistral ist EU-nativ. OpenAI bietet EU-Datenresidenz für Enterprise-Verträge. Google hat EU-Regionen auf Vertex. DeepSeek ist für EU-Kunden ein Fragezeichen, und das allein disqualifiziert es für mehrere meiner Projekte.
• Zero Retention: Verfügbar bei Enterprise-Plänen für Anthropic, OpenAI und Google. Standard bei direktem Mistral in der EU.

Für deutsche Mittelstandskunden schrumpft die Shortlist auf Anthropic (EU-Region), Mistral und OpenAI Enterprise. Ein Deep Dive zu dieser Art Entscheidung liegt in /guides/how-to-choose-llm-for-production/.

Production-Zuverlässigkeit und Uptime

Ich betreibe Agents auf Cron 24/7. Ich bemerke Ausfälle.

Anthropic: Der sichtbarste Vorfall 2024 war eine mehrstündige Verschlechterung beim Sonnet-Rollout. Die Status Page ist ehrlich und zeitnah. 2025 gab es eine Handvoll Vorfälle unter einer Stunde. Meine interne Uptime über 10 Production Agents lag im letzten Jahr bei rund 99,7 %, wobei die meiste Downtime Rate-Limit-Spikes statt harter Ausfälle waren.

OpenAI: Die Status Page hat historisch untertrieben. Ich habe den GPT-4-Endpoint 20 Minuten lang 500 zurückgeben sehen ohne Status-Update. Mehrere mehrstündige Ausfälle 2024 und Anfang 2025. Kapazitäts-Engpässe bei neuen Modell-Launches sind Routine. Das gesagt, das Ökosystem ist so tief, dass Workarounds existieren (Azure OpenAI Failover, zum Beispiel).

Google: Vertex ist solide, die direkte Gemini API ist lauter. Regionale Ausfälle auf Vertex 2025 wurden mit klarer Kommunikation gehandhabt.

Mistral: Kleinerer Maßstab, weniger, was schiefgehen kann. Ich habe 2025 keinen Production-Ausfall gesehen. Die Stichprobe ist klein.

DeepSeek: Rate-Limit-Roulette im günstigen Tier. Der Service läuft, aber Sie können bei Nachfragespitzen unvorhersehbar auf Per-Minute-Mauern stoßen. Ich würde Production-Traffic nicht allein auf DeepSeek direkt laufen lassen.

Failover-Strategie zählt mehr als die Uptime eines einzelnen Anbieters. Ich betreibe ein Fallback-Modell für jeden Agent: Wenn Sonnet überlastet ist, wiederhole ich gegen Haiku, dann gegen GPT-4o über einen anderen Account. Der Migrate OpenAI to Claude Guide führt durch das Adapter-Pattern, das das einfach macht.

Wo Anthropic gewinnt

Tool-Use-Zuverlässigkeit für mehrstufige Agents. Ich habe meinen TickTick-MCP-Server auf Claude aufgebaut, weil das Modell zuverlässig 3 bis 5 Tool Calls aneinanderreiht, ohne aus der Spur zu geraten. GPT-4o kann das auch, aber Claude ist beim ersten Versuch konsistenter.

Long-Context-Recall. Wenn ich Claude eine Kundendialoghistorie von 150k Tokens gebe und nach spezifischen Fakten frage, findet er sie. Ich bekomme das Problem “an der Nadel vorbeigedriftet” nicht.

Prompt-Caching-Ökonomie. 90 % Rabatt auf gecachte Reads ist der Rabatt, der den Business Case für Agent-Workflows bewegt. Wenn Ihr System Prompt 40k Tokens hat und Sie ihn 1000 Mal am Tag aufrufen, sparen Sie monatlich mehrere Hundert. Meine vollständigen Notizen dazu finden Sie in claude-api-prompt-caching.

Extended Thinking. Der thinking: { type: "enabled", budget_tokens: 10000 }-Parameter lässt das Modell intern reasonieren, bevor es antwortet. Für harte analytische Prompts (juristische Dokumentenprüfung, multivariable Entscheidungen) schlägt das Chain-of-Thought-Prompting bei anderen Anbietern.

Deutsche und mehrsprachige Qualität. Ich schreibe eine ordentliche Menge kundenorientierter Inhalte auf Deutsch. Claude Opus 4.7 liest sich auf Deutsch wie ein Muttersprachler. GPT-4o ist in Ordnung. Gemini ist spürbar schwächer bei Idiomatik und technischem Deutsch.

Wo OpenAI gewinnt

Multimodaler Output. Die Realtime API (Audio rein, Audio raus) hat keinen direkten Wettbewerber. Wenn Sie einen Voice Agent bauen, ist OpenAI der Standard.

Native Bildgenerierung. DALL-E 3 über die API ist der sauberste Weg, Bilder in einer Generierungs-Pipeline zu produzieren. Gemini hat Imagen, aber die API-Geschichte ist unübersichtlicher.

Structured Output mit Strict Mode. Das response_format: { type: "json_schema", json_schema: {...}, strict: true } garantiert Schema-Einhaltung. Claude hat das nativ nicht; ich nutze ein Tool-Use-Pattern oder Prefill, weshalb ich claude-api-structured-output geschrieben habe.

Ökosystem-Tiefe. Assistants API, Vector Stores, Code Interpreter, Responses API, Realtime API. Wenn Sie mehr Infrastruktur an den Anbieter auslagern möchten, hat OpenAI mehr Primitive.

Rate-Limit-Elastizität auf etablierten Tiers. Sobald Sie jenseits der Tier-3-Schwelle sind, ist OpenAIs Durchsatz bei GPT-4o-mini erstaunlich.

Wo Google gewinnt

1M-Token-Context auf Production-Skala. Niemand sonst liefert das aus. Wenn Ihre Pipeline “700-seitiges PDF einlesen und Fragen beantworten” ist, ist Gemini 1.5 Pro die einzige echte Option. Ich habe das auf Vertex für einen rechtsnahen Kunden gemacht. Es funktioniert.

Nativer Video-Input. GPT-4o kann Bilder. Gemini nimmt Video direkt an, abgetastet mit 1fps. Für jede Analyse-Pipeline, bei der die Eingabe eine Videodatei ist, ist Gemini die Abkürzung.

Gemini 2.0 Flash Latenz. Auf Vertex in europe-west1 liefert Flash bei typischen Prompts das erste Token konsistent unter 300ms. TPU-gestützte Infrastruktur zeigt sich.

Vertex AI für Enterprise. Wenn der Kunde bereits auf GCP ist und Sie mit der Oberflächen-Weitläufigkeit von Vertex leben können, ist die Integrationsgeschichte (IAM, VPC-SC, Customer-Managed Keys, Audit Logs) die umfassendste der fünf.

Wo Mistral gewinnt

EU-Herkunft. Unternehmen mit Sitz in Paris, Server in der EU, französisches Recht. Für einen deutschen Mittelstandskunden, dessen Legal-Team fragen wird “wo liegen die Daten”, ist Mistral der kürzeste Weg zum Ja.

Open-Weights-Option. Mistral Large ist managed, aber Mistral Small und Codestral haben Open Weights, die Sie auf einer Hetzner-GPU selbst hosten können, falls der Kunde volles Air-Gapped-Deployment verlangt. Siehe self-hosted-llm-vs-api, wann dieser Trade-off Sinn ergibt.

Codestral für Code-Completion. Bei Code-Completion in Tippgeschwindigkeit (nicht volle Agent-Aufgaben) ist Codestral sehr gut und hat geringere Latenz als GPT-4o.

Pricing im Managed Tier ist für das Qualitätsniveau angemessen. Nicht das Thema hier, aber erwähnenswert.

Wo DeepSeek gewinnt

Reasoning-Qualität pro Dollar. R1 nähert sich bei harten Mathe- und Code-Reasoning-Aufgaben der Qualität von o3-mini zu einem Bruchteil der Kosten. Für Workloads, bei denen Sie Chain-of-Thought Reasoning auf 10.000 Inputs wollen und Kosten bei OpenAI dominieren würden, ist DeepSeek die Geschichte des Jahres 2026.

Open Weights bei V3 und R1. Sie können selbst hosten, falls Datenresidenz zum Problem wird. Together und DeepInfra betreiben DeepSeek beide als Service.

OpenAI-kompatible API. Reibungslose Evaluation: Base URL tauschen, API Key tauschen, gleicher Code.

Aber Caveats stapeln sich schnell. Siehe den Abschnitt zu Schwachstellen.

Schwachstellen pro Anbieter

Anthropic-Schwachstellen. Kein nativer JSON-Schema-Strict-Mode. Sie müssen Tool Use oder Prefill verwenden. Keine Bildgenerierung. Kein Audio rein oder raus. Managed Fine-Tuning ist Bedrock-only. Kleinerer Modellkatalog als OpenAI.

OpenAI-Schwachstellen. Rate-Limit-Unvorhersehbarkeit bei neuen Modellen ist meine größte einzelne Quelle von Production-Angst. Vertrauen und Vertragsstabilität wurden wiederholt in Frage gestellt. Reasoning-Tiefe bei mehrstufigen Agent-Problemen ist in meinen Händen schlechter als Claude. Zu viele überlappende API-Oberflächen verlangsamen die SDK-Wahl.

Google-Schwachstellen. SDK-Qualität hinkt den anderen hinterher. Vertex ist mächtig, aber komplex; die direkte Gemini API ist sauberer, hat aber weniger Features. Dokumentations-Fragmentierung zwischen den beiden Oberflächen. Error Messages sind oft unbrauchbar. Feature-Verzögerung bei entwicklerseitigen Primitiven (kein Äquivalent zu Claudes Prompt-Cache-Control-Blöcken).

Mistral-Schwachstellen. Kleineres Ökosystem. Tool Use ist weniger ausgefeilt als bei den Top Drei. Keine native Vision in der Haupt-API (Pixtral existiert separat). Kein Prompt Cache, keine Batch API.

DeepSeek-Schwachstellen. Datenresidenz-Bedenken für EU-Kunden. Rate Limits im günstigen Tier sind unvorhersehbar. Keine Batch API. Kein Prompt Caching. Kein Fine-Tuning. Keine Vision. Kleineres SDK und Docs. Starkes Tool, enger Scope.

Welches LLM für welchen Workload

Das ist die Entscheidungsmatrix, die ich beim Scoping eines neuen Projekts nutze.

Zwei ehrliche Caveats zu dieser Matrix. Erstens überlappen sich Workload-Kategorien. “Long-Context-Agent, der auf Deutsch Code schreibt” sind drei Zeilen. In der Praxis gewinnt Claude zwei und OpenAI eine, also bekommt Claude den Job. Zweitens kann die Kostenfrage die Empfehlung kippen. Wenn der Primärkandidat 10x so teuer wie der Fallback ist und Ihr Workload hohes Volumen hat, rechnen Sie neu. Mehr unter /guides/llm-api-cost-comparison/.

Multi-Provider-Strategie

Sollten Sie vom ersten Tag an Multi-Provider gehen? Normalerweise nein. Wählen Sie einen, shippen Sie, und abstrahieren Sie erst, wenn Sie Schmerz spüren.

Die Schmerzpunkte, die die Abstraktionskosten rechtfertigen:

1. Zuverlässigkeit. Wenn ein Single-Provider-Ausfall Sie mehr kostet als einen Engineering-Tag an einer Adapter-Schicht.
2. Kosten. Wenn ein Workload sich sauber in “billige Massenarbeit” (Haiku, GPT-4o-mini, Flash) und “hohes Reasoning” (Opus, o3) aufteilt und Sie pro Call routen möchten.
3. Compliance. Wenn einige Kundensegmente EU-only brauchen und andere nicht.
4. Feature-Abdeckung. Wenn eine Pipeline Audio braucht (OpenAI) und eine andere 1M-Context (Gemini) und eine andere Tool-Use-Zuverlässigkeit (Claude).

Die Abstraktionskosten sind real. Ein sauberer Multi-Provider-Adapter zwingt Sie beim Feature-Set auf den kleinsten gemeinsamen Nenner (kein Prompt Caching, kein Extended Thinking, kein Strict Mode). Sie besitzen auch die Test-Matrix. Meine Regel: Single-Provider zuerst bauen, den Adapter auf dem zweiten Anbieter bauen, sobald Sie ihn adoptieren, und nicht vorgeben, einen Anbieter zu “unterstützen”, den Sie nicht unter Last betrieben haben.

Konkrete Patterns, die ich ausgeliefert habe:

• Primär + Fallback: Sonnet primär, GPT-4o als Fallback. Ein Retry-Pfad. Keine Feature-Vereinheitlichung. Gut-genug-Abstraktion.
• Workload-Routing: Haiku für Klassifikation, Sonnet für Reasoning, Opus für die härtesten 2 % der Prompts. Alles Anthropic, kein Adapter nötig.
• Cross-Provider-Routing: Claude für Agents, OpenAI für Voice, Gemini für Dokumenten-Ingest. Drei Codepfade, keine gemeinsame Abstraktion, dokumentierte Grenzen.

All das wie “nur ein LLM” hinter einem einzelnen Adapter zu behandeln, ist der Weg, den Wert zu verlieren, den jeder Anbieter bietet. Siehe Migrate OpenAI to Claude und Claude API vs OpenAI for Business Automation für die migrationsspezifische Version dieses Arguments.

Praxisnahe Mini-Benchmarks (qualitativ)

Ich glaube nicht an öffentliche Leaderboards für die Production-Auswahl. Ich glaube daran, Ihren tatsächlichen Prompt bei jedem Anbieter laufen zu lassen und zu vergleichen. Hier sind die Aufgaben, die ich beim Evaluieren eines neuen Modells laufen lasse, und wie die aktuelle Generation in meinen Händen darin abschneidet.

Aufgabe 1: Fünfstufiger Agent-Workflow. “Lies eine Kunden-E-Mail, klassifiziere die Absicht, frage eine Datenbank über ein Tool ab, entscheide, ob eine Antwort gesendet werden soll, entwirf die Antwort.” Sonnet 4.6 macht das im ersten Versuch in rund 95 % der Fälle richtig. GPT-4o rund 88 %. Gemini 1.5 Pro rund 75 % (die Tool-Call-Shape geht manchmal schief). DeepSeek V3 rund 70 %. Mistral Large rund 65 %.

Aufgabe 2: Long-Document QA. 120k-Token deutsches juristisches Dokument, zehn präzise Sachfragen. Claude 9/10. Gemini 1.5 Pro 8/10, aber eine Halluzination. GPT-4o weigert sich nach 80k oder gibt “Ich kann das nicht finden” bei vergrabenen Fakten zurück. Mistral passt den Context nicht hinein.

Aufgabe 3: Strukturierte Extraktion. 50-Feld JSON aus einer zweiseitigen Rechnung. GPT-4o mit Strict Mode 10/10. Claude mit Tool Use 10/10. Gemini 8/10 mit kleineren Typ-Coercion-Problemen. DeepSeek 7/10. Mistral 8/10.

Aufgabe 4: Reasoning from First Principles. “Hier ist ein Unit-Economics-Problem, leite Break-Even und Sensitivität her.” Claude Opus 4.7 mit Extended Thinking produziert die saubersten Rechnungen. o3 ist sehr nah dran und gewinnt manchmal. DeepSeek R1 ist überraschend wettbewerbsfähig. GPT-4o ohne Reasoning Mode fällt zurück. Gemini fällt zurück.

Aufgabe 5: Code-Generation aus kniffligem Spec. “Hier ist ein RFC, implementiere den Auth-Flow in TypeScript.” Claude Sonnet 4.6 ist hier mein Daily Driver. GPT-4o ist nah dran. Die anderen sind spürbar darunter.

Das sind meine Aufgaben auf meinen Prompts. Lassen Sie Ihre laufen. Die ersten 30 Minuten eines Anbietervergleichs sollten damit verbracht werden, Ihren tatsächlichen Prompt gegen vier von ihnen laufen zu lassen. Leaderboards werden Ihnen nicht sagen, ob Ihr Prompt funktioniert.

Worauf würde ich heute bauen?

Meine konkreten Entscheidungen für April 2026:

Standard-Production-Agent-Arbeit: Claude Sonnet 4.6. Beste Tool-Use-Zuverlässigkeit, beste Prompt-Caching-Ökonomie, bester Long-Context-Recall, sauberstes SDK. Ich habe zehn Agents in meinem eigenen Geschäft darauf laufen. Der Praktiker-Case liegt in claude-code-sdk-agents.

Hochvolumige Klassifikation und Extraktion: Claude Haiku 4.5. Preispunkt passt, Qualität ist besser als bei vorherigen Haiku-Generationen, gleiches Tool-Use-Schema wie Sonnet (sodass das Routing trivial ist).

Multimodaler Output (Voice, Bild): OpenAI GPT-4o. Realtime API und DALL-E 3 haben keine direkten Wettbewerber. Zahlen Sie die Steuer.

Ultra-Long-Context (500k+ Tokens): Gemini 1.5 Pro auf Vertex. Die einzige echte Option. Bereit, Präzisionsverlust im Gegenzug für das Context Window zu akzeptieren.

EU-Datenresidenz: Anthropic über Bedrock EU für Claude-Features, oder Mistral für EU-only mit Open-Weight-Option.

Experimentation und kostengedeckeltes Reasoning: DeepSeek R1 über Together für production-nahe Workloads, direkt fürs Prototyping. Nicht als Single Source, aber auch nicht ignorieren.

Open-Weights-Selbsthosting: Mistral Small oder Llama 3.1 auf Hetzner-GPUs, wenn der Kunde Air-Gapped-Deployment braucht. Das lebt im Self-Hosted LLM vs API Guide.

Die Frage lautet fast nie “welches LLM ist das beste”. Die Frage lautet “welches LLM ist das beste für diesen spezifischen Workload, in diesem Compliance-Kontext, bei dieser Kostenobergrenze, angesichts der Vertrautheit des Teams mit dem SDK”. Die Entscheidungsmatrix oben ist, wie ich sie beantworte, ohne dieselbe Debatte zweimal zu führen.

Wenn Ihr Projekt auf Claude landet und Sie von OpenAI kommen, führt mein Migrate OpenAI to Claude Guide durch den Adapter, das Error-Mapping und die Tool-Use-Schema-Übersetzung. Wenn Sie sich noch zwischen Claude und GPT speziell entscheiden, wird der Claude vs ChatGPT for Developers Vergleich granularer zur Developer-Ergonomie.

Bauen Sie klein, lassen Sie Ihre eigenen Prompts laufen, messen Sie, und lassen Sie kein Leaderboard die Entscheidung treffen. Die beste LLM API für Production ist die, die Ihre Evals unter Ihrer Last mit Ihren Compliance-Zwängen besteht. Alles andere ist Kommentar.

Weiterführende Lektüre

• LLM API Cost Comparison 2026: die Preisseite des Bildes
• How to Choose an LLM for Production: das vollständige Entscheidungsframework
• Migrate from OpenAI to Claude API: das Adapter-Pattern und die Fallstricke
• Claude API vs OpenAI for Business Automation: der automatisierungsspezifische Blickwinkel