Wie wir KI-Modelle auswählen

20 LLMs im Praxistest für dealfilter.ai

Wer heute KI-Features baut, steht vor einer unübersichtlichen Modell-Landschaft: Anthropic, OpenAI, Google, xAI, dazu europäische Alternativen wie Mistral und Open-Source-Modelle in deutschen Rechenzentren. Benchmark-Rankings helfen bei der Auswahl erstaunlich wenig - sie messen generische Fähigkeiten, nicht die eigenen Aufgaben.

Für dealfilter.ai, unser Anfragen-Management für IT-Freelancer, haben wir deshalb einen eigenen, reproduzierbaren Vergleichsprozess aufgesetzt. Hier beschreiben wir das Vorgehen und die wichtigsten Erkenntnisse - als Blaupause für alle, die vor derselben Entscheidung stehen.

Das Prinzip: Produktions-Prompts statt Benchmarks

Unser Vergleichswerkzeug schickt exakt die Prompts, die im Live-Betrieb laufen, an alle Kandidaten-Modelle - mit identischen Token-Limits und echten (anonymisierten) Eingaben. Gemessen werden vier Dimensionen:

  1. Qualität: vergleichende Bewertung aller Ergebnisse pro Aufgabe (1-5 Sterne), mit manueller Kontrolle kritischer Fälle
  2. Verlässlichkeit: hält das Modell das geforderte JSON-Schema ein?
  3. Geschwindigkeit: Antwortzeit pro Aufruf
  4. Kosten: berechnet aus realem Token-Verbrauch und Listenpreisen

Getestet haben wir 20 Modelle an 4 Aufgaben unterschiedlicher Schwierigkeit: strukturierte Analyse mit Urteilsvermögen (K.o.-Kriterien erkennen), Datenextraktion aus CVs, Textglättung und die Königsdisziplin - Bewerbungstexte, die Anforderungen mit echter Projekthistorie belegen müssen, ohne zu halluzinieren.

Erkenntnis 1: Aufgaben-Profil schlägt Modell-Ranking

Dasselbe Modell kann je nach Aufgabe top oder unbrauchbar sein. Mistral Large parste einen echten mehrseitigen Lebenslauf auf Augenhöhe mit Claude Sonnet - und kam beim Bewerbungstext wegen Faktenfehlern und Formatverstößen nicht über 2 von 5 Sternen hinaus. GPT-4o wiederum gab beim selben CV kommentarlos nur den halben Lebenslauf zurück. Wer nur ein Ranking anschaut, sieht diese Unterschiede nie.

Genauso wichtig: die Testdaten. Mit einem kurzen CV-Auszug lagen fast alle Modelle bei 4 bis 5 Sternen - erst das echte 25.000-Zeichen-Dokument trennte das Feld. Wer mit Spielzeugdaten testet, wählt Modelle aus, die an Produktionsdaten scheitern.

Erkenntnis 2: Halluzination ist ein Prompt- UND ein Modellproblem

Der wichtigste Moment des Tests: Bei einer Ausschreibung, zu der das Testprofil keine passende Erfahrung hatte, erfanden mehrere Modelle komplette Projekterfahrungen - anfangs auch die Spitzenmodelle. Gehärtete Prompt-Regeln (jede Behauptung muss im Quellmaterial wörtlich belegt sein; nicht Belegbares wird weggelassen statt beschönigt) lösten das Problem bei den starken Modellen vollständig: Claude Sonnet sprang von 1 auf 5 Sterne. Bei kleinen Modellen halfen dieselben Regeln nicht - unterhalb einer gewissen Modellkapazität werden Constraints schlicht ignoriert. Konsequenz für die Architektur: Anspruchsvolle Aufgaben brauchen beides, hartes Prompt-Design und ein ausreichend starkes Modell.

Die zweite Architektur-Konsequenz haben wir direkt umgesetzt: Harte K.o.-Kriterien (etwa eine nicht akzeptierte Vertragsart oder eine fehlende Arbeitserlaubnis) entscheidet bei uns seit dem Test deterministischer Code statt des LLM-Urteils. Das Modell extrahiert nur noch die Fakten, der Abgleich gegen die Nutzer-Präferenzen passiert im Code - mit garantiertem Red Flag und gedeckeltem Score. Der Auslöser: Im Test vergab ein Modell “65 Prozent Match” über zwei K.o.-Kriterien hinweg. Die Faustregel: Dem LLM die Extraktion anvertrauen, aber nie allein die Entscheidung.

Erkenntnis 3: Die DSGVO-Frage ehrlich beantworten

Wir wollten ein EU-Modell einsetzen - Mistral (Frankreich) und das komplette IONOS-Portfolio im deutschen Rechenzentrum standen im Testfeld, vom kleinen Llama 3.1 8B bis zum größten EU-gehosteten Modell überhaupt, Llama 3.1 405B. Das Ergebnis, Stand Juli 2026: Für einfache Extraktion sind EU-Setups produktionsreif und konkurrenzlos günstig. Für die kritischen Aufgaben (Urteilsvermögen, strenge Faktentreue) erreichte kein EU-Kandidat durchgehend die nötige Verlässlichkeit - und ein “bestes EU-Modell” gibt es nicht pauschal. In der gewichteten Gesamtwertung (Analyse, CV-Extraktion und Bewerbungstext je 30 Prozent, Feinschliff 10 Prozent) führt Mistrals aktuelles Medium 3.5 die EU-Wertung mit 4,1 von 5 an - erstmals ein EU-Modell über der 4er-Marke, mit beiden erkannten K.o.-Kriterien und Klartext-Bewerbungstexten. Dahinter punktgleich Mistral Large und Mistral Small 24B (IONOS, je 3,3) - Large mit der besten CV-Extraktion des gesamten Feldes auf Sonnet-Niveau, aber erfundenen Analyse-Befunden und Formatverstößen beim Bewerbungstext. gpt-oss-120B bei IONOS war umgekehrt das einzige EU-Modell mit durchgehend faktentreuen Bewerbungstexten - halluzinierte dafür beim CV-Import (aus “webbasierten” Fuhrparklösungen wurden “fußballbasierte”). Auch schiere Größe half nicht: Das 405B-Modell lieferte bei Textaufgaben Mehrfachversionen mit Chat-Markern im Output, war das langsamste Modell im Feld und scheiterte an der CV-Extraktion komplett per Server-Timeout.

Zur Einordnung: In dealfilter.ai kann der Anwender jeden KI-generierten Text vor der Nutzung anpassen - eine Halluzination ginge normalerweise nicht ungeprüft raus. Unser Anspruch ist trotzdem, dass die Vorlage korrekt, halluzinationsfrei und auf den Punkt generiert ist. Und das Gesamtbild ist positiver, als die Einzelbefunde klingen: Gezielt pro Aufgabe eingesetzt wäre ein EU-Setup fast schon machbar. Den Ausschlag für Claude Sonnet gibt am Ende die Konstanz - beste gewichtete Wertung über alle vier Aufgaben, punktgleich nur mit dem doppelt so teuren GPT-5.6 Sol. Und ein überall verlässliches Modell schlägt vier Spezialisten in Betrieb, Prompt-Engineering und Wartung.

Unsere Entscheidung: Anthropic-Modelle mit klaren Leitplanken - kein Modelltraining mit API-Daten, Auftragsverarbeitungsvertrag, Datenminimierung pro Aufgabe, Anwendung in Frankfurt gehostet. Und ein reproduzierbarer Messprozess, der die Entscheidung regelmäßig neu auf den Prüfstand stellt. DSGVO-Konformität entsteht aus dem Gesamtsetup, nicht aus dem Firmensitz des Modellanbieters.

Preis-Leistung in Zahlen

Der Sieger über alle vier Aufgaben: Claude Sonnet 4.6 mit 4,9 von 5 gewichtet - punktgleich nur mit OpenAIs GPT-5.6 Sol, das mit ca. 15 Cent pro Analyse gut das Doppelte kostet. Ausschlaggebend war neben den Zahlen auch die sprachliche Qualität der generierten Texte, die im direkten Vergleich nach unserer persönlichen Einschätzung herausragend war. Bemerkenswert: Der Generationensprung von GPT-4o (2,7) zu GPT-5.6 Terra (4,6, am Sonnet-Preispunkt) zeigt, wie schnell solche Messungen altern - genau deshalb ist der Prozess reproduzierbar aufgesetzt. Die Überraschung: Grok 4.3 lieferte beim Bewerbungstext über 4 Sterne für 0,63 Cent. Und der gesamte Vergleichslauf über 20 Modelle kostete unter 5 Euro API-Gebühren - vermutlich das beste Kosten-Nutzen-Verhältnis im ganzen Projekt.

Fazit

Modellauswahl ist keine Glaubensfrage, sondern ein Messproblem. Ein Nachmittag Aufwand und wenige Euro API-Kosten ersetzen monatelanges Rätselraten - und liefern nebenbei die Datengrundlage, um die Entscheidung gegenüber Kunden und Datenschutzbeauftragten sauber zu begründen.

omninoo entwickelt dealfilter.ai - das Anfragen-Management für IT-Freelancer im DACH-Markt.

→ Der vollständige Praxistest mit allen Tabellen und Messwerten im dealfilter.ai-Blog