Wie wir das beste KI-Modell für rechtliche Analysen gefunden haben

Ein dreistufiger Evaluationsansatz: LLM-as-a-Judge, Crew-as-a-Judge und menschliche Validierung. Parallel statt sequentiell.

Die Herausforderung: Qualität messbar machen

Welches KI-Modell liefert die besten rechtlichen Analysen? Bei Erst Recht stand diese Frage am Anfang. Bauchgefühl und Marketing-Versprechen reichen nicht. Wir brauchten einen systematischen, datengetriebenen Ansatz.

Das Ergebnis: Eine dreistufige Evaluation, bei der KI-Bewertung und menschliche Expertise zusammenarbeiten. In diesem Artikel zeige ich, wie wir vorgegangen sind.

Das Problem: Wie misst man "gute" rechtliche Analyse?

Bei Matheaufgaben gibt es eine klare "Ground Truth": 40+2=42, fertig. (Und nein, wir reden hier nicht von JavaScript, wo '1' + '1' = '11'.) Bei juristischen Analysen fehlt diese Eindeutigkeit. Die Anforderungen sind vielschichtig:

• Faktisch korrekt: Richtige Gesetze, aktuelle Rechtsprechung
• Vollständig: Alle relevanten Aspekte, keine vergessenen Fristen
• Verständlich: Auch ohne Jura-Studium nachvollziehbar
• Handlungsorientiert: Konkrete nächste Schritte

Manuelle Evaluation jedes Testfalls ist zeitaufwändig und subjektiv. Wir brauchten einen skalierbaren, aber zuverlässigen Ansatz.

Warum öffentliche Benchmarks diese Frage nicht beantworten

Ein Leaderboard wäre die Abkürzung. Für Rechtsfragen von Laien nach deutschem Recht taugt es nicht:

• Falsche Sprache, falsches Recht: LegalBench sammelt 162 Aufgaben zu juristischem Denken auf Englisch. Ob ein Modell einem Laien auf Deutsch die richtige Kündigungsfrist nach BGB nennt, misst er nicht.
• Kontamination: Öffentliche Testfragen landen in Trainingsdaten. Auf einem frischen Zwilling des Mathe-Benchmarks GSM8k fiel die Genauigkeit einiger Modellfamilien um bis zu 8 %, die stärksten Modelle waren kaum betroffen (Zhang et al., 2024).
• Marketing ist kein Messergebnis: Kommerzielle Legal-Research-Tools, deren Anbieter versprachen, Halluzinationen zu vermeiden, halluzinierten in einer Stanford-Studie in 17 bis 33 % der Fälle (Magesh et al., 2024).

Wer wissen will, welches Modell für den eigenen Fall taugt, braucht eigene Testfälle.

Unser Ansatz: Drei parallele Judges

Wichtig: Die drei Bewertungsebenen arbeiten parallel, nicht sequentiell. Jeder Judge bewertet unabhängig dieselben Outputs – die Ergebnisse werden am Ende aggregiert.

1. LLM-as-a-Judge

Das Konzept: Ein leistungsfähiges Sprachmodell bewertet die Outputs aller anderen Modelle nach klar definierten Kriterien. Automatisiert und skalierbar.

Wir bewerten jede Analyse in vier spezialisierten Dimensionen:

2. Crew-as-a-Judge

Ein einzelner Judge hat blinde Flecken. Die Lösung: Mehrere spezialisierte KI-Agenten bewerten aus unterschiedlichen Perspektiven.

Der Clou: Die Agenten "diskutieren" und konsolidieren zu einem Gesamturteil. Das Ergebnis ist robuster als jede Einzelbewertung.

3. Mensch-as-a-Judge (Human Validation)

KI-Evaluation ersetzt keine menschliche Expertise, aber sie muss auch nicht jeden Fall einzeln prüfen. Stattdessen validiert eine Juristin aus dem Gründerteam eine Stichprobe der Ergebnisse:

• Blind-Tests: Die Prüferin weiß nicht, welches Modell welchen Output produziert
• Edge-Cases: Gezielte Tests von Grenzfällen
• Kalibrierung: Stimmen die menschlichen Urteile mit der KI-Bewertung überein?

Das Ziel: Sicherstellen, dass die automatisierte Bewertung zuverlässig ist. Die menschliche Stichprobe dient als Sanity-Check, nicht als vollständige Neubewertung.

Ergebnis-Aggregation

Alle drei Judges bewerten jeden Fall für jedes Modell. Die Ergebnisse werden kombiniert zu:

• Winner Model pro Fall: Welches Modell hat bei diesem spezifischen Fall am besten abgeschnitten?
• Winner Model overall: Gesamtsieger über alle Fälle hinweg

Konsens zwischen den Judges erhöht das Vertrauen in das Ergebnis. Bei abweichenden Urteilen analysieren wir den Fall tiefer.

Der Testprozess im Detail

Systematische Evaluation braucht systematische Tests:

1. Testfall-Erstellung: Fälle quer über die Rechtsgebiete, die das Produkt abdeckt
2. Identische Bedingungen: Exakt dieselben Prompts für jedes Modell
3. Mehrfache Durchläufe: Konsistenz-Check pro Szenario
4. Parallele Bewertung: Beide KI-Judges bewerten gleichzeitig, Menschen prüfen eine Stichprobe

Ergebnisse und Erkenntnisse (Stand: Februar 2026)

Historischer Stand: Diese Ergebnisse stammen aus der Erstfassung vom Februar 2026. Die verglichenen Modelle nenne ich bewusst nicht; über heutige Modelle sagt die Rangfolge nichts aus. Was bleibt, sind die Muster.

"Die KI-Judges bewerteten Model A mehrheitlich als Sieger. Die menschlichen Stichproben bestätigten dieses Ergebnis. Ein starkes Signal für die Zuverlässigkeit unserer automatisierten Evaluation."

Die Evaluation lieferte klare Ergebnisse: Sowohl LLM-as-a-Judge als auch Crew-as-a-Judge identifizierten konsistent dasselbe Modell als Gewinner. Die menschliche Validierung per Stichprobe kam zum selben Ergebnis.

Wichtige Erkenntnisse aus der Evaluation:

• Eigene Ansätze lohnen sich: Unsere spezialisierten Methoden übertrafen generische Chat-Assistenten
• Trade-offs existieren: Manche Ansätze sind schneller, andere präziser. Wir haben für Qualität optimiert
• Konsistenz zählt: Ansätze mit schwankender Qualität schieden aus

Was wir gelernt haben

Die Methode zum Nachmachen: acht Schritte für heutige Modelle

So würde ich die Evaluation heute wiederholen. Vorweg: Geprüft wird nicht das Modell, sondern das System aus Modell, Prompts und Pipeline. Pipeline-Varianten gehören deshalb in denselben Vergleich wie Modellkandidaten. Wer neue Modelle nur im Chat-Fenster testet, misst das falsche System.

1. Testfälle aus echten Fällen ableiten

Anonymisiert, quer über die Rechtsgebiete, die das Produkt abdeckt, plus bewusst unbequeme Fälle: unvollständige Sachverhalte, fachfremde Fragen, offensichtlicher Unsinn. Den Testsatz halten Sie unter Verschluss. Der Kündigungsfall oben ist mit diesem Artikel öffentlich und taugt nicht mehr als Testfall.

2. Pro Fall eine Referenz-Checkliste

Vor dem ersten Lauf legt jemand mit juristischer Ausbildung fest, was eine korrekte Antwort enthalten muss und welche Fehler sofort disqualifizieren, etwa eine falsche Frist. Diese Checkliste bekommt der Judge mit. In der MT-Bench-Studie sank die Fehlerquote des Judges in einem kleinen Test (zehn Mathefragen, 20 Urteile) von 70 % auf 15 %, sobald eine Referenzantwort im Prompt stand, die der Judge vorher selbst erzeugt hatte (Zheng et al., 2023).

3. Binär bewerten statt auf einer Skala von 1 bis 5

Die Rubrik oben bewertet Verständlichkeit auf einer 1–5-Skala, doch mit einer 3 kann niemand etwas anfangen. Besser ist eine binäre Bewertung: jede Antwort als korrekt oder falsch markieren, mit ausführlicher Begründung. Das empfiehlt auch Hamel Husain in seinem Leitfaden zu LLM-as-a-Judge. Wer ein Ranking braucht, wählt danach unter den korrekten Antworten die beste. Ergänzen würde ich die Prüffrage, ob die Analyse benennt, was sie nicht sicher weiß (warum Modelle sonst lieber bluffen).

4. Blind und paarweise vergleichen

Prüfer sehen nur neutrale Labels wie A bis D, in zufälliger Reihenfolge pro Fall. LLM-Judges bewerten jeden Paarvergleich zweimal, einmal mit vertauschter Reihenfolge. Ein Sieg zählt nur, wenn dieselbe Antwort beide Male gewinnt, sonst ist es ein Unentschieden. So begegnen Zheng et al. dem Positions-Bias.

5. Den Judge prüfen, bevor Sie ihm glauben

• Selbstbevorzugung: LLMs erkennen eigene Texte und bewerten sie besser (Panickssery et al., 2024). Judge und Kandidaten sollten aus verschiedenen Modellfamilien stammen, oder mehrere Judges verschiedener Anbieter entscheiden.
• Längen-Bias: Judges neigen dazu, längere Antworten zu bevorzugen. Prüfen Sie, ob Ihre Scores einfach mit der Länge steigen.
• Kalibrierung: Juristen bewerten eine Stichprobe blind mit derselben Rubrik. Entscheidend ist, wie viele der von Menschen als falsch markierten Antworten auch der Judge als falsch erkennt und wie viele korrekte er durchlässt (Husain empfiehlt, beide Raten zu berichten).

6. Kosten und Latenz mitmessen

Tokens, Kosten und Laufzeit gehören pro Fall in dieselbe Tabelle wie die Qualität. Ein paar Prozentpunkte mehr Qualität zum Vielfachen der Kosten sind für bezahlbare Ersteinschätzungen nicht automatisch die bessere Wahl. Dass Sicherheits-Evaluationen von Agents Latenz und Kosten selten mitmessen, kritisiert auch das Survey über 247 Agent-Security-Paper.

7. Statistik ernst nehmen

Ein Rechenbeispiel mit ausgedachten Zahlen: Bei 40 Fällen und 80 % korrekten Antworten liegt das 95-%-Konfidenzintervall grob bei ±12 Prozentpunkten. Kleine Unterschiede sind also Rauschen. Deshalb jeden Fall mehrfach laufen lassen, Modelle gepaart auf denselben Fällen vergleichen und Fehlerbalken berichten (Anthropic, 2024).

8. Re-Evaluation fest einplanen

Neu evaluieren bei jedem Modell-, Prompt- oder Pipeline-Wechsel, bei neuer Rechtslage (auch Checklisten veralten) und zusätzlich etwa quartalsweise. Modellversionen pinnen statt Aliase zu nutzen, die auf das jeweils neueste Modell zeigen. Anbieter kündigen ältere Modelle zudem regelmäßig ab, siehe etwa die Deprecation-Seiten von Anthropic und OpenAI. Die exakte Modell-ID gehört deshalb zur Evaluationskonfiguration, und jede Änderung daran ist ein Grund für einen neuen Lauf.

Drei Grundsätze für ein neues Eval-Projekt

• Judge aus einer anderen Modellfamilie als die Kandidaten, von Anfang an: Sonst greift die Selbstbevorzugung.
• Kosten pro Fall von Tag eins an loggen: Wer erst nach der Modellwahl nach Kosten fragt, vergleicht mit unvollständigen Daten.
• Das Eval-Setup als Teil des Produkts behandeln: Testfälle, Checklisten, Judge-Prompts und Modell-IDs gehören versioniert ins Repo und laufen als Gate vor jedem Modellwechsel. Ein Eval-Werkzeug, das neben dem Produkt lebt, veraltet mit jedem Umbau.

Wann sich der Aufwand nicht lohnt

• Prototyp ohne echte Nutzer: Ein Dutzend handverlesener Fälle und Ihr eigenes Urteil reichen.
• Ein Mensch redigiert ohnehin jeden Output: Dann ist die Redaktion Ihre Evaluation.
• Keine Fachleute für die Referenzen: Ohne geprüfte Checklisten liefert ein LLM-Judge vor allem Scheingenauigkeit. Erst die Referenzen, dann die Automatisierung.
• Crew-as-a-Judge für jeden Fall: Mehrere Judge-Agenten kosten ein Vielfaches eines einzelnen Judges. Ich würde sie nur dort ansetzen, wo Judges uneinig sind.

Erst Recht macht rechtliche Ersteinschätzungen mit KI zugänglich. Überzeugen Sie sich selbst von der Qualität unserer KI-Analyse.

Planen Sie ein eigenes LLM-Evaluationsprojekt? Schreiben Sie mir. Ich helfe gerne bei der Konzeption und Umsetzung.