{"schemaVersion":1,"canonicalUrl":"https://namedproof.com/knowledge/de/llm-evaluation-aufgabenbezogen","topicId":"16","locale":"de","title":"LLM-Evaluation: Ein Sprachmodell für die konkrete Aufgabe prüfen","description":"Aufgabenbezogene Tests, Fakten- und Quellenprüfung, menschliche Urteile und Modellbewertungen vergleichen, ohne sich auf einen einzigen Ranglistenwert zu verlassen.","answer":"Prüfen Sie ein großes Sprachmodell anhand einer klaren Aufgabe, repräsentativer Eingaben und festgelegter Fehlerregeln. Behalten Sie Richtigkeit, Quellenunterstützung, Vollständigkeit, angemessenes Nichtantworten, Kosten und Betriebsgrenzen als getrennte Prüfungen bei, soweit sie für den Einsatz zählen. Ein gutes Ergebnis in einem öffentlichen Benchmark kann mit Fehlern im geplanten Arbeitsablauf einhergehen.","category":"Belege und Bewertung","author":{"type":"Organization","name":"NamedProof","url":"https://namedproof.com/about"},"publishedAt":"2026-10-17","sourceCheckedAt":"2026-10-17","sections":[{"id":"objective","title":"Mit der Entscheidung beginnen, die der Test tragen soll","paragraphs":[{"text":"Ein Einkaufsteam, das Antwortqualität vergleicht, braucht einen anderen Test als ein Entwickler, der den korrekten Werkzeugaufruf eines Ablaufs prüft. Schreiben Sie Tätigkeit, erwartetes Ergebnis und unzulässigen Fehler auf, bevor Sie eine Metrik wählen. Bei einem Dokumentenassistenten kann eine unbelegte Richtlinienaussage wichtiger sein als eleganter Stil. Bei einem Klassifikator können die Kategorie und der Umgang mit unbekannten Fällen entscheidend sein.","sources":[]},{"text":"OpenAI empfiehlt in seinem Evaluationsleitfaden aufgabenspezifische Tests, repräsentative Daten, laufende Prüfungen und den Abgleich automatischer Bewertungen mit menschlichen Urteilen. Der Leitfaden trennt außerdem Anwendungsbewertungen von allgemeinen Branchenbenchmarks.","sources":["KB-OPENAI-EVALS"]}]},{"id":"data","title":"Einen Testsatz mit nachvollziehbaren Referenzantworten erstellen","paragraphs":[{"text":"Testfälle sollten normale Anfragen, wesentliche Ausnahmen und Situationen ohne ausreichende Belege abdecken. Trennen Sie Testbeispiele von Beispielen zur Promptverbesserung, wenn Sie einen zurückgehaltenen Vergleichssatz benötigen. Halten Sie fest, woher jede Referenzantwort stammt und welches Datum oder welche Produktversion sie gültig macht. Auch eine sprachlich überzeugende Referenzantwort muss geprüft werden.","sources":[]},{"text":"Die ursprüngliche SimpleQA-Veröffentlichung umfasst 4.326 kurze Faktenfragen, die gezielt auf zeitlich stabile Antworten ausgerichtet sind. Das passt zur dort beschriebenen Aufgabe. Ein Geschäftsablauf mit wechselnden Richtlinien, mehrdeutigen Anfragen oder privaten Dokumenten braucht zusätzliche Fälle, die diese Bedingungen abbilden. Die Größe eines Datensatzes allein belegt keine Eignung für die Aufgabe.","sources":["S12"]}]},{"id":"methods","title":"Für verschiedene Fehlerarten passende Prüfungen wählen","paragraphs":[{"text":"Der folgende NamedProof-Vergleich ist eine redaktionelle Hilfe zur Formulierung eines Prüfauftrags. Er ist weder ein Bericht über einen ausgeführten Benchmark noch eine Produktfunktionsliste oder Rangfolge von Modellanbietern.","sources":[]}],"table":{"caption":"Die Methoden beantworten unterschiedliche Fragen. Kombinieren Sie sie nur, wenn die Aufgabe es erfordert.","headers":["Methode","Nützliche Frage","Zu beachtende Grenze"],"rows":[["Exakter oder strukturierter Abgleich","Stimmt das erforderliche Feld oder Ergebnis überein?","Gleichwertige gültige Antworten müssen gegebenenfalls berücksichtigt werden"],["Belegprüfung","Stützt die Quelle die Aussage?","Die Verlässlichkeit der Quelle ist eine eigene Beurteilung"],["Prüfung der Aufgabenerfüllung","Hat die Antwort die Anfrage gelöst?","Ein richtiger Ausschnitt kann trotzdem unvollständig sein"],["Menschliche Bewertung nach Kriterien","Würde eine geeignete prüfende Person die Antwort akzeptieren?","Prüfende können uneinig sein oder dieselben Verzerrungen teilen"],["Bewertung durch ein Modell","Lassen sich wiederkehrende Urteile automatisieren?","An geprüften Beispielen und Meinungsunterschieden validieren"]],"sources":["KB-OPENAI-EVALS"]}},{"id":"evidence","title":"Prüfen, was der angegebene Wert abdeckt","paragraphs":[{"text":"Ein System mit Quellenangabe kann trotzdem eine wesentliche Schlussfolgerung unbelegt lassen. Eine Prüfung der faktischen Präzision kann die erzeugten Aussagen bewerten, ohne jede ausgelassene Tatsache zu erkennen. Braucht der Nutzer eine vollständige belegte Antwort, sollte die Bewertung Unterstützung und Abdeckung prüfen. Diese Unterscheidungen folgen aus der Aufgabe. Die Bezeichnung Genauigkeit allein legt die getrennten Prüfungen nicht offen.","sources":[]},{"text":"HELM macht mehrere Bewertungsaspekte zugänglich, darunter Metriken über die reine Genauigkeit hinaus und die Prüfung einzelner Prompts und Antworten. Auch Hugging Face trennt aufgaben- oder domänenbezogene Ranglisten von Beschreibungen der Modellautoren. Nutzen Sie diese Unterlagen, um die Messung zu verstehen, und vergleichen Sie deren Umfang anschließend mit Ihrem geplanten Einsatz.","sources":["S20","S14"]}]},{"id":"rubric","title":"Meinungsunterschiede für die Prüfung nutzen","paragraphs":[{"text":"Legen Sie fest, was genügt, was korrigiert werden muss und was den Ablauf stoppen sollte. Ein hypothetischer Richtlinienassistent könnte richtig antworten, eine erforderliche Ausnahme auslassen, eine Bedingung erfinden oder fehlende Belege melden. Diese Ergebnisse sollten nicht alle dieselbe Fehlerbezeichnung erhalten. Ihr jeweiliges Gewicht hängt von der Nutzerentscheidung und den Fehlerfolgen ab.","sources":[]},{"text":"Geben Sie Prüfenden Beispiele und halten Sie die Gründe für unterschiedliche Urteile fest. Widerspricht eine Modellbewertung einer erfahrenen Fachperson, prüfen Sie Belege und Kriterien, statt das Modell automatisch für richtig zu halten. Ändern sich die Kriterien nach der Ergebnisansicht, dokumentieren Sie das und wiederholen betroffene Vergleiche. Das erhält die Bedeutung des gemeldeten Werts.","sources":[]},{"text":"Geben Sie zwei Kandidaten für einen Vergleich dieselben relevanten Eingaben und bewahren Sie ihre Ausgaben auf. Bei einem Antwortvergleich müssen die Kriterien klar sein. Erwägen Sie, die Anbieteridentität zu verbergen, wenn sie das Urteil beeinflussen könnte. Halten Sie wiederholte Durchläufe fest, wenn Schwankungen zählen. Eine besonders gute Einzelantwort des einen Kandidaten mit einer gewöhnlichen Antwort des anderen zu vergleichen, beschreibt ihre relative Leistung nicht verlässlich.","sources":[]}]},{"id":"report","title":"Das getestete System und die offene Lücke berichten","paragraphs":[{"text":"Ein nützliches Ergebnis nennt Modell und Version, Prompts, Werkzeuge, Quellenzugang, Datenteilung, Metrikdefinitionen und Laufbedingungen. Zeigen Sie tatsächliche Fehlerbeispiele und Kategorien mit abweichender Leistung. Durchschnittswerte können Fehler verdecken, die für den Käufer entscheidend sind. Definieren Sie Kosten und Latenz ausdrücklich, wenn sie die Auswahl beeinflussen.","sources":[]},{"text":"Beenden Sie die Bewertung mit einer Entscheidung: für eine benannte Aufgabe geeignet, mit festgelegten Kontrollen geeignet oder durch die vorhandenen Belege noch nicht hinreichend gestützt. Nennen Sie Auslöser für eine erneute Prüfung, etwa ein anderes Modell, eine neue Sprache oder eine wesentliche Richtlinienänderung. Das Ergebnis muss sich weiterhin auf das tatsächlich getestete System beziehen.","sources":[]}]}],"sources":[{"id":"KB-OPENAI-EVALS","title":"OpenAI evaluation best practices","url":"https://developers.openai.com/api/docs/guides/evaluation-best-practices","checkedAt":"2026-10-17","scope":"OpenAI-Empfehlungen für anwendungsbezogene Tests, laufende Bewertung und Abgleich automatischer Ergebnisse mit menschlichen Urteilen.","limitations":"Belegt nicht, dass eine konkrete Bewertung durchgeführt wurde, und ersetzt keine Prüfung der eigenen Anwendung."},{"id":"S12","title":"Introducing SimpleQA","url":"https://openai.com/index/introducing-simpleqa/","checkedAt":"2026-10-17","scope":"Ursprünglicher SimpleQA-Datensatz mit kurzen Faktenfragen.","limitations":"Umfang und Konzeption des Datensatzes belegen weder aktuelle Modellgenauigkeit noch Repräsentativität für alle Nutzerfragen."},{"id":"S14","title":"Evaluate on the Hub","url":"https://huggingface.co/docs/evaluate/en/index","checkedAt":"2026-10-17","scope":"Hugging-Face-Dokumentation zur Modellbewertung.","limitations":"Ranglisten beziehen sich auf Aufgaben oder Domänen; Beschreibungen durch die Modellautoren sind keine automatische unabhängige Prüfung."},{"id":"S20","title":"HELM","url":"https://github.com/stanford-crfm/helm","checkedAt":"2026-10-17","scope":"Von den Entwicklern beschriebenes HELM-Bewertungsframework.","limitations":"Die Existenz eines Frameworks beweist weder die Durchführung einer Bewertung noch die Übertragbarkeit auf eine andere Aufgabe."}],"relatedTopicIds":["07","15"],"methodNote":"Redaktioneller Leitfaden von NamedProof. Recherche und Zusammenfassung wurden mit KI-Unterstützung erstellt; die zitierten Passagen der Primärquellen wurden für den Leitfaden geprüft. Der Text ist keine beauftragte Expertenbewertung und wurde nicht durch eine menschliche Fachperson geprüft. Als hypothetisch gekennzeichnete Beispiele dienen der Erklärung und sind keine Kundenergebnisse.","limitations":["Für diesen Artikel wurde kein Modell oder Produkt einem Benchmark unterzogen.","Der Methodenvergleich ist eine praktische Zusammenstellung, kein Zertifizierungsstandard.","Öffentliche Benchmarks und Anbieterempfehlungen belegen keine Eignung für einen ungeprüften Arbeitsablauf des Lesers."],"originalContribution":"Ein aufgabenbezogener Methodenvergleich und ein Prüfauftrag, der Richtigkeit, Quellenunterstützung, Abdeckung, Nichtantworten und Betriebsgrenzen auseinanderhält.","relatedArticles":[{"title":"Quellen und Zitate prüfen: jede Aussage einzeln belegen","locale":"de","canonicalUrl":"https://namedproof.com/knowledge/de/quellen-und-zitate-pruefen"},{"title":"Generative Engine Optimization: Was die Belege tragen","locale":"de","canonicalUrl":"https://namedproof.com/knowledge/de/generative-engine-optimization-evidenz"}],"availableTranslations":[{"title":"How to evaluate an LLM for the job you need it to do","locale":"en","canonicalUrl":"https://namedproof.com/knowledge/en/llm-evaluation"},{"title":"LLM-Evaluation: Ein Sprachmodell für die konkrete Aufgabe prüfen","locale":"de","canonicalUrl":"https://namedproof.com/knowledge/de/llm-evaluation-aufgabenbezogen"},{"title":"Comment évaluer un modèle de langage pour une tâche précise","locale":"fr","canonicalUrl":"https://namedproof.com/knowledge/fr/evaluer-modele-langage"},{"title":"Cómo evaluar un modelo de lenguaje para la tarea que necesitas","locale":"es","canonicalUrl":"https://namedproof.com/knowledge/es/evaluacion-modelos-llm"}]}