Eval

Eval führt die gleichen Fragen durch zwei oder drei Modelle und vergleicht die Ergebnisse. Ein Eval-Lauf testet eine einzelne Stufe eines Assistants. Es wird keine Conversation erstellt, daher wird sie weder in der Inbox noch in den Insights angezeigt.

Jedes Mitglied kann Eval öffnen und Runs lesen. Editors, Admins und Owners können Datensätze hochladen und Runs starten.

Stages

• Answer vergleicht die Antwort, die zitierten Sources und die Antwortqualität jedes Modells.
• Classifier vergleicht, welchen Flow jedes Modell auswählt.
• Orchestration führt den gesamten Turn mit jedem Modell als Classifier aus.
• Fallback macht den eigenen Provider des Assistants nicht verfügbar und vergleicht die Reservemodelle.
• Pre-flight vergleicht die Pre-Flight-Entscheidung und deren Konfidenz. Nur Jev liefert eine kalibrierte Konfidenz, daher kann nur Jev eine Nachricht weiterleiten. Andere Modelle zeigen die Entscheidung, die sie treffen würden.
• Reranker vergleicht die Sources, die jeder Reranker in den Top-6-Ergebnissen platziert.

Jede Stufe zeigt nur die Modelle an, die sie ausführen können. Ein Modell kann über eine Provider-Verbindung der Organisation oder über das AI Gateway ausgeführt werden.

Einen Datensatz hochladen

1. Öffnen Sie Eval und wählen Sie die Registerkarte Datasets aus.
2. Wählen Sie Download example format aus, um das JSON-Format zu erhalten.
3. Geben Sie für jede Frage ein Beispiel an. Jedes Beispiel hat ein id und ein inputs.question.
4. Optional können Sie reference_outputs hinzufügen. Ciele verwendet sie, um die Genauigkeit zu messen.
5. Geben Sie einen Namen ein, wählen Sie die Datei aus und wählen Sie Upload.

Ein Dataset kann bis zu 50 Beispiele enthalten. Jede Example ID muss eindeutig sein.

Die Referenzfelder sind answer_contains, flow_id, flow_name und source_url_contains. Ciele überprüft sie als wörtlichen Text. Accuracy ist keine Beurteilung von Bedeutung oder von Fakten.

Einen Run starten

1. Wählen Sie die Registerkarte Runs aus.
2. Wählen Sie einen Assistant, einen Datensatz und eine Stage aus.
3. Wählen Sie zwei oder drei Modelle aus.
4. Wählen Sie Start run aus.

Ein Run kann bis zu 24 Executions durchführen. Eine Ausführung ist ein Beispiel mit einem Modell. Beispielsweise ergeben 12 Beispiele mit zwei Modellen 24 Ausführungen.

Der Run endet, bevor die Seite ihre Ergebnisse anzeigt. Ein Run, der vor dem Abschluss abgebrochen wird, wird als failed angezeigt. Ciele behält die Ergebnisse, die es vor dem Stopp gespeichert hat.

Lesen Sie die Ergebnisse

Das Reliability Dashboard zeigt für jedes Modell sechs Diagramme an:

• Accuracy, nur für Beispiele mit Referenzausgaben.
• Cost, eine Schätzung pro Beispiel, die keine Retrieval-Kosten enthält.
• Tokens, der Model-Input und -Output pro Beispiel.
• Latency, die durchschnittliche Zeit pro Beispiel.
• Autonomy, die Turns, die ohne Fallback oder Ablehnung abgeschlossen wurden.
• Error rate, die Ausführungen, bei denen ein technischer Fehler aufgetreten ist.

Latency distribution by model vergleicht die Streuung und die Ausläufer der aufgezeichneten Ausführungen. Jede Kurve basiert auf rohen Latenzbeobachtungen, einschließlich technischer Fehler. Ein Modell benötigt mindestens zwei Beobachtungen, um eine Kurve zu zeichnen. Kurven mit weniger als 20 Stichproben sind explorativ. Verwenden Sie die angezeigten Zählwerte und die einzelnen Ergebnisse, um sie zu bewerten. Dieses Diagramm verwendet eine andere Population als das Leaderboard, bei der technische Fehler von der Latenzzeit ausgeschlossen werden.

Ein Modell ohne aufgezeichnete Ausführungen zeigt einen fehlenden Messwert anstelle von Kosten oder Latenz von null.

Unter den Diagrammen zeigt die Tabelle Leaderboard für jedes Modell eine Zeile an. Das genaueste Modell steht an erster Stelle. Wenn zwei Modelle die gleiche Genauigkeit aufweisen, wird das kostengünstigere Modell zuerst aufgeführt.

• Accuracy, die Beispiele mit Referenzausgaben, die das Modell korrekt gelöst hat.
• Autonomy, nur für die Stages, die dies messen.
• Errors, nur wenn bei einem Modell ein technischer Fehler aufgetreten ist.
• € / 1,000, die geschätzten Kosten für 1.000 Beispiele.
• Median und p95, die Zeit pro Beispiel. Ausführungen mit einem Fehler sind nicht enthalten.
• In der Phase Classifier gibt es eine Spalte für jeden Reference Flow. Jede Spalte zeigt die Anzahl der korrekten Beispiele für diesen Flow an.

In der Tabelle sind die niedrigsten Kosten und die niedrigste Medianzeit fettgedruckt dargestellt.

Wählen Sie eine Zeile in Results by question aus, um die Antworten, die Sources und die Fehler der einzelnen Modelle zu vergleichen.

Einschränkungen

• Ein Run durchsucht die Live-Knowledge. Eine Änderung an Knowledge während eines Runs kann dessen Ergebnisse verändern.
• Ein Run führt keine Aktionen mit externen Auswirkungen aus, wie z. B. Send email oder API request. Ein Flow, der einen enthält, protokolliert einen Fehler.
• Eval-Modellaufrufe verwenden die Provider-Verbindungen der Organisation. Wenn kein Connection ein Modell bedient, verwendet der Aufruf AI Gateway. Alle Aufrufe werden auf das Budget der Organisation angerechnet.