Évaluation

Eval soumet les mêmes questions à deux ou trois modèles et compare les résultats. Une exécution Eval teste une étape d'un Assistant. Elle ne crée aucune Conversation ; par conséquent, elle n'apparaît ni dans l'Inbox ni dans les Insights.

Tout membre peut ouvrir Eval et consulter les exécutions. Les Editors, les Admins et les Owners peuvent importer des jeux de données et lancer des exécutions.

Stages

• Answer compare la réponse, les Sources citées et la qualité de la réponse de chaque modèle.
• Classifier compare le Flow sélectionné par chaque modèle.
• Orchestration exécute le tour complet avec chaque modèle en tant que classificateur.
• Fallback rend le fournisseur propre de l'Assistant indisponible et compare les modèles de réserve.
• Pre-flight compare la décision de pré-vol et son niveau de confiance. Seul Jev fournit un niveau de confiance calibré ; par conséquent, seul Jev peut acheminer un message. Les autres modèles indiquent la décision qu'ils prendraient.
• Reranker compare les Sources que chaque reranker place dans les six premiers résultats.

Chaque étape affiche uniquement les modèles qui peuvent l'exécuter. Un modèle peut s'exécuter via une connexion fournisseur de l'Organisation ou via AI Gateway.

Importer un jeu de données

1. Ouvrez Eval et sélectionnez l'onglet Datasets.
2. Sélectionnez Download example format pour obtenir le format JSON.
3. Rédigez un exemple pour chaque question. Chaque exemple comporte un id et un inputs.question.
4. Vous pouvez, si vous le souhaitez, ajouter reference_outputs. Ciele les utilise pour mesurer la précision.
5. Saisissez un nom, sélectionnez le fichier, puis sélectionnez Upload.

Un jeu de données peut contenir jusqu'à 50 exemples. Chaque ID d'exemple doit être unique.

Les champs de référence sont answer_contains, flow_id, flow_name et source_url_contains. Ciele les vérifie en tant que texte littéral. L'exactitude n'est pas un jugement portant sur le sens ni sur les faits.

Lancer une exécution

1. Sélectionnez l'onglet Runs.
2. Sélectionnez un Assistant, un jeu de données et une étape.
3. Sélectionnez deux ou trois modèles.
4. Sélectionnez Start run.

Une exécution peut comporter jusqu'à 24 exécutions. Une exécution correspond à un exemple avec un modèle. Par exemple, 12 exemples avec deux modèles représentent 24 exécutions.

L'exécution se termine avant que la page n'affiche ses résultats. Une exécution qui s'arrête avant d'être terminée s'affiche comme ayant échoué. Ciele conserve les résultats qu'elle a enregistrés avant son arrêt.

Consulter les résultats

Le tableau de bord de fiabilité affiche six graphiques pour chaque modèle :

• Accuracy, uniquement pour les exemples avec des sorties de référence.
• Cost, une estimation par exemple qui n'inclut pas les coûts de récupération.
• Tokens, l'entrée et la sortie du modèle par exemple.
• Latency, le temps moyen par exemple.
• Autonomy, les tours qui se sont terminés sans fallback ni refusal.
• Error rate, les exécutions qui ont rencontré une erreur technique.

Latency distribution by model compare l'écart et les queues des exécutions enregistrées. Chaque courbe utilise des observations brutes de latence, y compris les défaillances techniques. Un modèle a besoin d'au moins deux observations pour tracer une courbe. Les courbes comportant moins de 20 échantillons sont exploratoires. Utilisez les nombres affichés et les résultats individuels pour les évaluer. Ce graphique utilise une population différente de celle du Leaderboard, qui exclut les défaillances techniques du calcul de la latence.

Un modèle sans exécution enregistrée affiche une mesure absente au lieu d'un coût ou d'une latence égal à zéro.

Sous les graphiques, le tableau Leaderboard présente une ligne pour chaque modèle. Le modèle le plus précis apparaît en premier. Lorsque deux modèles présentent la même précision, le modèle le moins coûteux est placé en premier.

• Accuracy, les exemples avec des sorties de référence que le modèle a traités correctement.
• Autonomy, uniquement pour les étapes qui le mesurent.
• Errors, uniquement lorsqu'un modèle a rencontré une erreur technique.
• € / 1 000, le coût estimé pour 1 000 exemples.
• Median et p95, le temps par exemple. Les exécutions comportant une erreur ne sont pas prises en compte.
• À l'étape Classifier, une colonne pour chaque Flow de référence. Chaque colonne indique le nombre d'exemples corrects pour ce Flow.

Le tableau indique en gras le coût le plus bas et le temps médian le plus court.

Sélectionnez une ligne dans Results by question pour comparer les réponses, les Sources et les erreurs de chaque modèle.

Limites

• Une exécution effectue une recherche dans la Knowledge en temps réel. Une modification apportée à la Knowledge pendant une exécution peut modifier ses résultats.
• Une exécution n'effectue pas d'actions ayant des effets externes, telles que Send email ou API request. Un Flow qui en contient un enregistre une erreur.
• Les appels du modèle Eval utilisent les connexions aux fournisseurs de l'Organisation. Lorsqu'aucune connexion ne dessert un modèle, l'appel utilise AI Gateway. Tous les appels sont comptabilisés dans le budget de l'Organisation.