Eval

Eval somete las mismas preguntas a dos o tres modelos y compara los resultados. Una ejecución de Eval prueba una etapa de un asistente. No crea ninguna Conversation, por lo que no aparece en Inbox ni en Insights.

Cualquier miembro puede abrir Eval y leer las ejecuciones. Los Editors, Admins y Owners pueden subir conjuntos de datos e iniciar ejecuciones.

Etapas

• Answer compara la respuesta, las Sources citadas y la calidad de la respuesta de cada modelo.
• Classifier compara qué Flow selecciona cada modelo.
• Orchestration ejecuta el turno completo con cada modelo como clasificador.
• Fallback hace que el proveedor propio del asistente no esté disponible y compara los modelos de reserva.
• Pre-flight compara la decisión previa a la ejecución y su nivel de confianza. Solo Jev proporciona una confianza calibrada, por lo que solo Jev puede enrutar un mensaje. Otros modelos muestran la decisión que tomarían.
• Reranker compara las Sources que cada reranker coloca entre los seis primeros resultados.

Cada etapa muestra únicamente los modelos que pueden ejecutarla. Un modelo puede ejecutarse a través de una conexión de proveedor de la organización o a través de AI Gateway.

Sube un conjunto de datos

1. Abre Eval y selecciona la pestaña Datasets.
2. Selecciona Download example format para obtener el formato JSON.
3. Escribe un ejemplo para cada pregunta. Cada ejemplo tiene un id y un inputs.question.
4. Opcionalmente, añade reference_outputs. Ciele los utiliza para medir la precisión.
5. Introduce un nombre, selecciona el archivo y selecciona Upload.

Un conjunto de datos puede contener hasta 50 ejemplos. Cada ID de ejemplo debe ser único.

Los campos de referencia son answer_contains, flow_id, flow_name y source_url_contains. Ciele los comprueba como texto literal. La precisión no es un juicio sobre el significado ni sobre los hechos.

Inicia una ejecución

1. Selecciona la pestaña Runs.
2. Selecciona un Assistant, un conjunto de datos y una etapa.
3. Selecciona dos o tres modelos.
4. Selecciona Start run.

Una ejecución puede realizar hasta 24 ejecuciones. Una ejecución es un ejemplo con un modelo. Por ejemplo, 12 ejemplos con dos modelos suponen 24 ejecuciones.

La ejecución finaliza antes de que la página muestre sus resultados. Una ejecución que se detiene antes de finalizar aparece como failed. Ciele conserva los resultados que guardó antes de detenerse.

Lee los resultados

El panel de fiabilidad muestra seis gráficos para cada modelo:

• Accuracy, solo para ejemplos con salidas de referencia.
• Cost, una estimación por ejemplo que no incluye los costes de recuperación.
• Tokens, la entrada y la salida del modelo por ejemplo.
• Latency, el tiempo medio por ejemplo.
• Autonomy, los turnos que se completaron sin recurrir a un fallback ni a un rechazo.
• Error rate, las ejecuciones que presentaron un error técnico.

Latency distribution by model compara la dispersión y las colas de las ejecuciones registradas. Cada curva utiliza observaciones de latencia en bruto, incluidos los fallos técnicos. Un modelo necesita al menos dos observaciones para trazar una curva. Las curvas con menos de 20 muestras son exploratorias. Utiliza los recuentos mostrados y los resultados individuales para evaluarlos. Este gráfico utiliza una población diferente a la de la Leaderboard, que excluye los fallos técnicos de la latencia.

Un modelo sin ejecuciones registradas muestra una medición ausente en lugar de un coste o una latencia de cero.

Debajo de los gráficos, la tabla Leaderboard muestra una fila por cada modelo. El modelo más preciso aparece en primer lugar. Cuando dos modelos tienen la misma precisión, el modelo menos costoso aparece primero.

• Accuracy, los ejemplos con salidas de referencia que el modelo acertó.
• Autonomy, solo para las etapas que lo miden.
• Errors, solo cuando un modelo presentaba un error técnico.
• € / 1,000, el coste estimado de 1000 ejemplos.
• Median y p95, el tiempo por ejemplo. No se incluyen las ejecuciones con error.
• En la etapa Classifier, una columna por cada Flow de referencia. Cada columna muestra el número de ejemplos correctos para ese Flow.

La tabla muestra en negrita el coste más bajo y el tiempo mediano más bajo.

Selecciona una fila en Results by question para comparar las respuestas, las Sources y los errores de cada modelo.

Límites

• Una ejecución busca en el Knowledge en tiempo real. Un cambio en Knowledge durante una ejecución puede alterar sus resultados.
• Una ejecución no realiza acciones con efectos externos, como Send email o API request. Un Flow que contiene uno registra un error.
• Las llamadas al modelo Eval utilizan las conexiones con proveedores de la Organización. Cuando ninguna conexión atiende a un modelo, la llamada utiliza AI Gateway. Todas las llamadas cuentan para el presupuesto de la Organization.