Eval

Eval sottopone le stesse domande a due o tre modelli e confronta i risultati. Un'esecuzione Eval verifica una singola fase di un Assistente. Non crea alcuna Conversation, quindi non viene visualizzata né in Inbox né in Insights.

Qualsiasi membro può aprire Eval e leggere le esecuzioni. Gli Editors, gli Admins e gli Owners possono caricare dataset e avviare esecuzioni.

Stages

• Answer confronta la risposta, le Sources citate e la qualità della risposta di ciascun modello.
• Classifier confronta quale Flow seleziona ciascun modello.
• Orchestration esegue il turno completo con ciascun modello come classificatore.
• Fallback rende non disponibile il provider dell'Assistente e confronta i modelli di riserva.
• Pre-flight confronta la decisione pre-flight e il relativo livello di confidenza. Solo Jev fornisce un livello di confidenza calibrato, quindi solo Jev può instradare un messaggio. Gli altri modelli mostrano la decisione che prenderebbero.
• Reranker confronta le Sources che ciascun reranker inserisce tra i primi sei risultati.

Ogni fase mostra solo i modelli che possono eseguirla. Un modello può essere eseguito tramite una connessione provider dell'Organization oppure tramite AI Gateway.

Carica un dataset

1. Apri Eval e seleziona la scheda Datasets.
2. Seleziona Download example format per ottenere il formato JSON.
3. Scrivi un esempio per ogni domanda. Ogni esempio ha un id e un inputs.question.
4. Facoltativamente, aggiungi reference_outputs. Ciele li utilizza per misurare l'accuratezza.
5. Inserisci un nome, seleziona il file e seleziona Upload.

Un dataset può contenere fino a 50 esempi. Ogni ID di esempio deve essere univoco.

I campi di riferimento sono answer_contains, flow_id, flow_name e source_url_contains. Ciele li verifica come testo letterale. L'accuratezza non è un giudizio sul significato o sui fatti.

Avvia un'esecuzione

1. Seleziona la scheda Runs.
2. Seleziona un Assistant, un dataset e uno stage.
3. Seleziona due o tre modelli.
4. Seleziona Start run.

Una singola run può eseguire fino a 24 execution. Un'esecuzione è un esempio con un modello. Ad esempio, 12 esempi con due modelli corrispondono a 24 esecuzioni.

L'esecuzione termina prima che la pagina mostri i suoi risultati. Un'esecuzione che si interrompe prima di completarsi viene contrassegnata come failed. Ciele conserva i risultati salvati prima dell'interruzione.

Leggi i risultati

La dashboard di affidabilità mostra sei grafici per ciascun modello:

• Accuracy, solo per gli esempi con output di riferimento.
• Cost, una stima per esempio che non include i costi di recupero.
• Tokens, l'input e l'output del modello per ogni esempio.
• Latency, il tempo medio per esempio.
• Autonomy, i turni completati senza fallback né rifiuto.
• Error rate, le esecuzioni che hanno riportato un errore tecnico.

Latency distribution by model confronta la dispersione e le code delle esecuzioni registrate. Ogni curva utilizza osservazioni di latenza grezze, inclusi i guasti tecnici. Un modello necessita di almeno due osservazioni per tracciare una curva. Le curve con meno di 20 campioni sono esplorative. Usa i conteggi visualizzati e i singoli risultati per valutarli. Questo grafico utilizza una popolazione diversa rispetto alla Leaderboard, che esclude i guasti tecnici dal calcolo della latenza.

Un modello senza esecuzioni registrate mostra una misurazione assente anziché un costo o una latenza pari a zero.

Sotto i grafici, la tabella Leaderboard mostra una riga per ogni modello. Il modello più accurato è il primo. Quando due modelli hanno la stessa accuratezza, il modello meno costoso viene mostrato per primo.

• Accuracy, gli esempi con output di riferimento che il modello ha classificato correttamente.
• Autonomy, solo per le fasi che lo misurano.
• Errors, solo quando un modello ha riscontrato un errore tecnico.
• € / 1.000, il costo stimato per 1.000 esempi.
• Median e p95, il tempo per esempio. Le esecuzioni con un errore non sono incluse.
• Nella fase Classifier, una colonna per ciascun Flow di riferimento. Ogni colonna mostra il numero di esempi corretti per quel Flow.

La tabella mostra in grassetto il costo più basso e il tempo mediano più basso.

Seleziona una riga in Results by question per confrontare le risposte, le Sources e gli errori di ciascun modello.

Limiti

• Un'esecuzione effettua una ricerca nella Knowledge attiva. Una modifica alla Knowledge durante un'esecuzione può alterarne i risultati.
• Un'esecuzione non esegue azioni con effetti esterni, come Send email o API request. Un Flow che ne contiene uno registra un errore.
• Le chiamate al modello Eval utilizzano le connessioni del provider dell'Organization. Quando nessun collegamento serve un modello, la chiamata utilizza AI Gateway. Tutte le chiamate vengono conteggiate nel budget dell'Organization.