Worker in background

Lo stack predefinito non avvia i worker. L'ingestione del sito web prosegue con funzionalità ridotte.

Senza Crawl4AI, Ciele utilizza il suo fetch crawler integrato. Il crawler integrato legge bene le pagine renderizzate lato server. È meno efficace sulle pagine che richiedono JavaScript.

I worker sono definiti in un file Compose separato, deploy/docker-compose.workers.yml. Lo stack legge quel file solo quando COMPOSE_FILE lo elenca.

Abilita i worker

Esegui lo script di bootstrap con l'opzione --workers:

./deploy/bootstrap.sh --workers

Lo script aggiunge il file a COMPOSE_FILE in deploy/.env. Genera inoltre le due credenziali del crawler:

COMPOSE_FILE=docker-compose.yml:docker-compose.workers.yml
CRAWL4AI_API_TOKEN=<generated>
CRAWL4AI_SECRET_KEY=<generated>

L'opzione --workers e l'opzione --images sono indipendenti. Nessuna delle due opzioni disabilita l'altra.

Il crawler può richiedere circa 4 GiB di memoria. Misura l'utilizzo effettivo sul tuo host selezionato.

Controlla lo stato del worker

Includi il file workers in ogni comando:

docker compose -f deploy/docker-compose.yml -f deploy/docker-compose.workers.yml ps
docker compose -f deploy/docker-compose.yml -f deploy/docker-compose.workers.yml logs -f crawl4ai

Non esporre le porte o i token dei worker alla rete pubblica.

Disabilita i worker

Rimuovi docker-compose.workers.yml da COMPOSE_FILE in deploy/.env. Quindi rimuovi il container:

docker compose -f deploy/docker-compose.yml up -d --remove-orphans

Esegui l'upgrade da una release con il graph worker

Anche le versioni precedenti avviavano un graph worker da questo file. Il motore del grafo è stato rimosso. La ricerca nella Knowledge Base ora utilizza l'indice del database e una fase di reranking.

Dopo l'aggiornamento, esegui una sola volta il comando --remove-orphans riportato sopra. Interrompe il vecchio container graph-worker. Puoi anche eliminare le vecchie variabili GRAPH_* da deploy/.env.

Job della memoria a lungo termine

La memoria a lungo termine utilizza il durable job ledger integrato. Non richiede i worker opzionali.

Ogni turno di un utente connesso pianifica un job promote_memories dopo una finestra di inattività di 15 minuti. Il profilo cron esegue questi job attraverso il percorso pianificato esistente.

Mantieni cron in COMPOSE_PROFILES quando la memoria a lungo termine è abilitata. La configurazione self-host predefinita lo include già.

Il job salta l'estrazione quando la memoria è disabilitata o quando il budget giornaliero di token è esaurito. Inoltre, viene saltato quando non esiste alcuna connessione a un modello idoneo.