Workers en arrière-plan

La pile par défaut ne démarre pas les workers. L'ingestion du site web se poursuit avec des capacités réduites.

Sans Crawl4AI, Ciele utilise son fetch crawler intégré. Le crawler intégré lit bien les pages rendues côté serveur. Il est moins performant sur les pages qui nécessitent JavaScript.

Les workers sont définis dans un fichier Compose distinct, deploy/docker-compose.workers.yml. La pile ne lit ce fichier que lorsque COMPOSE_FILE le répertorie.

Activer les workers

Exécutez le script de bootstrap avec l'option --workers :

./deploy/bootstrap.sh --workers

Le script ajoute le fichier à COMPOSE_FILE dans deploy/.env. Il génère également les deux identifiants du crawler :

COMPOSE_FILE=docker-compose.yml:docker-compose.workers.yml
CRAWL4AI_API_TOKEN=<generated>
CRAWL4AI_SECRET_KEY=<generated>

Les options --workers et --images sont indépendantes. Aucune de ces options ne désactive l'autre.

Le crawler peut nécessiter environ 4 Gio de mémoire. Mesurez l'utilisation réelle sur l'hôte que vous avez sélectionné.

Vérifier l'état du worker

Incluez le fichier workers dans chaque commande :

docker compose -f deploy/docker-compose.yml -f deploy/docker-compose.workers.yml ps
docker compose -f deploy/docker-compose.yml -f deploy/docker-compose.workers.yml logs -f crawl4ai

N'exposez pas les ports ni les tokens des workers au réseau public.

Désactiver les workers

Supprimez docker-compose.workers.yml de COMPOSE_FILE dans deploy/.env. Ensuite, supprimez le conteneur :

docker compose -f deploy/docker-compose.yml up -d --remove-orphans

Mise à niveau à partir d'une version comportant le graph worker

Les versions antérieures démarraient également un graph worker à partir de ce fichier. Le moteur de graphe est supprimé. La recherche dans la base de connaissances utilise désormais l'index de la base de données et une étape de reclassement.

Après la mise à niveau, exécutez la commande --remove-orphans ci-dessus une seule fois. Cela arrête l'ancien conteneur graph-worker. Vous pouvez également supprimer les anciennes variables GRAPH_* de deploy/.env.

Tâches de mémoire à long terme

La mémoire à long terme utilise le registre des tâches durables intégré. Elle ne nécessite pas les workers optionnels.

Chaque tour connecté planifie une tâche promote_memories après une période d'inactivité de 15 minutes. Le profil cron traite ces tâches via le route planifié existant.

Conservez cron dans COMPOSE_PROFILES lorsque la mémoire à long terme est activée. La configuration d'auto-hébergement par défaut l'inclut déjà.

La tâche ignore l'extraction lorsque la mémoire est désactivée ou lorsque le budget quotidien de tokens est épuisé. Il ignore également l'étape lorsqu'aucune connexion de modèle appropriée n'existe.