Hintergrundprozesse

Der Standard-Stack startet die Worker nicht. Die Website-Erfassung wird mit eingeschränkten Funktionen fortgesetzt.

Ohne Crawl4AI verwendet Ciele seinen integrierten Fetch-Crawler. Der integrierte Crawler liest servergerenderte Seiten gut aus. Er ist schwächer bei Seiten, die JavaScript benötigen.

Die Worker sind eine separate Compose-Datei, deploy/docker-compose.workers.yml. Der Stack liest diese Datei nur, wenn COMPOSE_FILE sie auflistet.

Worker aktivieren

Führen Sie das Bootstrap-Skript mit der Option --workers aus:

./deploy/bootstrap.sh --workers

Das Skript fügt die Datei zu COMPOSE_FILE in deploy/.env hinzu. Es generiert außerdem die beiden Crawler-Anmeldeinformationen:

COMPOSE_FILE=docker-compose.yml:docker-compose.workers.yml
CRAWL4AI_API_TOKEN=<generated>
CRAWL4AI_SECRET_KEY=<generated>

Die Option --workers und die Option --images sind voneinander unabhängig. Keine der beiden Optionen deaktiviert die andere.

Der Crawler kann etwa 4 GiB Arbeitsspeicher benötigen. Messen Sie die tatsächliche Nutzung auf Ihrem ausgewählten Host.

Worker-Status prüfen

Fügen Sie die Datei „workers“ in jeden Befehl ein:

docker compose -f deploy/docker-compose.yml -f deploy/docker-compose.workers.yml ps
docker compose -f deploy/docker-compose.yml -f deploy/docker-compose.workers.yml logs -f crawl4ai

Stellen Sie Worker-Ports oder -Token nicht im öffentlichen Netzwerk bereit.

Worker deaktivieren

Entfernen Sie docker-compose.workers.yml aus COMPOSE_FILE in deploy/.env. Entfernen Sie anschließend den Container:

docker compose -f deploy/docker-compose.yml up -d --remove-orphans

Upgrade von einer Version mit dem Graph Worker durchführen

In früheren Versionen wurde ebenfalls ein Graph-Worker aus dieser Datei gestartet. Die Graph-Engine wird entfernt. Die Knowledge Search verwendet jetzt den Datenbankindex und einen Reranking-Schritt.

Führen Sie nach dem Upgrade den oben genannten Befehl --remove-orphans einmal aus. Es stoppt den alten graph-worker-Container. Sie können auch die alten GRAPH_*-Variablen aus deploy/.env löschen.

Langzeitspeicher-Jobs

Der Langzeitspeicher verwendet das integrierte, dauerhafte Job-Ledger. Es sind keine optionalen Worker erforderlich.

Jede angemeldete Runde plant einen promote_memories-Job nach einem 15-minütigen Ruhefenster ein. Das cron-Profil verarbeitet diese Jobs über die vorhandene geplante Route.

Lassen Sie cron in COMPOSE_PROFILES aktiviert, wenn der Langzeitspeicher aktiviert ist. Die Standardkonfiguration für Self-Hosting enthält dies bereits.

Der Job überspringt die Extraktion, wenn der Speicher deaktiviert ist oder das tägliche Token-Budget aufgebraucht ist. Es wird auch übersprungen, wenn keine geeignete Modellverbindung vorhanden ist.