Procesos en segundo plano
Habilita el servicio opcional de rastreo con renderizado de JavaScript.
La pila predeterminada no inicia los workers. La ingesta del sitio web continúa con capacidades reducidas.
Sin Crawl4AI, Ciele utiliza su rastreador de recuperación integrado. El rastreador integrado lee bien las páginas renderizadas en el servidor. Es menos eficaz en páginas que requieren JavaScript.
Los workers están en un archivo Compose independiente,
deploy/docker-compose.workers.yml. La pila lee ese archivo solo cuando
COMPOSE_FILE lo incluye en su lista.
Habilita los workers
Ejecuta el script de bootstrap con la opción --workers:
./deploy/bootstrap.sh --workersEl script añade el archivo a COMPOSE_FILE en deploy/.env. También genera las
dos credenciales del rastreador:
COMPOSE_FILE=docker-compose.yml:docker-compose.workers.yml
CRAWL4AI_API_TOKEN=<generated>
CRAWL4AI_SECRET_KEY=<generated>La opción --workers y la opción --images son independientes. Ninguna de las
opciones desactiva a la otra.
El rastreador puede necesitar aproximadamente 4 GiB de memoria. Mide el uso real en el host que hayas seleccionado.
Comprueba el estado del worker
Incluye el archivo workers en cada comando:
docker compose -f deploy/docker-compose.yml -f deploy/docker-compose.workers.yml ps
docker compose -f deploy/docker-compose.yml -f deploy/docker-compose.workers.yml logs -f crawl4aiNo expongas los puertos ni los tokens de los workers a la red pública.
Deshabilita los workers
Elimina docker-compose.workers.yml de COMPOSE_FILE en deploy/.env. A
continuación, elimina el contenedor:
docker compose -f deploy/docker-compose.yml up -d --remove-orphansActualiza desde una versión con el worker de grafos
Las versiones anteriores también iniciaban un worker de grafo a partir de este archivo. Se elimina el motor de grafos. La búsqueda de conocimiento ahora utiliza el índice de la base de datos y un paso de reordenación.
Después de actualizar, ejecuta el comando --remove-orphans que aparece arriba
una sola vez. Detiene el contenedor antiguo graph-worker. También puedes
eliminar las variables antiguas GRAPH_* de deploy/.env.
Tareas de memoria a largo plazo
La memoria a largo plazo utiliza el registro de trabajos duraderos integrado. No requiere los workers opcionales.
Cada turno con sesión iniciada programa una tarea promote_memories tras un
período de inactividad de 15 minutos. El perfil cron procesa estas tareas a
través de la ruta programada existente.
Mantén cron en COMPOSE_PROFILES cuando la memoria a largo plazo esté
habilitada. La configuración predeterminada de autoalojamiento ya lo incluye.
La tarea omite la extracción cuando la memoria está deshabilitada o cuando se agota el presupuesto diario de tokens. También lo omite cuando no existe ninguna conexión de modelo adecuada.