Un archivo de la puerta principal de cada sitio web en la web abierta.
RootCrawl visita la ruta raíz de cada dominio al que puede llegar. Comprime la respuesta, la guarda y la devuelve a cualquiera que estudie cómo cambia la web.
No somos un motor de búsqueda. No indexamos subpáginas, productos, artículos ni medios. Rastreamos solo la página de inicio — la puerta principal, la marquesina, la parte que el operador más quiere mostrar. Cientos de millones de dominios, actualizados regularmente, comprimidos con gzip en disco.
Todo es gratis para uso académico y de investigación. Solo pedimos que nos cites y respetes los límites de tasa. Descarga los datos ↓
| Alcance | Solo ruta raíz — sin rastreo profundo, jamás. |
|---|---|
| Formato | HTML en bruto, comprimido con gzip. |
| Actualización | Mensual. |
| Indexado | Título, meta, encabezados, enlaces, tipos JSON-LD, scripts. |
«Las puertas principales de la web, archivadas íntegramente — para que el resto del edificio aún pueda ser estudiado después del cambio de cerraduras.»
El bot que te visitó.
Una petición, una ruta, una respuesta HTML. Somos educados, identificables y fáciles de bloquear.
| User-Agent | Mozilla/5.0 (compatible; RootCrawl/1.0; +https://rootcrawl.org/bot) |
|---|---|
| Alcance |
Solo la página de inicio (/). Sin subpáginas, sin medios, sin formularios.
|
| Ritmo | Tasa limitada globalmente. Máx. 3 redirecciones. Tiempo de espera de 10 segundos. |
| Robots |
Respetado. Para excluirte por completo, añade el siguiente fragmento a tu robots.txt.
|
User-agent: RootCrawl Disallow: /
Un dominio, o todos.
Cada endpoint bajo /api/archive requiere una clave de API. Crea una cuenta gratuita para generar una — 30 segundos, sin esperas, sin correo de verificación.
Contenido del archivo
Dividido en 65.536 chunks. Transmitido como tar. Descargado con curl, aria2c o nuestro pequeño CLI de Node.
Un solo dominio
Comprueba si un dominio está en el mirror y en la base de datos del rastreador. No se requiere clave de API. Descargar el HTML archivado requiere una cuenta gratuita.
Espejo masivo
Elige una herramienta. Cada fragmento incluye tu clave guardada.
Referencia de endpoints
Todas las rutas siguientes son relativas a la URL base https://rootcrawl.org. Cada petición requiere X-API-Key: <key> (o ?key=<key>).
GET /api/archive/manifest.jsonLista de chunks + totales (JSON).GET /api/archive/urls.txtUna URL de tar por línea.GET /api/archive/chunks/XX/YY.ndjsonListado de archivos de un chunk.GET /api/archive/chunks/XX/YY.tartar transmitido de cada.html.gzdel chunk.GET /api/archive/domain/<domain>Un solo dominio.?format=html(por defecto) HTML gzip en línea;?format=downloadforzar descarga;?format=metadataJSON con info del archivo del mirror + registro del rastreador.