Ein Archiv der Eingangstür jeder Website im offenen Web.
RootCrawl besucht den Wurzelpfad jeder erreichbaren Domain. Es komprimiert die Antwort, speichert sie und liefert sie zurück an alle, die untersuchen, wie sich das Web verändert.
Wir sind keine Suchmaschine. Wir indizieren keine Unterseiten, Produkte, Artikel oder Medien. Wir crawlen ausschließlich die Startseite — die Eingangstür, das Aushängeschild, den Teil, den der Betreiber am liebsten zeigt. Hunderte Millionen Domains, regelmäßig aktualisiert, gzip-komprimiert auf der Festplatte.
Alles ist kostenlos für akademische und Forschungszwecke. Wir bitten lediglich um Quellennennung und Einhaltung der Rate-Limits. Daten abrufen ↓
| Umfang | Nur Wurzelpfad — niemals Tiefen-Crawl. |
|---|---|
| Format | Roh-HTML, gzip-komprimiert. |
| Aktualisierung | Monatlich. |
| Indiziert | Titel, Meta, Überschriften, Links, JSON-LD-Typen, Skripte. |
„Die Eingangstüren des Webs, vollständig archiviert — damit das übrige Gebäude auch nach dem Schlosswechsel studiert werden kann."
Der Bot, der Sie besucht hat.
Ein Request, ein Pfad, eine HTML-Antwort. Wir sind höflich, identifizierbar und leicht zu blockieren.
| User-Agent | Mozilla/5.0 (compatible; RootCrawl/1.0; +https://rootcrawl.org/bot) |
|---|---|
| Umfang |
Nur Startseite (/). Keine Unterseiten, keine Medien, keine Formulare.
|
| Geschwindigkeit | Global rate-limitiert. Maximal 3 Weiterleitungen. 10-Sekunden-Timeout. |
| Robots |
Beachtet. Um sich vollständig abzumelden, fügen Sie folgendes Snippet in Ihre robots.txt ein.
|
User-agent: RootCrawl Disallow: /
Eine Domain — oder alle.
Jeder Endpunkt unter /api/archive erfordert einen API-Schlüssel. Erstellen Sie ein kostenloses Konto, um einen zu erzeugen — 30 Sekunden, ohne Wartezeit, ohne Bestätigungs-E-Mail.
Archiv-Inhalt
In 65.536 Chunks aufgeteilt. Als tar gestreamt. Mit curl, aria2c oder unserem kleinen Node-CLI abgerufen.
Einzelne Domain
Prüfen, ob eine Domain im Mirror und in der Crawler-Datenbank vorhanden ist. Kein API-Schlüssel erforderlich. Für den HTML-Download wird ein kostenloses Konto benötigt.
Bulk-Spiegel
Wählen Sie ein Tool. Jedes Snippet enthält bereits Ihren gespeicherten Schlüssel.
Endpunkt-Referenz
Alle Pfade unten sind relativ zur Basis-URL https://rootcrawl.org. Jede Anfrage erfordert X-API-Key: <key> (oder ?key=<key>).
GET /api/archive/manifest.jsonChunk-Liste + Summen (JSON).GET /api/archive/urls.txtEine Chunk-tar-URL pro Zeile.GET /api/archive/chunks/XX/YY.ndjsonDateiliste für einen Chunk.GET /api/archive/chunks/XX/YY.tarGestreamter tar mit allen.html.gzim Chunk.GET /api/archive/domain/<domain>Einzelne Domain.?format=html(Standard) Inline-gzip-HTML;?format=downloadDownload erzwingen;?format=metadataJSON mit Mirror-Dateiinfos + Crawler-Eintrag.