§ 01
索引现状
—
已索引域名
—
每分钟域名数
§ 02
过去三十天
§ 03
什么是 RootCrawl
开放网络上每个网站正门的存档。
RootCrawl 访问可触及的每个域名的根路径,压缩响应、存储,并将其提供给所有研究网络变化的人。
我们不是搜索引擎。我们不索引子页面、商品、文章或媒体。我们只抓取首页 —— 正门、招牌,运营者最希望您看到的那一面。数亿个域名,定期刷新,gzip 压缩到磁盘。
一切对学术和研究用途免费。我们只要求您引用我们并尊重速率限制。获取数据 ↓
| 范围 | 仅根路径 —— 绝不深度爬取。 |
|---|---|
| 格式 | 原始 HTML,gzip 压缩存盘。 |
| 刷新频率 | 每月。 |
| 索引字段 | 标题、meta、标题层级、链接、JSON-LD 类型、脚本。 |
"网络的正门,完整存档 —— 这样,即便锁芯更换,大楼的其余部分仍可被研究。"
§ 04
致网站管理员
来访的那个爬虫。
一次请求、一条路径、一份 HTML 响应。我们礼貌、可识别,并且容易屏蔽。
| User-Agent | Mozilla/5.0 (compatible; RootCrawl/1.0; +https://rootcrawl.org/bot) |
|---|---|
| 范围 |
仅首页(/)。无子页、无媒体、无表单。
|
| 节奏 | 全局速率限制。最多 3 次重定向。10 秒请求超时。 |
| Robots |
已遵守。如需完全排除,请将下方片段加入您的 robots.txt。
|
User-agent: RootCrawl Disallow: /
§ 05
获取数据
一个域名,或全部域名。
所有 /api/archive 下的端点都需要 API 密钥。创建免费账户 即可生成一个 —— 30 秒、无需等待、无需验证邮件。
存档内容
—分块
—域名
—总大小
—生成时间
加载中……
切分为 65,536 个分块。以 tar 流式传输。可用 curl、aria2c 或我们的小型 Node CLI 下载。
单个域名
检查某个域名是否存在于镜像和爬虫数据库中。无需 API 密钥。下载归档 HTML 需要免费账户。
批量镜像
选择一种工具。每段代码片段都已预填您保存的密钥。
aria2c
wget
内置 CLI
端点参考
下方所有路径均相对于基础 URL https://rootcrawl.org。每次请求需要 X-API-Key: <key>(或 ?key=<key>)。
GET /api/archive/manifest.json分块列表 + 总计(JSON)。GET /api/archive/urls.txt每行一个分块 tar 的 URL。GET /api/archive/chunks/XX/YY.ndjson单个分块的文件列表。GET /api/archive/chunks/XX/YY.tar分块中所有.html.gz的流式 tar。GET /api/archive/domain/<domain>单个域名。?format=html(默认)内联 gzip HTML;?format=download强制附件下载;?format=metadataJSON,包含镜像文件信息 + 爬虫记录。