CIALLO SO 蜘蛛说明
CIALLO SO 使用两个蜘蛛来发现和索引网站内容。本页介绍它们的工作方式、如何控制抓取行为，以及联系方式。
1. CialloSoBot — 站点发现爬虫
User-Agent: CialloSoBot/1.0 (+https://ciallo.so/help)
功能：
- 抓取已收录网站的首页，定期（每 7 天）更新标题、描述和关键词
- 发现首页上链接的其他网站，自动收录新站点
- 严格遵守
robots.txt：如果您的 robots.txt 禁止了首页访问，CialloSoBot 不会抓取
抓取频率： 每个站点每 7 天访问一次，同一主机两次请求间隔至少 2 秒
2. CialloRssBot — 订阅源蜘蛛
User-Agent: CialloRssBot/1.0 (+https://ciallo.so/help)
功能：
- 探测和订阅网站公开的 RSS、Atom 或 JSON Feed
- 定期拉取订阅源更新，索引新发布的文章
- 不查询 robots.txt：我们认为公开发布的订阅源表示站长主动开放内容，无需额外许可
抓取策略：
- 首先检查网站首页的
<link rel="alternate">标签和页脚的订阅链接 - 若未找到提示，会尝试常见路径（如
/feed/、/rss.xml、/atom.xml等） - 找到可解析的订阅源后即停止探测，不会继续尝试其他路径
- 没有找到订阅源时不会收录任何内容
如何控制抓取
禁止 CialloSoBot（站点爬虫）：
在您网站根目录的 robots.txt 中添加：
User-agent: CialloSoBot Disallow: /
这将阻止 CialloSoBot 访问您的网站首页。如果首页被禁止，站点不会被收录或更新。
禁止 CialloRssBot（订阅源蜘蛛）：
CialloRssBot 不查询 robots.txt。如果您不希望订阅源被索引，请：
- 移除首页的订阅源链接（
<link rel="alternate">） - 或者为订阅源 URL 设置访问控制（如密码保护、IP 白名单）
- 或者在服务器配置中根据 User-Agent 阻止
CialloRssBot
同时禁止两个蜘蛛：
User-agent: CialloSoBot Disallow: / User-agent: CialloRssBot Disallow: /
联系我们
如果您是站长，希望与我们交流、反馈问题或提出建议，欢迎通过邮件联系：
我们也欢迎主动提交网站主页到 CIALLO SO：提交网站