蜘蛛说明
CIALLO SO 使用两个蜘蛛来发现和索引网站内容。下面是它们的工作方式、如何控制抓取,以及联系方式。
1. CialloSoBot — 站点发现爬虫
User-Agent: CialloSoBot/2.0 (+https://ciallo.so/about)
功能:
- 抓取已收录网站的首页,定期(每 7 天)更新标题、描述和关键词
- 发现首页上链接的其他网站,自动收录新站点
- 严格遵守
robots.txt:如果您的 robots.txt 禁止了首页访问,CialloSoBot 不会抓取
抓取频率: 每个站点每 7 天访问一次,同一主机两次请求间隔至少 2 秒
2. CialloRssBot — 订阅源蜘蛛
User-Agent: CialloRssBot/2.0 (+https://ciallo.so/about)
功能:
- 探测和订阅网站公开的 RSS、Atom 或 JSON Feed
- 定期拉取订阅源更新,索引新发布的文章
- 不查询 robots.txt:我们认为公开发布的订阅源表示站长主动开放内容,无需额外许可
抓取策略:
- 首先检查网站首页的
<link rel="alternate">标签和页脚的订阅链接 - 若未找到提示,会尝试常见路径(如
/feed/、/rss.xml、/atom.xml等) - 找到可解析的订阅源后即停止探测,不会继续尝试其他路径
- 没有找到订阅源时不会收录任何内容
如何控制抓取
禁止 CialloSoBot(站点爬虫):
在您网站根目录的 robots.txt 中添加:
User-agent: CialloSoBot Disallow: /
这将阻止 CialloSoBot 访问您的网站首页。如果首页被禁止,站点不会被收录或更新。
禁止 CialloRssBot(订阅源蜘蛛):
CialloRssBot 不查询 robots.txt。如果您不希望订阅源被索引,请:
- 移除首页的订阅源链接(
<link rel="alternate">) - 或者为订阅源 URL 设置访问控制(如密码保护、IP 白名单)
- 或者在服务器配置中根据 User-Agent 阻止
CialloRssBot
同时禁止两个蜘蛛:
User-agent: CialloSoBot Disallow: / User-agent: CialloRssBot Disallow: /
联系我们
如果您是站长,希望与我们交流、反馈问题或提出建议,欢迎通过邮件联系:
我们也欢迎主动提交网站主页到 CIALLO SO:提交网站
AI 搜索接口
给大模型、智能体和你自己的小工具用的搜索接口:免费、免密钥,返回干净的 JSON,字段都是纯文本,可以直接塞进提示词或注册成函数工具。
GET https://ciallo.so/api/search?q=deepseek&type=all&page=1&limit=10
q | 搜索词,2–200 字。支持 site: intitle: -排除 OR 等语法 |
type | all(默认,站点+文章混排)· sites · articles |
page | 页码,默认 1 |
limit | 每页条数,1–20,默认 20 |
{
"ok": true, "query": "deepseek", "total": 967, "elapsed_ms": 140,
"featured": [ { "type": "wiki", "title": "DeepSeek - Ciallo Wiki", "url": "https://ciallo.wiki/…" } ],
"results": [
{ "type": "site", "title": "DeepSeek", "url": "https://www.deepseek.com/",
"snippet": "…", "host": "www.deepseek.com", "published": null, "detail": "https://ciallo.so/site/…" },
{ "type": "article", "title": "…", "url": "https://blog.example.moe/…",
"snippet": "…", "published": "2026-11-02 10:00:00", "detail": "https://ciallo.so/feed/…" }
]
}
函数工具描述可以这样写:
{ "name": "ciallo_search",
"description": "搜索独立博客、个人站点与 RSS 文章(中文/二次元/技术内容尤佳)",
"parameters": { "type": "object", "required": ["q"],
"properties": { "q": { "type": "string" },
"type": { "type": "string", "enum": ["all", "sites", "articles"] } } } }
请合理使用:同一时间最多 4 个搜索在跑,太快会排队或返回 503。给智能体看的简要说明在 /llms.txt。
新闻接口
按发布时间从新到旧,返回全站最新收录的文章,适合做信息流、聊天机器人每日简报,或者给大模型补充"最近发生了什么"。同样免费、免密钥。
GET https://ciallo.so/api/news?limit=20
GET https://ciallo.so/api/news?q=原神&limit=10
GET https://ciallo.so/api/news?before={上一页返回的 next}
limit | 条数,1–50,默认 20 |
q | 可选,只要标题或摘要包含这个词的文章(支持搜索语法) |
since | 可选,只要这个时间之后发布的,如 2026-11-01 或 2026-11-01 08:00:00 |
before | 翻页游标,取上一次返回的 next |
{
"ok": true, "count": 20, "next": "2026-11-02 16:00:00|5095744",
"items": [
{ "title": "…", "url": "https://blog.example.moe/…", "summary": "…",
"host": "blog.example.moe", "published": "2026-11-02 18:20:00", "detail": "https://ciallo.so/feed/…" }
]
}
为什么用 CIALLO SO
大搜索引擎首页被内容农场和大平台占满,独立博客常常排到第十页以后。我们只收录个人站、小站和它们的 RSS,大站在入库时就被过滤掉,留下来的都是一个个具体的人写的东西。
平均 20 毫秒返回结果。站点和文章两路同时查,排好序的结果会缓存,翻页几乎不花时间。
不只排最新的几千条:所有匹配的结果都会排序,你可以一路翻到十几年前的博文。
三只爬虫和三只订阅源蜘蛛全天运转,每周新增约 34,943 篇文章。没被收录?自己提交就好。
一些数字
大多数搜索在眨眼之前就已经完成。
每天新增文章 近 60 天
文章写于哪一年 老内容一样能搜到
纵轴按平方根缩放,否则早年的数量会小到看不见。
数据来自每日快照(2026-11-04 00:11:31),更多见 CIALLO SO 指数。
这是一个公益项目
CIALLO SO 不收费、不卖广告位、不做竞价排名,也不会把你的搜索记录卖给任何人。搜索结果只按内容和你的搜索词排序,没有人能花钱插队。
网页搜索、AI 搜索接口和新闻接口都免费开放,服务器和带宽由 CIALLO 团队自己承担。我们希望独立博客和小站能被更多人看见——如果你喜欢这里,最好的支持就是提交你喜欢的站点,或者把它分享给朋友。