# robots.txt for 星际领航 · 深空探索
# 协议版本: 1.0
# 最后更新: 2026-08-29

User-agent: *
Allow: /

# 禁止抓取非必要或重复页面
Disallow: /?*
Disallow: /tag/
Disallow: /archive/
Disallow: /temp/
Disallow: /admin/

# 网站地图位置 - 已更新为新域名
Sitemap: https://www.xdcmys.com/sitemap.xml

# 通用爬虫礼貌延迟
Crawl-delay: 5

# ===== 主流搜索引擎专用规则 =====

User-agent: Googlebot
Allow: /
Crawl-delay: 2

User-agent: Bingbot
Allow: /
Crawl-delay: 2

User-agent: Baiduspider
Allow: /
Crawl-delay: 3

User-agent: Yandex
Allow: /
Crawl-delay: 2

User-agent: DuckDuckBot
Allow: /
Crawl-delay: 2