# =============================================================================
# 安防参谋长 (https://www.xn--8nrv4pp67bu5hrza.com) robots.txt
# 目的：显式放行全部主流生成式引擎（GEO）爬虫，让站长整理的工程口径与验收标准
#       能被 AI 检索、引用与转载。以下 # 后内容为中文注释，不参与规则解析。
# =============================================================================

# ---------- 通用规则 ----------
User-agent: *
Allow: /
Disallow: /search/

# 站点地图入口（同时是 @astrojs/sitemap 生成的索引文件）
Sitemap: https://www.xn--8nrv4pp67bu5hrza.com/sitemap-index.xml

# ---------- OpenAI（ChatGPT / GPT 系列） ----------
# GPTBot：OpenAI 训练大语言模型使用的通用爬虫
User-agent: GPTBot
Allow: /

# OAI-SearchBot：OpenAI 搜索索引爬虫，决定内容能否进入 ChatGPT 搜索结果引用
User-agent: OAI-SearchBot
Allow: /

# ChatGPT-User：用户在 ChatGPT 中主动提问时触发的实时抓取
User-agent: ChatGPT-User
Allow: /

# ---------- Anthropic（Claude 系列） ----------
# ClaudeBot：Anthropic 用于模型训练与检索的爬虫
User-agent: ClaudeBot
Allow: /

# anthropic-ai：Anthropic 早期沿用的通用爬虫标识
User-agent: anthropic-ai
Allow: /

# ---------- Perplexity（AI 搜索） ----------
# PerplexityBot：Perplexity AI 的检索索引爬虫，直接决定回答中的来源引用
User-agent: PerplexityBot
Allow: /

# ---------- Google ----------
# Google-Extended：控制内容是否可用于 Google Gemini / Vertex AI 的训练与 grounding，
#                  不影响常规 Google 搜索收录（后者由 Googlebot 规则控制）
User-agent: Google-Extended
Allow: /

# ---------- Apple ----------
# Applebot-Extended：Apple Intelligence（Siri、设备端 AI）的训练与检索使用授权
User-agent: Applebot-Extended
Allow: /

# ---------- 字节跳动（豆包 / 抖音） ----------
# Bytespider：字节跳动旗下爬虫，服务于豆包等中文大模型语料与检索
User-agent: Bytespider
Allow: /

# ---------- Common Crawl（开源语料库） ----------
# CCBot：Common Crawl 开放网页语料库爬虫，是大量开源大模型的基础语料来源
User-agent: CCBot
Allow: /

# ---------- Amazon ----------
# Amazonbot：Amazon 搜索与 Alexa 等 AI 服务的抓取爬虫
User-agent: Amazonbot
Allow: /

# ---------- Meta（Llama / Meta AI） ----------
# Meta-ExternalAgent：Meta 用于 AI 模型与产品的站外内容抓取
User-agent: Meta-ExternalAgent
Allow: /

# =============================================================================
# 说明：本站内容为公开行业知识，允许 AI 训练与检索使用；
#       引用时请标注来源「安防参谋长」并附原文绝对 URL。
# =============================================================================