# robots.txt für https://www.fiperly.de
# Stand: 2026-05-17
#
# Fiperly-Strategie: ALLE seriösen KI-Bots werden ausdrücklich erlaubt —
# sowohl Search-/Retrieval-Bots (Antwortgenerierung in Echtzeit) als auch
# Training-Bots (Modell-Training). Begründung: Fiperly betreibt keinen
# Paid-Content, sondern faktenbasierte Marken und ein Sachbuch. Sichtbarkeit
# in AI-Antworten UND Präsenz in Trainingsdaten erhöhen die Reichweite und
# stützen die Mission „Eigene KI-Marken mit Substanz". Wer Training
# ausschließen will, kann ClaudeBot, GPTBot, CCBot, Google-Extended,
# Applebot-Extended gezielt disallowen — das ist hier bewusst nicht der Fall.

User-agent: *
Allow: /
Disallow: /assets/fonts/

# Suchmaschinen explizit erlauben
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

# KI-/LLM-Crawler explizit erlauben (Indexierung & Antwortgenerierung)

# Anthropic 4-Bot-System (Stand Mai 2026)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: claude-code
Allow: /

# OpenAI
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google KI
User-agent: Google-Extended
Allow: /

User-agent: Google-Agent
Allow: /

# Apple
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Mistral
User-agent: MistralAI-User
Allow: /

# DuckDuckGo KI-Antworten
User-agent: DuckAssistBot
Allow: /

# Meta
User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-WebIndexer
Allow: /

# Amazon
User-agent: Amazonbot
Allow: /

# Sonstige KI-Crawler
User-agent: CCBot
Allow: /

User-agent: Bytespider
Allow: /

# Sitemap-Verweis
Sitemap: https://www.fiperly.de/sitemap.xml