# Robots.txt pour le Dictionnaire Français - DicoPortable
# Dernière mise à jour: 2025-08-06
# Optimisé pour SEO et indexation des moteurs de recherche

User-agent: *
Allow: /

# Sitemaps - Indiquez aux moteurs de recherche où trouver vos sitemaps
Sitemap: https://dicoportable.com/sitemap.xml
Sitemap: https://dicoportable.com/sitemap.html

# Pages principales - Priorité haute
Allow: /
Allow: /search
Allow: /api/gallery
Allow: /mot/

# Ressources importantes
Allow: /static/css/
Allow: /static/js/
Allow: /static/images/
Allow: /api/images/words/
Allow: /api/images/thumbnails/

# Disallow admin and private areas - Sécurité
Disallow: /admin/
Disallow: /private/
Disallow: /api/admin/
Disallow: /logs/
Disallow: /instance/
Disallow: /venv/
Disallow: /backup_*/
Disallow: /comprehensive_backup_*/
Disallow: /data/
Disallow: /prompts_progress_*.json
Disallow: /batch_progress_*.json
Disallow: /generate_*.py
Disallow: /monitor_*.py
Disallow: /batch_*.py

# Crawl delay - Respectez les serveurs
Crawl-delay: 1

# Règles spécifiques pour les principaux moteurs de recherche
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Slurp
Allow: /
Crawl-delay: 1

User-agent: DuckDuckBot
Allow: /
Crawl-delay: 1

User-agent: Yandex
Allow: /
Crawl-delay: 1

# Blocage des bots malveillants
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# Instructions pour les images
User-agent: Googlebot-Image
Allow: /api/images/words/
Allow: /api/images/thumbnails/
Allow: /static/images/
Crawl-delay: 1

# Instructions pour les mobiles
User-agent: Googlebot-Mobile
Allow: /
Crawl-delay: 1