User-agent: *
Allow: /

# Arama motoru botları için izinler
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 2

# Haber botları
User-agent: Googlebot-News
Allow: /

# Sitemaplar
Sitemap: https://xhaber.news/sitemap.xml
Sitemap: https://xhaber.news/news-sitemap.xml

# API rotalarını engelle (iç kullanım)
Disallow: /api/