Robots.txt Nedir? Nasil Olusturulur? (Tam Rehber 2026)

Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde yer alan ve arama motoru botlarına hangi sayfaları tarayacaklarını söyleyen düz metin dosyasıdır.

Temel Sözdizimi

User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://siteadresiniz.com/sitemap.xml

AI Botlarını Yönetme

• User-agent: GPTBot — ChatGPT tarayıcısı
• User-agent: ClaudeBot — Anthropic Claude
• User-agent: PerplexityBot — Perplexity AI

Kritik Uyarı

CSS ve JS dizinlerini asla engellemeyin. Google sayfaları render etmek için bu dosyalara ihtiyaç duyar.

Ücretsiz Robots.txt Oluşturucu

Robots.txt Oluşturucu aracımızla kurallarınızı oluşturun ve canlı test edin.