SEO (Search Console) panelinizde gezinirken sıkça karşılaştığınız o yürek yakan hatayı bilirsiniz: "Keşfedildi - Şu An İçin Taranmadı (Discovered - currently not indexed)". Google web sitenizde yeni bir URL olduğunu fark etmiş ancak siteye gelip o içeriği okumaya "değer veya vakit bulamamıştır". Tüm sorun tam olarak sitenizin çok kısıtlı bir Tarama Bütçesine (Crawl Budget) sahip olmasından kaynaklanır.
Tarama Bütçesi (Crawl Budget) Nedir?
Google harika bir makinedir ancak sınırsız kaynağa (sunucu CPU'suna) sahip değildir. Milyarlarca devasa siteyi sürekli kontrol edemez. Bu yüzden Googlebot'lara her bir site için ayrı bir zaman veya URL kotası verilir. Tarama bütçesi iki ana sinyalin ortaklaşa hesabıyla sitenize ayarlanır:
- Tarama Hızı Kapasitesi (Crawl Rate Limit): Sitenin barındığı sunucuya çok fazla istek atıp onu yormamak ve çökertmemek amacıyla, sunucunun hızına ve bağlantı (TTFB) tepkilerine dayalı "Yavaş ve sakin gitmeliyim" kararı.
- Tarama Talebi (Crawl Demand): Sayfanızın popülerliği, içeriklerin güncellenme sıklığı ve harici büyük sitelerden aldığı güncel "Backlink" sinyalleri "Bu site çok hit alıyor, sık sık gelmeliyim" sinyalini yakar.
Kural Şudur: Siteniz Küçük Hızlı Bir Blogsa: Tarama Bütçesi sizi çok etkilemez. Ama on binlerce filtrelenmiş ürünü olan veya ilan barındıran Dev Bir Portalsa; Tarama Bütçesini optimize edememek SEO ölümüdür.
Tarama Bütçesi Optimizasyonu Nasıl Yapılır?
Öncelikle sitenizin ne sıklıkta tarandığını Google Search Console "Ayarlar -> Tarama İstatistikleri" (Crawl Stats) raporundan inceleyin. Ardından Googlebot'un vaktini gereksiz çöp sayfalarda harcamaması için şu aksiyonları yapın:
- robots.txt Dosyasını Acımasızca Kullanın: Arama sonuçları, login panelleri, PDF çıktı sayfaları, admin alanları ve çöp parametreli (`?sort=price`) eklenti URL'lerini Google taramasına Disallow ile mutlaka kapatın.
- Devasa Hız ve Sunucu Modernizasyonu: Google sunucunuzu ne kadar hızlı (Sıfır 500 Server Error hatasıyla) okuyabilirse, o kısıtlı zamanında okuduğu sayfa kapasitesi o kadar aratacaktır. İmajların sıkıştırılıp "HTTP/2 Asenkron" formatlı sistemlerin (Litespeed/Nginx Cache) kurulması şarttır.
- Kırık ve Yönlendirme Link (301) Silsilelerini Çözün: Botlar sayfanızdaki "Ayakkabı" linkine tıklar. Karşısına "Eski_ayakkabı" sayfasına Yönlendiriliyorsun (301) yazar. Oraya gider, oranında 404 (Sayfa Kalmadı) hatası verdiğini görür. Bot devasa zaman kaybetmiştir ve bir daha size acıyarak yeni bir URL tarama vakti ayırmaz. Kırık döngüleri (Loop/Chaining) tamamen arındırın.
- Site Haritasını (XML Sitemap) Tertemiz Tutun: Sitemap XML dosyası en kutsal kılavuzdur. İçerisine 301, 404 veya noindex basılı gereksiz link "eklemeyin". Sadece Indexlenebilir taze sayfaları oraya yazın.