Web sitenizdeki "robots.txt tarafından engellendi" hatasını kalıcı olarak düzeltme

Bir web sitesi yöneticisi veya içerik oluşturucusu olarak, Google AdSense hesabınızda "robots.txt tarafından engellendi" uyarısıyla karşılaşmak can sıkıcı bir durum olabilir. Bu hata, web sitenizin envanterindeki belirli sayfaların veya tüm sitenin, arama motoru tarayıcıları tarafından erişilemediğini ve dolayısıyla reklamların doğru bir şekilde sunulamadığını gösterir. Bu durum sadece reklam gelirlerinizi etkilemekle kalmaz, aynı zamanda sitenizin genel SEO performansını ve arama motoru görünürlüğünü de olumsuz etkiler.
Bu makalede, bu yaygın hatanın kökenlerini anlayacak, teşhis yöntemlerini öğrenecek ve en önemlisi, robots.txt dosyanızı doğru bir şekilde yapılandırarak bu sorunu kalıcı olarak nasıl çözeceğinizi adım adım keşfedeceğiz. Amacımız, sitenizin arama motorları için tamamen taranabilir olmasını sağlamak ve Google AdSense reklamlarınızın sorunsuz bir şekilde yayınlanmasına olanak tanımaktır.

Robots.txt Dosyasını Anlamak: Temeller ve Önemi

Robots.txt dosyası, web sitenizin kök dizininde bulunan ve arama motoru örümceklerine (tarayıcılarına) sitenizin hangi bölümlerini tarayabileceklerini veya tarayamayacaklarını bildiren basit bir metin dosyasıdır. Bu dosya, belirli sayfaların, dizinlerin veya dosya türlerinin taranmasını engelleyerek sunucu yükünü azaltmak, hassas bilgileri (örneğin, yönetim paneli) arama sonuçlarından uzak tutmak veya yinelenen içeriğin taranmasını önlemek gibi çeşitli amaçlar için kullanılır.
Ancak, doğru yapılandırılmadığında, robots.txt dosyası siteniz için ciddi sorunlar yaratabilir. Yanlış bir `Disallow` (engelleme) komutu, sitenizin önemli bölümlerinin veya hatta tamamının arama motoru taraması tarafından göz ardı edilmesine neden olabilir. Bu, dizine eklenmeme, arama sonuçlarında görünmeme ve doğal olarak Google AdSense reklamlarının gösterilememesi gibi sonuçlar doğurur. AdSense reklamlarının doğru bir şekilde gösterilebilmesi için AdSense botlarının (özellikle Mediapartners-Google) sayfalarınızı tarayabilmesi ve içeriğinizi analiz edebilmesi hayati önem taşır. Bu botlar, reklamların içeriğe uygunluğunu ve kullanıcı deneyimini değerlendirir.

Google AdSense ve Robots.txt İlişkisi

Google AdSense, reklamverenlerin reklamlarını yayınlamak için web sitelerindeki içeriği anlamaya ve bağlamsal olarak en alakalı reklamları sunmaya ihtiyaç duyar. Bu süreci yürüten Mediapartners-Google botu, sitenizdeki sayfaları tarar. Eğer robots.txt dosyanız bu botun sitenizin belirli bölümlerine veya tümüne erişimini engelliyorsa, AdSense bu sayfaların içeriğini değerlendiremez. Sonuç olarak:
* Reklam Gösterimleri Azalır: AdSense botu erişemediği için reklam gösterim optimizasyonunu yapamaz veya hiç reklam göstermez.
* Gelir Kaybı Yaşanırsınız: Reklam gösterimi azaldıkça, elde edeceğiniz potansiyel gelir de düşer.
* "Robots.txt Tarafından Engellendi" Uyarısı: AdSense panelinizde bu uyarıyı görürsünüz, bu da sitenizin bir bölümünün veya tamamının reklamlar için uygun şekilde taranamadığını belirtir.
* Düşük Reklam Performansı: Mediapartners-Google botu içeriği tarayamadığı için, gösterilen reklamlar içeriğinizle tam olarak eşleşmeyebilir, bu da tıklama oranlarını (TO) düşürebilir.
Bu nedenlerle, AdSense kullanan bir web sitesi için doğru bir robots.txt yapılandırması, web sitesi performansı açısından vazgeçilmezdir.

Hatayı Teşhis Etme: Nereden Başlamalıyım?

"Robots.txt tarafından engellendi" hatasını kalıcı olarak düzeltmeden önce, hatanın kaynağını ve hangi sayfaları etkilediğini doğru bir şekilde teşhis etmeniz gerekir. İşte kullanabileceğiniz araçlar ve yöntemler:
* Google Search Console (GSC): Bu, en önemli aracınızdır. GSC'deki "URL Denetimi" aracını kullanarak sorunlu URL'leri tek tek kontrol edebilirsiniz. Aracın "Taranma" bölümünde, Googlebot'un URL'ye erişim durumunu ve robots.txt tarafından engellenip engellenmediğini net bir şekilde göreceksiniz. Ayrıca, "Ayarlar" > "Tarama İstatistikleri" bölümü, Google'ın sitenizi nasıl taradığını gösterir ve olası sorunlu alanları belirlemenize yardımcı olabilir.
* Google AdSense Raporları: AdSense panelinizdeki "Siteler" bölümünü kontrol edin. Burada "robots.txt tarafından engellendi" uyarısıyla listelenen siteleri veya URL'leri göreceksiniz.
* Manuel Kontrol: Tarayıcınızın adres çubuğuna `sitenizinadi.com/robots.txt` yazarak mevcut robots.txt dosyanızı doğrudan görüntüleyin. Bu dosyanın içeriğini dikkatlice inceleyin. `Disallow: /` gibi bir komut, sitenizin tamamının taranmasını engeller. Belirli dizinleri veya dosyaları engelleyen `Disallow` komutları da sorunlu olabilir.
Bu adımlarla, sorunun genel mi yoksa belirli sayfalara mı özgü olduğunu ve robots.txt dosyanızdaki hangi komutun soruna yol açtığını belirleyebilirsiniz.

Robots.txt Engellemesini Kalıcı Olarak Düzeltme Adımları

Hatayı teşhis ettikten sonra, şimdi kalıcı düzeltmeye geçebiliriz. Bu süreç, robots.txt dosyanızı dikkatlice düzenlemeyi ve değişiklikleri doğru bir şekilde doğrulamayı içerir.

Adım 1: Mevcut Robots.txt Dosyasını Gözden Geçirme

İlk olarak, mevcut robots.txt dosyanızın içeriğini bir metin düzenleyici ile açın (dosyayı FTP veya hosting kontrol panelinizden indirebilirsiniz). Dosya, `User-agent` direktifleriyle başlar ve ardından `Allow` veya `Disallow` komutları gelir.
* `User-agent: *` komutu, tüm arama motoru botlarını (Googlebot, Bingbot vb.) hedefler.
* `User-agent: Googlebot` sadece Google botunu hedefler.
* `User-agent: Mediapartners-Google` ise AdSense botunu hedefler.
Sorunlu olabilecek yaygın komutlar şunlardır:
* `Disallow: /`: Bu komut, sitenizin tamamının taranmasını engeller. Çoğu durumda, sitenizin taranmasını istemediğiniz spesifik bir nedeni yoksa bu komutu kaldırmanız gerekir.
* `Disallow: /wp-admin/`: WordPress sitelerinde sıkça görülür ve admin panelinin taranmasını engeller, bu genellikle sorun değildir.
* `Disallow: /assets/` veya `Disallow: /js/`, `Disallow: /css/`: Bu komutlar, Google'ın sayfanızın düzenini doğru bir şekilde işlemesini engelleyebilir. Googlebot'un CSS ve JavaScript dosyalarınıza erişimi olmalıdır, aksi takdirde sayfalarınızın mobil uyumluluğunu veya genel görünümünü değerlendiremeyebilir.
Hedefiniz, Google AdSense botu ve genel arama motoru botlarının (Mediapartners-Google ve *) sitenizin reklam gösterdiğiniz tüm bölümlerine ve sitenizin temel işlevselliğine (CSS/JS) tam erişim sağlamaktır.

Adım 2: Gerekli İzinleri Verme (Allow Direktifleri)

Robots.txt dosyanızı düzenlerken, sitenizin tüm botlara açık olması gereken bölümlerini açıkça belirtmeniz gerekir. En güvenli ve yaygın yaklaşım, sitenizin tamamına genel erişim izni vermektir.
Örnek bir doğru yapılandırma şöyle olabilir (kod bloğu kullanmadan açıklıyorum):
* `User-agent: *` satırının altına `Allow: /` komutunu ekleyin. Bu, tüm botların sitenizin kök dizininden itibaren her şeyi taramasına izin verir.
* `User-agent: Mediapartners-Google` satırının altına da `Allow: /` komutunu ekleyin. Bu, özellikle AdSense botunun sitenizin tamamını tarayabilmesini sağlar. Eğer özel bir engeliniz yoksa, bu iki komut genellikle yeterlidir.
Örneğin, AdSense reklamlarının gösterildiği tüm sayfaların bulunduğu bir `blog` dizininiz varsa ve bu dizin yanlışlıkla engellenmişse, robots.txt dosyanıza `Allow: /blog/` komutunu eklemeniz gerekir. Özetle, `Disallow` komutlarını dikkatlice inceleyin ve AdSense reklamlarının gösterildiği, arama motorlarında görünmesini istediğiniz herhangi bir sayfanın veya dizinin engellenmediğinden emin olun. Gerekirse bu `Disallow` komutlarını kaldırın veya `Allow` komutlarıyla geçersiz kılın.

Adım 3: Robots.txt Üretici Araçlarından Yararlanma

Robots Txt Üretici araçları, bu süreci basitleştirmek ve hata yapma olasılığını azaltmak için harika bir yoldur. Çevrimiçi birçok ücretsiz robots.txt üretici aracı bulunur. Bu araçlar, sitenizin ihtiyaçlarına göre doğru syntax ile bir robots.txt dosyası oluşturmanıza yardımcı olur.
Bir Robots Txt Üretici aracı kullanırken:
* Tüm arama motoru botları ( `User-agent: *` ) için varsayılan olarak `Allow: /` seçeneğini işaretleyin.
* Mediapartners-Google botu için de `Allow: /` seçeneğini işaretlediğinizden emin olun.
* Sitenizde taranmasını kesinlikle istemediğiniz belirli dizinler veya dosyalar varsa (örn. `wp-admin`), bunları `Disallow` olarak ekleyebilirsiniz. Ancak bu konuda çok dikkatli olun ve kritik sayfaları engellemediğinizden emin olun.
Bu araçlar, doğru formata sahip ve potansiyel hatalardan arındırılmış bir dosya oluşturmanıza yardımcı olarak, robots.txt karmaşıklığını önemli ölçüde azaltır.

Adım 4: Robots.txt Dosyasını Güncelleme ve Sunucuya Yükleme

Yeni veya düzenlenmiş robots.txt dosyanızı oluşturduktan sonra, onu web sitenizin kök dizinine yüklemeniz gerekir.
* FTP İstemcisi Kullanımı: FileZilla gibi bir FTP istemcisi kullanarak sunucunuza bağlanın. Dosyayı `public_html`, `www` veya sitenizin ana dizini gibi kök dizine yükleyin. Mevcut bir robots.txt dosyası varsa, üzerine yazın.
* Hosting Kontrol Paneli (cPanel/DirectAdmin vb.): Kontrol panelinizdeki "Dosya Yöneticisi"ni kullanarak kök dizininize gidin ve dosyayı buraya yükleyin. Mevcut dosyayı düzenleme seçeneğini de kullanabilirsiniz.
Dosyayı UTF-8 formatında kaydettiğinizden ve adının `robots.txt` olduğundan emin olun (küçük harflerle).

Adım 5: Google Search Console ile Doğrulama ve Test Etme

Değişiklikleri yaptıktan sonra, bunların doğru çalıştığından emin olmanız çok önemlidir.
* Google Search Console'daki URL Denetimi Aracı: Sorun yaşadığınız URL'leri tekrar bu araçta test edin. Artık "Taranma" bölümünde "Googlebot'a İzin Verildi" mesajını görmeniz gerekir.
* İndeksleme İsteği Gönderme: Değişikliklerin daha hızlı fark edilmesi için, etkilenen ana sayfalar veya sitenizin kök URL'si için "İndeksleme İsteği" gönderebilirsiniz.
* AdSense Panelini Kontrol Edin: Birkaç gün sonra AdSense panelinizdeki "Siteler" bölümünü tekrar kontrol edin. "Robots.txt tarafından engellendi" uyarısının kaybolduğunu görmelisiniz. Bu süreç bazen birkaç gün sürebilir.

Adım 6: Site Haritasını Güncelleme ve Gönderme

Robots.txt dosyasını düzeltmek, tarayıcıların sayfalarınıza erişimini sağlar. Ancak, arama motorlarının bu yeni erişilebilir sayfaları hızlı bir şekilde keşfetmesini ve dizine eklemesini sağlamak için site haritasını güncellemek ve Google Search Console'a yeniden göndermek iyi bir uygulamadır. Sitenizin site haritası genellikle `/sitemap.xml` adresinde bulunur. Yeni veya güncel bir site haritası oluşturmak için '/makale.php?sayfa=site-haritasi-olusturma-rehberi' makalemizi ziyaret edebilirsiniz.

Ek Önemli Noktalar ve İpuçları

* CSS ve JavaScript Dosyaları: Google, sayfalarınızı kullanıcıların gördüğü gibi oluşturmak için CSS ve JavaScript dosyalarınıza erişime ihtiyaç duyar. Bu dosyaları engellemek, sayfa oluşturma sorunlarına yol açabilir ve sitenizin sıralamasını etkileyebilir. Genellikle bu dosyaları engellemekten kaçının.
* `Disallow` ve `noindex` Farkı: `Disallow` komutu, arama motorlarının bir sayfayı taramasını engeller ancak dizine eklenmesini garanti etmez. Eğer bir sayfanın kesinlikle arama sonuçlarında görünmesini istemiyorsanız, robots.txt yerine sayfanın `` bölümüne `noindex` meta etiketi eklemelisiniz.
* CMS Ayarları: WordPress gibi içerik yönetim sistemleri (CMS), genellikle robots.txt dosyasını otomatik olarak yönetebilir. Ayarlarınızda "Arama Motorlarının bu siteyi dizine eklemesini engelle" gibi bir seçeneğin işaretli olmadığından emin olun.
* Düzenli Kontrol: Web sitenizin web sitesi performansını ve SEO sağlığını düzenli olarak izlemek için Google Search Console'u kullanmaya devam edin. Robots.txt dosyanızda yanlışlıkla bir sorun yaratıp yaratmadığınızı kontrol edin, özellikle yeni eklentiler veya temalar yükledikten sonra. Arama motoru optimizasyonunun temelleri hakkında daha fazla bilgi edinmek için '/makale.php?sayfa=arama-motoru-optimizasyonu-temelleri' bağlantısını ziyaret edebilirsiniz.
Sonuç
"Robots.txt tarafından engellendi" hatası, ilk başta karmaşık gibi görünse de, doğru teşhis ve sistematik yaklaşımla kalıcı olarak düzeltilebilir. Robots.txt dosyanızı dikkatlice yapılandırarak, Google AdSense botlarının ve diğer arama motoru tarayıcılarının sitenize sorunsuz bir şekilde erişmesini sağlarsınız. Bu, sadece reklam gelirlerinizin devamlılığı için değil, aynı zamanda sitenizin genel SEO sağlığı ve arama motorlarındaki görünürlüğü için de hayati öneme sahiptir. Unutmayın, iyi yapılandırılmış bir robots.txt dosyası, sitenizin dijital ekosistemde doğru ve verimli bir şekilde işlemesinin temel taşlarından biridir.