WordPress admin ve tema dosyalarını robots.txt ile Google taramasından güvenle nasıl engellerim?

Bir SEO editörü olarak, web sitenizin Google ve diğer arama motorları tarafından en verimli şekilde taranması ve indekslenmesi konusundaki endişelerinizi çok iyi anlıyorum. Özellikle WordPress tabanlı sitelerde, admin paneli ve tema dosyaları gibi halka açık olmayan, ancak varsayılan olarak taranabilir durumda olabilen birçok dosya ve dizin bulunur. Bu dosyaların Google taraması tarafından gereksiz yere ziyaret edilmesi, sitenizin crawl bütçesi üzerinde olumsuz bir etki yaratabilir, güvenlik riskleri oluşturabilir ve AdSense reklam performansınızı dolaylı yoldan etkileyebilecek site kalitesi sorunlarına yol açabilir. Bu makalede, `robots.txt` dosyasını kullanarak bu kritik alanları Google taramasından güvenle nasıl engelleyeceğinizi adım adım açıklayacağım.

Giriş: Neden WordPress Admin ve Tema Dosyalarını Engellemeliyiz?

WordPress, dünyanın en popüler içerik yönetim sistemidir ve milyonlarca web sitesine güç vermektedir. Ancak bu popülerlik, beraberinde belirli yönetimsel gereklilikleri de getirir. WordPress'in çekirdek dosyaları, eklentileri ve tema dosyaları, sitenizin işlevselliği için hayati öneme sahiptir, ancak bunların çoğu son kullanıcının görmesi veya arama motorları tarafından indekslenmesi gereken içerikler değildir.
Bu tür dosyaları Google taramasından engellemenin birden fazla önemli nedeni vardır:
1. Güvenlik: `/wp-admin/` gibi dizinler, sitenizin yönetim panelini içerir. Bu dizinlerin arama motorları tarafından taranması, potansiyel güvenlik açıkları hakkında bilgi sızdırabilir veya kötü niyetli kişilerin sitenize yönelik saldırılarını kolaylaştırabilir. `wp-login.php` gibi dosyaların taranmasını engellemek, brute-force saldırılarına karşı görünürlüğünü azaltır.
2. Crawl Bütçesi Optimizasyonu: Her web sitesinin, arama motorları tarafından ayrılan belirli bir "crawl bütçesi" vardır. Bu bütçe, sitenizin ne kadar hızlı ve kapsamlı bir şekilde taranacağını belirler. Yönetim paneliniz, tema dosyalarınız veya eklenti dizinleriniz gibi değerli içerik sunmayan sayfaların taranması, bütçenizin boşa harcanmasına neden olur. Bu durum, gerçekten önemli olan içeriklerinizin (blog yazıları, ürün sayfaları vb.) daha az sıklıkla taranmasına veya geç indekslenmesine yol açabilir.
3. SEO Performansı ve AdSense Uyumluluğu: Google, sitenizin genel kalitesini değerlendirirken taranan tüm sayfaları dikkate alır. Eğer sitenizde indekslenmemesi gereken çok sayıda düşük kaliteli veya tekrarlayan içerik bulunuyorsa (örneğin, tema şablon dosyaları), bu durum sitenizin genel SEO performansını olumsuz etkileyebilir. AdSense politikaları, yayıncıların reklamları yalnızca yüksek kaliteli ve özgün içerik barındıran sayfalarda göstermesini şart koşar. Arama motorlarının bu tür gereksiz dosyaları taraması, sitenizin genel algısını düşürebilir ve AdSense onayı veya reklam gelirleri üzerinde dolaylı bir negatif etki yaratabilir.
Bu nedenlerden dolayı, WordPress admin ve tema dosyalarını `robots.txt` ile engellemek, hem teknik SEO'nuz hem de sitenizin genel sağlığı için kritik bir adımdır.

robots.txt Dosyası Nedir ve Nasıl Çalışır?

`robots.txt`, bir web sitesinin kök dizininde bulunan ve arama motoru tarayıcılarına (robotlara) hangi bölümleri tarayıp hangi bölümleri taramayacaklarını söyleyen basit bir metin dosyasıdır. Bu dosya, site yöneticilerinin arama motorlarının sitelerine nasıl eriştiğini kontrol etmelerini sağlayan ilk adımdır.
`robots.txt` dosyasındaki temel direktifler şunlardır:
* `User-agent:`: Bu direktif, kuralın hangi arama motoru botu için geçerli olduğunu belirtir. Örneğin, `User-agent: Googlebot` yalnızca Google'ın botuna uygulanırken, `User-agent: *` tüm botlar için geçerli olur.
* `Disallow:`: Bu direktif, belirtilen User-agent'ın sitenin hangi dizin veya dosyalarına erişemeyeceğini söyler. Örneğin, `Disallow: /wp-admin/` komutu, ilgili botun `/wp-admin/` dizinine ve altındaki tüm dosyalara erişmesini engeller.
* `Allow:`: `Disallow` direktifiyle engellenen bir dizin içinde belirli bir dosyanın veya alt dizinin taranmasına izin vermek için kullanılır. Örneğin, `Disallow: /wp-content/` dedikten sonra `Allow: /wp-content/uploads/` diyerek görsellerin taranmasına izin verebilirsiniz.
* `Sitemap:`: Bu direktif, arama motorlarına sitenizin XML site haritasının nerede bulunduğunu bildirir. Bu, arama motorlarının sitenizdeki tüm önemli sayfaları daha kolay bulmasına yardımcı olur.
Unutulmamalıdır ki `robots.txt` bir "nazik rica"dır. Yani, kötü niyetli botlar bu kuralları göz ardı edebilir. Ayrıca, bir sayfa `robots.txt` ile engellense bile, eğer başka sitelerden o sayfaya link geliyorsa, Google o sayfayı indeksleyebilir ancak içeriğini tarayıp anlayamaz (bu duruma "noindex" etiketleri ile tamamen engel olmak mümkündür, ancak bu makale `robots.txt` odaklıdır).

Google Taramasından Engellenmesi Gereken WordPress Dizileri ve Dosyaları

Şimdi gelelim asıl konumuza: WordPress sitenizde `robots.txt` ile hangi dizin ve dosyaları engellemelisiniz? İşte en yaygın ve önemli olanlar:

Temel WordPress Dizinleri:

* `/wp-admin/`: Burası WordPress yönetici panelinizin kalbidir. Kullanıcıların veya arama motorlarının burayı taramasına gerek yoktur. Güvenlik ve crawl bütçesi açısından engellenmelidir.
`Disallow: /wp-admin/`
*Not:* Bazen temalar veya eklentiler ön yüzde `admin-ajax.php` dosyasını kullanabilir. Eğer sitenizde ön yüzde AJAX tabanlı işlevsellik varsa ve `/wp-admin/` dizininin tamamını engelledikten sonra sorunlar yaşıyorsanız, `Allow: /wp-admin/admin-ajax.php` eklemeyi düşünebilirsiniz. Ancak genellikle bu tür durumlarda `/wp-admin/` tam olarak engellenir.
* `/wp-includes/`: Bu dizin, WordPress'in çalışması için gerekli olan çekirdek dosyaları içerir. Bunlar da son kullanıcının görmesi veya arama motorları tarafından indekslenmesi gereken dosyalar değildir.
`Disallow: /wp-includes/`
* `/wp-content/plugins/`: Eklentilerinizin tüm dosyalarını barındıran dizindir. Eklentilerin çoğu sadece sitenizin işlevselliğine katkıda bulunur ve doğrudan indekslenmeleri gereksizdir.
`Disallow: /wp-content/plugins/`
* `/wp-content/themes/`: Aktif temanızın tüm dosyalarını içerir. Tema dosyaları (CSS, JS, PHP şablonları vb.) genellikle indekslenmemelidir. Ancak dikkat edin: temanızın statik kaynakları (CSS, JS) halka açık sayfalarınızın renderleme'si için kritikse, bunları engellememelisiniz. Çoğu durumda, `/wp-content/themes/` içindeki PHP dosyalarını engellemek yeterlidir. Eğer temanızın ön yüzde kullandığı stil dosyaları ve scriptler bu dizin altındaysa, bunlar için `Allow` direktifi kullanmanız gerekebilir veya sadece belirli dosya türlerini engellemeniz daha doğru olabilir. Basit bir yaklaşım, genel olarak tema dizinini engellemek ve sadece `uploads` dışındaki statik dosyaları (CSS, JS) taramaya açık bırakmaktır.
`Disallow: /wp-content/themes/`
*Not:* `/wp-content/uploads/` dizinini ASLA engellemeyin! Burası görsellerinizin ve medya dosyalarınızın bulunduğu yerdir ve Google Görseller'de çıkması için taranabilir olmalıdır. Eğer tüm `/wp-content/` dizinini engellerseniz, `Allow: /wp-content/uploads/` eklemeniz zorunludur.

Özel Dosyalar ve Diğer Önemli Alanlar:

* `wp-login.php`: WordPress giriş sayfasıdır. Güvenlik ve crawl bütçesi açısından engellenmesi önerilir.
`Disallow: /wp-login.php`
* `xmlrpc.php`: WordPress'in mobil uygulamalar ve uzaktan yayınlama gibi işlevler için kullandığı bir dosyadır. Genellikle güvenlik açıklarıyla ilişkilendirilir ve çoğu site için engellenmesi güvenlidir.
`Disallow: /xmlrpc.php`
* `readme.html`, `license.txt`, `wp-config-sample.php`: WordPress yüklemesiyle gelen bu tür dosyalar, siteniz hakkında gereksiz bilgiler içerebilir ve güvenlik açığı oluşturabilir. İndekslenmeleri gereksizdir.
`Disallow: /readme.html`
`Disallow: /license.txt`
`Disallow: /wp-config-sample.php`
* WordPress Arama Sonuçları, Etiketler ve Kategori Sayfaları (İsteğe Bağlı): Bazı durumlarda, arama sonuçları sayfaları (`/?s=`), etiket sayfaları (`/tag/`) veya düşük değerli kategori sayfaları gibi alanlar da `robots.txt` ile engellenebilir, ancak bu karar sitenizin yapısına ve içeriğine bağlıdır. Düşük kaliteli veya çok az içeriğe sahip bu sayfaların indekslenmesini istemiyorsanız, `noindex` meta etiketi daha güvenli bir yöntem olabilir, çünkü `robots.txt` ile engellemek, Google'ın bu sayfaları *hiçbir zaman* görmemesine ve değerlendirmemesine neden olur.
`Disallow: /*?s=` (arama sonuçlarını engeller)
`Disallow: /tag/` (tüm etiket sayfalarını engeller)
`Disallow: /category/` (tüm kategori sayfalarını engeller) - *Bu genellikle tavsiye edilmez, çoğu site kategori sayfalarını indekslemek ister.*

Doğru robots.txt Yapılandırması: Nelere Dikkat Etmelisiniz?

`robots.txt` dosyanızı oluştururken veya düzenlerken aşağıdaki temel yapıya sadık kalmalı ve bazı önemli noktalara dikkat etmelisiniz:
```
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /license.txt
Allow: /wp-content/uploads/
Sitemap: https://www.alanadiniz.com/sitemap_index.xml
```
Önemli Uyarı: CSS, JS ve Resimleri Engellemeyin!
Google'ın sitenizin içeriğini ve düzenini doğru bir şekilde anlaması için CSS, JavaScript ve görseller gibi statik kaynaklara erişebilmesi çok önemlidir. Eğer bu dosyaları `robots.txt` ile engellerseniz, Google sayfalarınızı doğru bir şekilde renderlemeyebilir. Bu da, mobil uyumluluk, site hızı gibi faktörlerde olumsuz değerlendirmelere yol açar ve genel kullanıcı deneyimi puanınızı düşürür. Bu, AdSense reklamlarının doğru bir şekilde yüklenmesini ve görüntülenmesini de etkileyebilir. Yukarıdaki örnekte `/wp-content/uploads/` dizinine `Allow` direktifi ile izin vermemizin nedeni budur. Eğer tema dosyalarınızın içindeki CSS/JS dosyaları da halka açık sayfalarınız için kritikse, `Allow` direktifleri ile bunları da belirlemeniz gerekebilir.
Sitemap Belirtin:
`Sitemap: https://www.alanadiniz.com/sitemap_index.xml` satırı, Google'ın sitenizin indekslenebilir tüm URL'lerini kolayca bulmasını sağlar. Bu satırı `robots.txt` dosyanızın sonuna eklemeyi unutmayın.

robots.txt Dosyanızı Oluşturma ve Doğrulama

1. Dosyayı Oluşturma/Düzenleme:
* WordPress sitenizde genellikle bir SEO eklentisi (Yoast SEO, Rank Math gibi) `robots.txt` dosyasını doğrudan düzenlemenize izin verir. Bu en kolay yöntemdir.
* Alternatif olarak, sitenizin kök dizinine (public_html, www veya sitenizin ana dizini) `robots.txt` adında bir metin dosyası oluşturup yukarıdaki örnekteki direktifleri içine kopyalayabilirsiniz.
* FTP istemcisi veya hosting kontrol panelinizdeki (cPanel, Plesk vb.) Dosya Yöneticisi aracılığıyla bu işlemi yapabilirsiniz.
2. Dosyayı Kontrol Etme:
* Tarayıcınızda `https://www.alanadiniz.com/robots.txt` adresini ziyaret ederek dosyanın doğru bir şekilde yüklenip yüklenmediğini kontrol edin.
3. Google Search Console ile Doğrulama:
* Bu adım hayati önem taşır. Google Search Console'da (GSC) "Ayarlar" > "Tarama" > "robots.txt testi" aracını kullanarak `robots.txt` dosyanızın Googlebot tarafından nasıl yorumlandığını görebilirsiniz. Burada olası hataları veya engellenmemesi gereken bir şeyin yanlışlıkla engellenip engellenmediğini kontrol edebilirsiniz.
* Kendi Robots Txt Retici gibi araçların sunduğu temel yapılandırmaları başlangıç noktası olarak alabilir ve GSC ile test ederek ince ayar yapabilirsiniz.
Daha fazla bilgi için, '/makale.php?sayfa=robots-txt-dogrulama-rehberi' sayfamızı ziyaret edebilirsiniz.

Güvenli Engellemenin AdSense ve SEO Üzerindeki Etkileri

Doğru yapılandırılmış bir `robots.txt` dosyası, sitenizin genel site sağlığı ve performansı için çok önemlidir.
* SEO Açısından: Crawl bütçesinin doğru yönetilmesi, arama motorlarının sitenizdeki değerli içeriklere odaklanmasını sağlar. Bu da, önemli sayfalarınızın daha hızlı keşfedilmesi, taranması ve indekslenmesi anlamına gelir. Gereksiz veya düşük kaliteli içeriklerin taramasını engellemek, sitenizin genel otoritesini ve sıralamalarını olumsuz etkileyebilecek faktörleri ortadan kaldırır.
* AdSense Açısından: Google AdSense, yüksek kaliteli içerikli ve iyi bir kullanıcı deneyimi sunan sitelere öncelik verir. `robots.txt` ile admin ve tema dosyalarını engellemek, sitenizin "kalite puanını" artırmaya dolaylı olarak yardımcı olur. Arama motorları sitenizi daha verimli taradığı ve sadece değerli içeriğinize odaklandığı zaman, AdSense botları da sitenizi daha olumlu değerlendirebilir. Bu durum, reklam yerleşimlerinin daha etkili olmasına, daha yüksek reklam gösterimlerine ve potansiyel olarak daha fazla gelire yol açabilir. Ayrıca, sitenizin Google'ın web yöneticisi yönergelerine uygun kalmasına yardımcı olarak AdSense hesap sağlığınızı da korur.
Ayrıca, crawl bütçesi optimizasyonu hakkında detaylı bilgiye '/makale.php?sayfa=crawl-butcesi-optimizasyonu' adresinden ulaşabilirsiniz.

Sonuç: Güvenli ve Etkili Bir Yaklaşım

WordPress admin ve tema dosyalarını `robots.txt` ile Google taramasından güvenle engellemek, sitenizin hem güvenliği hem de SEO performansı için atabileceğiniz basit ama etkili bir adımdır. Bu sayede crawl bütçesinizi optimize eder, arama motorlarının değerli içeriklerinize odaklanmasını sağlar ve AdSense politikalarına uyumlu, yüksek kaliteli bir site yapısı oluşturmaya katkıda bulunursunuz.
Unutmayın, `robots.txt` bir kez ayarlayıp bırakacağınız bir dosya değildir. WordPress sitenize yeni eklentiler eklediğinizde veya tema değiştirdiğinizde, `robots.txt` dosyanızı periyodik olarak kontrol etmek ve Google Search Console'daki `robots.txt` test aracıyla doğrulamak iyi bir alışkanlıktır. Bu sürekli denetim, sitenizin arama motorları tarafından her zaman en verimli şekilde taranmasını sağlayacak ve dijital varlığınızın sağlıklı gelişimine katkıda bulunacaktır.