WordPress sitenizdeki kategori arşivlerini robots.txt ile indekslemeden nasıl çıkarırsınız?

Bir SEO editörü olarak, web sitenizin arama motorlarındaki görünürlüğünü optimize etmenin ve Google AdSense politikalarına uygun kalmanın karmaşıklığını çok iyi biliyorum. WordPress tabanlı sitelerde sıkça karşılaşılan bir durum, kategori arşivlerinin arama motorları tarafından indekslenmesidir. İlk bakışta zararsız gibi görünse de, bu durum hem SEO performansınızı hem de potansiyel olarak AdSense gelirlerinizi olumsuz etkileyebilir. Bu makalede, WordPress sitenizdeki kategori arşivlerini robots.txt dosyası ile arama motorlarından nasıl çıkaracağınızı detaylı bir şekilde ele alacak, bu kararın AdSense ve genel SEO stratejiniz üzerindeki etkilerini açıklayacağım.

Kategori Arşivleri ve İndeksleme Problemleri

WordPress, varsayılan olarak yazılarınızı kategorilere ayırdığınızda, her kategori için ayrı bir arşiv sayfası oluşturur. Örneğin, "Teknoloji" adında bir kategoriniz varsa, bu kategoriye ait tüm yazıları listeleyen `/category/teknoloji/` gibi bir URL oluşur. Bu sayfalar, sitenizdeki içeriği düzenlemek ve kullanıcıların belirli konulara kolayca erişmesini sağlamak için harika bir iç yapı sunar. Ancak, arama motoru optimizasyonu (SEO) açısından bazı sorunlar doğurabilirler:
* Yinelenen İçerik (Duplicate Content): Kategori arşivleri genellikle sitenizdeki makalelerin başlıklarını, özetlerini ve bazen de ilk paragraflarını içerir. Bu içerik, aslında orijinal makalelerin kendisinde de bulunduğu için, arama motorları tarafından yinelenen içerik olarak algılanabilir. Google, benzer içeriği olan birçok sayfayı dizine eklemek yerine, en uygununu seçmeyi tercih eder ve bu durum, sitenizin genel otoritesini ve sıralama faktörleri üzerinde olumsuz bir etki yaratabilir.
* Düşük Kaliteli Sayfalar: Kategori arşivleri genellikle başlıklardan ve kısa özetlerden oluşur, bu da onları "ince içerik" veya "düşük kaliteli sayfa" kategorisine sokabilir. Google, kullanıcılarına değerli ve özgün içerik sunan sayfaları tercih eder. Düşük kaliteli sayfaların indekslenmesi, sitenizin genel kalitesini düşürebilir.
* Crawl Bütçesi İsrafı: Arama motorları, sitenizi taramak için belirli bir crawl bütçesi ayırır. Eğer bu bütçe, indekslenmesini istemediğiniz veya değeri düşük olan kategori arşivlerini taramak için harcanırsa, asıl değerli olan makalelerinizin veya ana sayfalarınızın taranma sıklığı ve hızı düşebilir. Bu da yeni içeriğinizin daha geç indekslenmesine yol açar.
* Kullanıcı Deneyimi: Nadiren de olsa, kullanıcılar doğrudan bir kategori arşivine düşebilirler. Eğer bu sayfalar iyi optimize edilmemişse, kullanıcının beklentilerini karşılamayabilir ve siteden hemen ayrılmalarına neden olabilir. Bu da hemen çıkma oranınızı (bounce rate) artırarak SEO sinyallerinizi olumsuz etkileyebilir.

Neden Robots.txt Kullanmalısınız? Noindex'ten Farkı ve AdSense İlişkisi

Kategori arşivlerini arama motorlarından çıkarmak için iki temel yöntem vardır: `noindex` meta etiketi ve `robots.txt` dosyası. Her ikisi de farklı amaçlara hizmet eder ve özellikle AdSense entegrasyonu olan siteler için doğru tercihi yapmak kritik öneme sahiptir.
#### Noindex Meta Etiketi
`noindex` etiketi, bir arama motoru tarayıcısına belirli bir sayfayı taramasını ancak onu arama sonuçlarında göstermemesini söyler. Sayfa tarayıcı tarafından ziyaret edilir, içeriği okunur, ancak dizine eklenmez.
#### Robots.txt Dosyası
`robots.txt` dosyası ise, arama motoru tarayıcılarına hangi URL'leri ziyaret etmelerine izin verilip verilmediğini bildiren bir metin dosyasıdır. Bu dosya, bir sayfanın hiç taranmamasını sağlar.
#### AdSense İlişkisi ve Neden Robots.txt Tercih Edilmeli?
İşte bu noktada AdSense politikaları devreye girer. Google AdSense, reklamların gösterildiği içeriğin belirli kalite standartlarına ve politikalarına uygun olmasını bekler.
* `noindex` ile Riskler: Eğer bir sayfa AdSense reklamları içeriyorsa ve siz onu `noindex` etiketiyle indekslemeden çıkarırsanız, arama motorları bu sayfayı indekslemese bile sayfa hala erişilebilir ve reklamları gösterebilir. Bu durum, arama motorlarının içeriğinizi değerlendirmesini zorlaştırırken, AdSense'in de reklamları gösterdiği içeriğin kalitesini algılamasında sorunlara yol açabilir. En kötü senaryoda, düşük kaliteli veya yinelenen içerikte reklam göstermek AdSense politika ihlali olarak algılanabilir. Ayrıca, `noindex` etiketi olan ancak taranmasına izin verilen sayfalar, tarayıcı bütçenizi yine de tüketir.
* `robots.txt` ile Güvenlik: `robots.txt` kullanarak kategori arşivlerini *taramadan* çıkarmak, arama motorlarının bu sayfalara hiç uğramamasını sağlar. Bu, birden fazla açıdan daha güvenli bir yaklaşımdır:
1. Crawl Bütçesi Tasarrufu: Değersiz sayfalar taranmadığı için, crawl bütçesi asıl önemli içeriğiniz için korunur.
2. Yinelenen İçerik Engeli: Arama motorları bu sayfaların içeriğine erişemediği için, orijinal içerikle potansiyel yinelenen içerik sorunları tamamen ortadan kalkar.
3. AdSense Politikalarına Uyum: Eğer kategori arşivlerinizde AdSense reklamları gösteriliyorsa, bu sayfaları `robots.txt` ile taramadan çıkarmak, arama motorlarının düşük kaliteli veya yinelenen içeriğe reklam gösterdiğiniz izlenimini edinmesini engeller. Böylece, sitenizin genel kalite algısını korur ve AdSense politika ihlali riskini minimize edersiniz. Unutmayın, AdSense yayıncılarının sitelerindeki tüm sayfaların Google Yayıncı Politikalarına uyması gerekir. Taranmayan sayfaların bu politikalarla çelişme riski azalır.
Bu nedenlerle, kategori arşivleri gibi genel olarak SEO değeri düşük olan ve birincil içeriği tekrar eden sayfalar için `robots.txt` ile `Disallow` direktifi kullanmak, genellikle `noindex` etiketinden daha iyi ve daha güvenli bir stratejidir.

Robots.txt Dosyasının Temel Yapısı ve Kategori Arşivleri İçin Uygulama

`robots.txt` dosyası, oldukça basit bir yapıya sahiptir. Temel olarak `User-agent` ve `Disallow` direktiflerini içerir.
* `User-agent`: Bu, kuralın hangi arama motoru tarayıcısı için geçerli olduğunu belirtir. `User-agent: *` kullanmak, tüm tarayıcılar (Googlebot, Bingbot, YandexBot vb.) için geçerli olacağı anlamına gelir.
* `Disallow`: Bu direktif, `User-agent` tarafından belirtilen tarayıcının hangi dizinleri veya dosyaları taramaması gerektiğini söyler.
WordPress'te kategori arşivlerinin URL yapısı genellikle `/category/` ile başlar. Örneğin:
* `https://www.siteniz.com/category/teknoloji/`
* `https://www.siteniz.com/category/haberler/`
Bu yapıyı kullanarak, tüm kategori arşivlerini tek bir kural ile taramadan çıkarabiliriz. Robots.txt dosyası içinde aşağıdaki direktifleri eklemeniz yeterlidir:
```
User-agent: *
Disallow: /category/
```
Bu kural, tüm arama motoru tarayıcılarına sitenizdeki `/category/` ile başlayan tüm URL'leri taramamalarını söyler. Bu sayede, "teknoloji", "haberler" veya gelecekte ekleyeceğiniz tüm diğer kategori arşivleriniz otomatik olarak taranmadan çıkarılmış olur. Eğer kalıcı bağlantı yapınızda kategori tabanını değiştirdiyseniz (örneğin `/konular/` yaptıysanız), `Disallow: /konular/` şeklinde güncellemeniz gerekir. Ancak çoğu WordPress sitesi varsayılan `/category/` yapısını kullanır.

WordPress Sitenizde Robots.txt Dosyasını Uygulama Adımları

WordPress sitenizde `robots.txt` dosyasını düzenlemek veya oluşturmak birkaç farklı şekilde yapılabilir. Hangi yöntemi seçeceğiniz, teknik bilginize ve sitenizi nasıl yönettiğinize bağlıdır.
#### 1. SEO Eklentileri Kullanarak (Önerilen Yöntem)
Çoğu WordPress SEO eklentileri (Yoast SEO, Rank Math, All in One SEO Pack vb.) kullanıcı dostu bir arayüz ile `robots.txt` dosyanızı düzenlemenize olanak tanır. Bu yöntem, teknik bilgi gerektirmediği için yeni başlayanlar veya FTP erişimi olmayanlar için en pratik çözümdür.
* Yoast SEO: WordPress yönetici panelinizden "SEO" > "Araçlar" > "Dosya Düzenleyici" sekmesine gidin. Burada `robots.txt` dosyanızı düzenleyebileceğiniz bir alan bulacaksınız.
* Rank Math: "Rank Math" > "Genel Ayarlar" > "Edit Robots.txt" bölümüne gidin. Benzer şekilde bir düzenleyici arayüzü göreceksiniz.
Bu arayüzlere yukarıda belirtilen `User-agent: *` ve `Disallow: /category/` kodunu ekleyip kaydedin. Eklentiler genellikle otomatik olarak `robots.txt` dosyanızı sitenizin kök dizinine yerleştirir veya günceller.
#### 2. FTP veya cPanel Dosya Yöneticisi Kullanarak
Bu yöntem daha teknik bir yaklaşımdır ve sitenizin kök dizinine (public_html, www veya sitenizin adı klasörü) doğrudan erişiminiz olmalıdır.
1. FTP Programı Kullanarak: FileZilla gibi bir FTP programı ile hosting hesabınıza bağlanın. Sitenizin kök dizinini bulun. `robots.txt` adında bir dosya olup olmadığını kontrol edin.
* Yoksa: Yeni bir metin dosyası oluşturun, içine yukarıdaki `Disallow` kuralını ekleyin ve `robots.txt` olarak kaydederek kök dizinine yükleyin.
* Varsa: Var olan `robots.txt` dosyasını bilgisayarınıza indirin, bir metin editörü (Notepad++, Sublime Text vb.) ile açın, kuralı ekleyin ve kaydederek tekrar kök dizinine yükleyin, var olan dosyanın üzerine yazın.
2. cPanel Dosya Yöneticisi Kullanarak: Hosting sağlayıcınızın cPanel'ine giriş yapın. "Dosya Yöneticisi"ni açın ve `public_html` (veya ilgili kök dizini) klasörüne gidin. `robots.txt` dosyasını bulun, sağ tıklayarak "Düzenle" seçeneğini seçin ve kuralı ekleyip kaydedin.
Önemli Not: `robots.txt` dosyasını manuel olarak düzenlerken dikkatli olun. Yanlış bir komut, sitenizin tamamının arama motorlarından kaldırılmasına neden olabilir. Düzenlemeden önce dosyanın bir yedeğini almanız her zaman iyi bir uygulamadır. `/makale.php?sayfa=robots-txt-generator-kullanimi` sayfamızdan `robots.txt` dosyanızı oluşturma konusunda daha fazla bilgi edinebilirsiniz.

Uygulamanın Doğrulanması ve Arama Motorlarına Bildirim

`robots.txt` dosyanızdaki değişiklikleri yaptıktan sonra, bu değişikliklerin doğru bir şekilde uygulandığından ve arama motorlarının bunları anladığından emin olmanız önemlidir.
#### 1. Google Search Console (GSC) Kullanımı
Google Search Console (eski adıyla Google Webmaster Tools), sitenizin Google arama sonuçlarındaki performansını izlemek ve yönetmek için vazgeçilmez bir araçtır.
* Robots.txt Test Aracı: GSC'de "Ayarlar" > "Tarama" > "Robots.txt test aracı" bölümüne gidin. Burada `robots.txt` dosyanızın güncel halini görebilir ve kategori arşivlerinizden birinin URL'sini (örneğin `/category/teknoloji/`) girerek Googlebot'un bu URL'yi taramasına izin verilip verilmediğini kontrol edebilirsiniz. Test sonucunun "Engellendi" veya "İzin verilmiyor" demesi, kuralın doğru çalıştığını gösterir.
* URL Denetleme Aracı: GSC'deki "URL Denetleme" aracını kullanarak, belirli bir kategori arşiv URL'sini girip Google'ın o URL hakkında ne bildiğini kontrol edebilirsiniz. Eğer kural doğru bir şekilde uygulanmışsa, tarayıcının bu URL'ye erişemediği ve dizine ekleyemediği bilgisi karşınıza çıkacaktır.
#### 2. Sitemap Güncellemesi
Eğer otomatik olarak kategori arşivlerini sitemap'inize dahil eden bir SEO eklentisi kullanıyorsanız, bu sayfaları sitemap'inizden çıkarmak isteyebilirsiniz. Çoğu eklenti (Yoast, Rank Math vb.), kategori arşivleri için sitemap oluşturmayı devre dışı bırakma seçeneği sunar. Sitemaps, arama motorlarına hangi sayfaların indekslenmesi gerektiğini önerdiği için, taranmasını veya indekslenmesini istemediğiniz sayfaların sitemap'te yer almaması tutarlılık açısından önemlidir.
#### 3. Sabır
Arama motorlarının `robots.txt` dosyanızdaki değişiklikleri fark etmesi ve uygulamaya koyması zaman alabilir. Bu süre, sitenizin tarama sıklığına bağlı olarak birkaç günden birkaç haftaya kadar değişebilir. Sabırlı olun ve GSC'deki tarama istatistiklerini düzenli olarak kontrol edin.

Kategori Arşivlerini İndekslemeden Çıkarmanın AdSense ve SEO Faydaları

Kategori arşivlerini `robots.txt` ile arama motorlarından çıkarmak, sitenizin genel sağlığı ve performansına hem SEO hem de AdSense açısından önemli katkılar sağlar:
* Gelişmiş SEO Performansı:
* Daha İyi İçerik Odaklılık: Arama motorları, sitenizdeki en değerli ve özgün içeriğe odaklanır. Kategori arşivlerinin dışarıda bırakılması, asıl makalelerinizin ve ana sayfalarınızın daha fazla SEO değeri taşımasını sağlar.
* Etkili Crawl Bütçesi Kullanımı: Arama motoru tarayıcıları, kaynaklarını gerçekten indekslenmesi gereken sayfalara harcar. Bu, yeni içeriklerinizin daha hızlı keşfedilip dizine eklenmesine yardımcı olur.
* Daha Az Yinelenen İçerik Sorunu: Potansiyel yinelenen içerik sorunları ortadan kalktığı için, sitenizin Google tarafından daha güvenilir ve kaliteli algılanmasına katkıda bulunur.
* Potansiyel Sıralama İyileşmeleri: Sitelerindeki düşük kaliteli veya yinelenen içeriği temizleyen web siteleri, genellikle arama sonuçlarında iyileşmeler gözlemler.
* AdSense Politikalarına Uyum ve Gelir Sağlığı:
* Daha Az Politika İhlali Riski: Düşük kaliteli veya ince içerikli sayfalarda reklam gösterimini dolaylı olarak azaltarak, Google Yayıncı Politikalarını ihlal etme riskini minimize edersiniz. AdSense, değerli ve özgün içeriğe sahip sitelere öncelik verir.
* Daha Kaliteli Reklam Gösterimi: Arama motorları ve AdSense, sitenizin genel kalitesini daha iyi anladığında, daha ilgili ve yüksek değerli reklamların sitenizde gösterilme olasılığı artar, bu da potansiyel olarak reklam gelirlerinizi artırabilir.
* Site Denetimlerinde Avantaj: Gelecekte sitenizin AdSense ekibi tarafından incelenmesi durumunda, temiz bir indeksleme yapısı ve düşük kaliteli sayfalardan arındırılmış bir site, olumlu bir izlenim bırakacaktır. `/makale.php?sayfa=duplike-icerik-ve-adsense-politikalari` sayfamızda yinelenen içerik ve AdSense ilişkisi hakkında daha fazla bilgi bulabilirsiniz.

Alternatif Yaklaşımlar ve Dikkate Alınması Gerekenler

Kategori arşivlerini `robots.txt` ile indekslemeden çıkarmak en genel ve genellikle en iyi çözüm olsa da, bazı özel durumlar için farklı yaklaşımlar da düşünülebilir:
* Değerli Kategori Arşivleri: Bazı özel durumlarda (örneğin, bir e-ticaret sitesinin özenle hazırlanmış kategori sayfaları veya bir portföy sitesinin projelerini sergileyen kategori sayfaları), kategori arşivleri kullanıcılar için gerçekten değerli birer sayfa olabilir. Bu tür senaryolarda, `noindex` etiketini kullanmak, sayfanın taranmasına izin verirken indekslenmesini engelleyebilir. Ancak, AdSense reklamları içeren ve `noindex` etiketiyle işaretlenmiş sayfalar için potansiyel politika ihlali riskini daima göz önünde bulundurun.
* Sayfalandırılmış Arşivler: Eğer kategori arşivleriniz birden fazla sayfadan oluşuyorsa (`/category/teknoloji/page/2/`, `/category/teknoloji/page/3/` gibi), bu sayfalar için özel bir strateji izlenmelidir. Genellikle, ilk sayfa dışındaki sayfaların indekslenmesini `noindex` etiketiyle engellemek veya `rel="canonical"` etiketini ilk sayfaya işaret etmek önerilir. Ancak `robots.txt` ile `/category/` tamamen engellendiğinde, tüm sayfalandırılmış arşivler de taranmayacaktır, bu da bu sayfalar için ek bir müdahaleyi gereksiz kılar.
Sonuç olarak, WordPress sitenizdeki kategori arşivlerini robots.txt dosyası ile indekslemeden çıkarmak, sitenizin SEO sağlığı ve AdSense uyumluluğu açısından güçlü ve etkili bir adımdır. Bu basit değişiklik, arama motorlarına sitenizin en değerli içeriğine odaklanmaları için net bir sinyal gönderirken, sitenizin genel kalitesini artırır ve potansiyel politika sorunlarını önler. Düzenli olarak sitenizin `robots.txt` dosyasını ve Google Search Console verilerini kontrol ederek sitenizin arama motoru görünürlüğünü proaktif bir şekilde yönetmeye devam edin.