Tüm siteyi engellemek ama sadece belirli klasörlere (ör: blog) izin vermek için Robots.txt kodu nasıl yazılır?

Bir SEO editörü olarak, web sitenizin arama motorları tarafından nasıl tarandığını ve dizine eklendiğini kontrol etmenin önemini çok iyi biliyorum. Özellikle Google AdSense gibi reklam programları üzerinden gelir elde ediyorsanız, doğru sayfaların taranıp dizine eklenmesi, reklam gösterimleri ve dolayısıyla geliriniz için hayati öneme sahiptir. Bu bağlamda, `robots.txt` dosyası, sitenizin trafik akışını ve arama motorlarının sitenizle etkileşimini yönetmek için kullanabileceğiniz en güçlü araçlardan biridir.
Bazen, web sitenizin belirli bölümlerini arama motoru botlarının erişimine kapatmak, ancak diğer kritik bölümlerini (örneğin blogunuzu) açık tutmak isteyebilirsiniz. Bu strateji, tarama bütçesi optimizasyonu, kopya içerik sorunlarının önlenmesi veya hassas kullanıcı verilerinin bulunduğu alanları gizlemek gibi çeşitli nedenlerle uygulanabilir. Bu makalede, tüm sitenizi engellerken sadece belirli klasörlere (örneğin `blog` klasörüne) izin vermek için `robots.txt` dosyasını nasıl yapılandıracağınızı adım adım, ancak kod blokları kullanmadan, açıklayacağız.

Robots.txt Nedir ve Neden Önemlidir?

`robots.txt` dosyası, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına (örneğin Googlebot) hangi bölümleri tarayıp hangi bölümleri taramamaları gerektiğini söyleyen basit bir metin dosyasıdır. Bu dosya, robotların sitenizi nasıl ziyaret edeceğine dair bir kılavuz görevi görür. Bir arama motoru botu sitenize geldiğinde, ilk olarak `robots.txt` dosyasını kontrol eder ve bu dosyadaki talimatlara göre hareket eder.
Bu dosyanın önemi, arama motoru optimizasyonu (SEO) açısından birden fazladır:
1. Tarama Bütçesi Yönetimi: Büyük veya sürekli güncellenen sitelerde, arama motorlarının sitenize ayırdığı sınırlı bir "tarama bütçesi" vardır. `robots.txt` ile önemsiz veya kopya içerikli sayfaları engelleyerek, botların değerli tarama bütçelerini daha önemli sayfalarda kullanmasını sağlayabilirsiniz. Bu konuda daha derinlemesine bilgi için '/makale.php?sayfa=tarama-butcesi-optimzasyonu' başlıklı yazımıza göz atabilirsiniz.
2. Dizin Oluşturmayı Kontrol Etme: `robots.txt` doğrudan bir sayfanın dizine eklenmesini engellemez (bunun için `noindex` meta etiketi daha etkilidir), ancak botların o sayfayı taramasını engelleyerek dolaylı olarak dizine eklenme olasılığını azaltır. Eğer bir sayfanın arama sonuçlarında hiç görünmemesini istiyorsanız, '/makale.php?sayfa=noindex-etiketi-kullanimi' gibi bir makalede bahsedilen `noindex` meta etiketini kullanmanız daha uygun olacaktır.
3. Hassas İçeriği Gizleme: Geliştirme aşamasındaki sayfalar, yönetim panelleri, özel kullanıcı profilleri veya hassas veriler içeren diğer alanlar gibi arama motorlarında görünmesini istemediğiniz içerikleri gizlemek için idealdir.
4. Kopya İçerik Sorunlarını Önleme: Sitenizde farklı URL'lerde aynı içeriğin bulunduğu durumlar için (örneğin, filtreli ürün sayfaları), botların bu kopya içerikleri taramasını engelleyerek SEO performansınızı olumsuz etkileyecek sorunları önleyebilirsiniz.

Tüm Siteyi Engellemek, Belirli Klasörlere İzin Vermek: Temel Mantık

Şimdi ana konumuza gelelim: tüm sitenizi engellerken sadece `blog` klasörü gibi belirli bölümlere izin verme. Bu senaryo, genellikle web sitesinin büyük bir kısmının henüz yayına hazır olmadığı, test edildiği veya özel bir amaca hizmet ettiği durumlarda kullanılırken, blog gibi içerik odaklı bölümlerin arama motorlarına açık kalması istenir.

Disallow: / ve Allow: /blog/ Direktiflerinin Gücü

Bu işlemi gerçekleştirmek için `robots.txt` dosyasında iki temel direktifi bir arada kullanırız: `Disallow` (engelle) ve `Allow` (izin ver). Mantık, genel bir engelleme kuralı koyduktan sonra, bu genel kuralı belirli klasörler için geçersiz kılmaktır.
1. Genel Engelleme Direktifi: İlk adımda, tüm sitenin taranmasını engellemek için genel bir `Disallow: /` direktifi kullanılır. Bu direktif, web sitesinin kök dizininden başlayarak tüm alt dizinlerini ve dosyalarını kapsayan geniş bir engelleme talimatıdır. Bir bot bu direktifi gördüğünde, sitenizdeki hiçbir sayfayı veya dosyayı taramaması gerektiğini anlar.
2. Belirli Klasöre İzin Verme Direktifi: Genel engellemeyi yaptıktan sonra, izin vermek istediğiniz belirli klasör için `Allow: /blog/` gibi bir direktif eklenir. `Allow` direktifi, `Disallow` direktifine göre daha spesifik bir yol belirterek, genel engellemeyi bu özel yol için geçersiz kılar. Yani, "Tüm siteyi engelle ama *sadece* `/blog/` klasörüne ve altındaki her şeye izin ver" demiş olursunuz.
Bu iki direktifin birleşimi, arama motoru botlarının sitenizin tamamını ziyaret etmesini engellerken, özellikle hedeflediğiniz `blog` klasörüne serbestçe erişmesini sağlar.

Diğer Klasörlere İzin Vermek

Eğer `blog` dışında başka klasörlere de izin vermek isterseniz, her bir klasör için ayrı bir `Allow` direktifi eklemeniz yeterlidir. Örneğin, `/urunler/` ve `/hakkimizda/` klasörlerine de izin vermek isterseniz, `Allow: /urunler/` ve `Allow: /hakkimizda/` şeklinde direktifler eklersiniz.
Unutmayın ki her klasör yolunun sonunda eğik çizgi (`/`) kullanmak önemlidir. Bu, direktifin bir klasörü hedeflediğini ve o klasörün içindeki tüm içeriği kapsadığını belirtir. Eğik çizgi olmadan, sadece o isimle başlayan dosya ve klasörleri etkileyebilir.

Neden Belirli Bölümleri Engellemeyi Düşünmelisiniz?

Bu selektif engelleme stratejisi, özellikle aşağıdaki senaryolarda oldukça faydalıdır:
* Geliştirme veya Test Ortamları: Canlı olmayan test veya geliştirme sunucuları/klasörleri genellikle arama motorları tarafından dizine eklenmemelidir.
* Özel Alanlar: Üye panelleri, yönetici arayüzleri, alışveriş sepeti sayfaları gibi genel arama sonuçlarında görünmesi gerekmeyen alanlar.
* Düşük Değerli İçerik: Arama motoru sıralaması için çok az değeri olan veya kullanıcılar için doğrudan anlam ifade etmeyen dinamik olarak oluşturulmuş sayfalar.
* Yüksek Hacimli, Düşük Kaliteli Sayfalar: Özellikle e-ticaret sitelerinde, çok sayıda filtre kombinasyonundan oluşan binlerce benzersiz URL'nin dizine eklenmesini önlemek.

Robots.txt ve Google AdSense İlişkisi

Bir SEO editörü olarak, Google AdSense politikalarına uygun hareket etmenin önemini vurgulamak isterim. Reklam gösterimleri, sayfanın taranabilir ve dizine eklenebilir olmasıyla doğrudan ilişkilidir. Eğer AdSense reklamları barındıran sayfalarınızı `robots.txt` ile engellerseniz, arama motoru botları bu sayfaları ziyaret edemez, içeriklerini anlayamaz ve dolayısıyla reklam sunumu da doğru bir şekilde yapılamaz. Bu durum, reklam gelirlerinizin önemli ölçüde düşmesine neden olabilir.
Bu nedenle, yukarıda bahsedilen "tüm siteyi engelle, belirli klasöre izin ver" stratejisini uygularken, AdSense reklamlarının gösterildiği tüm sayfaların (`blog` klasörü gibi) kesinlikle `Allow` direktifi ile taranabilir olduğundan emin olmalısınız. Reklamların yer aldığı bir sayfa engellenirse, sadece organik trafikte düşüş yaşamakla kalmaz, aynı zamanda AdSense'ten elde ettiğiniz geliri de riske atarsınız.

En İyi Uygulamalar ve Dikkat Edilmesi Gerekenler

`robots.txt` ile çalışırken göz önünde bulundurmanız gereken bazı en iyi uygulamalar ve önemli noktalar şunlardır:

robots.txt Bir Güvenlik Mekanizması Değildir

`robots.txt` dosyasının arama motoru botları için bir yönerge olduğunu unutmayın. Kötü niyetli botlar veya tarayıcılar bu direktifleri görmezden gelebilir. Hassas veya gizli içeriği korumak için `robots.txt` yerine şifreleme, sunucu taraflı erişim kontrolü veya `noindex` meta etiketi gibi daha güçlü güvenlik önlemleri kullanmalısınız. `robots.txt` sadece botlara "buraya bakma" diyen bir kibarlık kuralları bütünüdür.

CSS ve JavaScript Dosyalarını Engellemekten Kaçının

Modern web tasarımı ve dizin oluşturma süreçleri, arama motorlarının sitenizi doğru bir şekilde görselleştirmesini gerektirir. Bu nedenle, web sitenizin görsel düzenini ve işlevselliğini sağlayan CSS ve JavaScript dosyalarını engellememelisiniz. Googlebot, sayfanızın mobil uyumluluğunu ve kullanıcı deneyimini değerlendirmek için bu kaynaklara erişmeye ihtiyaç duyar. Aksi takdirde, sitenizin sıralaması olumsuz etkilenebilir.

robots.txt Dosyanızı Test Etmek

`robots.txt` dosyanızda yaptığınız değişikliklerin siteniz üzerindeki etkilerini tahmin etmek zor olabilir. Bu nedenle, değişiklikleri canlıya almadan önce test etmek çok önemlidir. Google Search Console'daki "robots.txt Test Cihazı" aracı, `robots.txt` dosyanızın belirli bir URL için hangi kuralları uygulayacağını görmenize olanak tanır. Bu araç, potansiyel hataları veya yanlışlıkla engellenen kritik sayfaları tespit etmenize yardımcı olur. Bu adımı asla atlamayın!

User-agent Direktifi

`robots.txt` dosyasındaki kurallar, `User-agent` direktifi ile belirli botlara yönlendirilir. `User-agent: *` genel bir kuraldır ve tüm botlar için geçerlidir. Eğer sadece Googlebot'un belirli klasörlere erişmesini engellemek veya izin vermek isterseniz, `User-agent: Googlebot` gibi spesifik bir direktif kullanabilirsiniz. Ancak genel bir engelleme ve belirli bir klasöre izin verme senaryosunda, genellikle `User-agent: *` kullanmak en yaygın ve etkili yöntemdir.

Robots.txt Üreticilerinin Rolü (Robots Txt Retici)

Bu karmaşık kuralları manuel olarak yazmak yerine, birçok çevrimiçi Robots.txt Üreticisi (Robots Txt Retici) aracı mevcuttur. Bu araçlar, istediğiniz kuralları girmenize olanak tanır ve size doğru kodu sağlar, böylece hata yapma riskini azaltır. Özellikle `robots.txt` konusunda yeniyseniz veya çok sayıda kuralınız varsa, bir üretici kullanmak süreci basitleştirebilir ve doğru formatın korunmasına yardımcı olabilir.

Sonuç

`robots.txt` dosyası, web sitenizin arama motoru optimizasyonu (SEO) ve Google AdSense gibi reklam platformlarından elde ettiğiniz gelir açısından kritik bir rol oynar. Tüm siteyi engellerken sadece belirli klasörlere (örneğin `blog`) izin vermek için `Disallow: /` ve `Allow: /blog/` direktiflerini kullanmak, tarama bütçenizi optimize etmenin ve sadece değerli içeriğinizin dizine eklenmesini sağlamanın etkili bir yoludur.
Ancak bu işlemi yaparken dikkatli olunmalı ve AdSense reklamları içeren sayfaların kesinlikle engellenmediğinden emin olunmalıdır. Her zaman `robots.txt` dosyanızı Google Search Console gibi araçlarla test edin ve sitenizin tarama davranışını düzenli olarak izleyin. Doğru uygulandığında, `robots.txt` sitenizin arama motorları karşısındaki performansını önemli ölçüde artırabilir ve online varlığınızın kontrolünü size verebilir.