Tüm Sitemi Dizine Kapatıp Sadece Bir Kaç Sayfayı Nasıl Açık Bırakırım?

Bir web sitesinin tamamını veya büyük bir kısmını arama motoru dizinlerinden gizlerken, sadece belirli sayfaların veya bölümlerin keşfedilebilir kalmasını sağlamak, özgün bir SEO stratejisi uygulamasını gerektirir. Bu yaklaşım, özellikle hassas içeriklere sahip, geliştirme aşamasında olan veya yalnızca çok özel bir kitleye hitap eden sayfaları vurgulamak isteyen site sahipleri için oldukça değerli olabilir. Bir SEO editörü olarak, bu tür karmaşık senaryoların hem teknik yönlerini hem de olası sonuçlarını derinlemesine anlamak gerektiğinin bilincindeyim. Özellikle AdSense gibi reklam platformlarıyla çalışan siteler için bu süreç, gelir akışını ve site performansını doğrudan etkileyebileceğinden, büyük bir titizlikle yönetilmelidir.
Amacımız, arama motoru botlarının (örneğin Googlebot) sitenizi nasıl taradığını ve dizine eklediğini kontrol etmek, böylece odaklanmak istediğimiz sayfaların öne çıkmasını sağlamaktır. Bu kontrolü sağlamanın temel aracı robots.txt dosyasıdır. Ancak, sadece `robots.txt` yeterli olmayabilir; bu teknik, diğer güçlü araçlar ve stratejilerle desteklenmelidir. Bu makalede, sitenizin büyük bir bölümünü dizine kapatırken, seçtiğiniz nadir sayfaları nasıl arama motorlarına açık bırakacağınızı adım adım inceleyeceğiz.

Neden Sitenizin Büyük Kısmını Dizine Kapatmak İsteyebilirsiniz?

Bu tür radikal bir adım atmak için geçerli birçok neden olabilir. Bunları anlamak, stratejinizi doğru bir şekilde belirlemenize yardımcı olacaktır:

Sürünme Bütçesi Optimizasyonu

Arama motorlarının bir web sitesinde tarayabileceği sayfa sayısı ve harcayabileceği süre sınırlıdır. Buna "sürünme bütçesi" denir. Eğer sitenizde binlerce sayfa varsa ve bunların çoğu düşük kaliteli, yinelenen veya önemsiz içerik barındırıyorsa, arama motoru botları değerli zamanlarını bu sayfaları taramakla harcayabilir. Sitenizin büyük bir kısmını dizine kapatarak, botların sürünme bütçesini sadece gerçekten önemli ve değerli bulduğunuz sayfalara yönlendirmesini sağlayabilir, böylece bu sayfaların daha sık taranmasını ve güncel kalmasını teşvik edebilirsiniz. Bu, genel SEO performansınızı ve anahtar sayfalarınızın sıralamasını iyileştirebilir.

Kalite Kontrolü ve İçerik Odaklanması

Her sayfa aynı kalitede veya aynı öneme sahip değildir. Geliştirme aşamasındaki sayfalar, test sayfaları, eski veya güncelliğini yitirmiş içerikler, kullanıcıların kişisel profilleri veya çok benzer içerik barındıran sayfalar gibi birçok öğe, arama sonuçlarında görünmesini istemediğiniz türden olabilir. Bu tür sayfaları dizine kapatmak, sitenizin genel kalitesini arama motorlarına daha net bir şekilde sunmanızı sağlar. Bu sayede, sitenizdeki yüksek kaliteli içerik daha belirgin hale gelir ve arama motorları tarafından daha çok takdir edilir.

Gizlilik ve Güvenlik

Bazen sitenizde, halka açık olmasını istemediğiniz hassas bilgiler veya geliştirilmekte olan özellikler bulunabilir. Bu tür içeriklerin yanlışlıkla arama motorlarında görünmesini engellemek, veri gizliliğini ve site güvenliğini sağlamak açısından kritik öneme sahiptir. Bu sayfaları dizine kapatmak, bu riskleri ortadan kaldırır.

Reklam Gelirleri ve AdSense Politikaları Bağlamında

AdSense gibi reklam platformlarıyla çalışan siteler için bu stratejinin önemi daha da artar. AdSense politikaları, reklamların yalnızca yüksek kaliteli, özgün ve değerli içeriğe sahip sayfalarda gösterilmesini teşvik eder. Eğer sitenizde düşük kaliteli veya politikaları ihlal edebilecek içerikler varsa, bunları dizine kapatmak, genel site kalitenizi yükseltir ve AdSense politikalarına uyumluluğu artırır. Ancak unutulmamalıdır ki, reklam gösterilen sayfaları dizine kapatmak, o sayfalara organik trafik gelmesini engeller ve dolayısıyla reklam gelirlerini doğrudan düşürür. Bu nedenle, AdSense reklamı bulunan sayfaların asla dizine kapatılmaması, aksine arama motorlarına tamamen açık bırakılması ve SEO'larının en iyi şekilde yapılması hayati öneme sahiptir. Stratejimiz, değerli ve reklam gösterilen sayfaları öne çıkarmak, geri kalan "gürültüyü" gizlemektir.

Temel Araç: Robots.txt Dosyası ile Kapsamlı Kontrol

Robots.txt dosyası, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceklerini veya tarayamayacaklarını bildiren bir metin dosyasıdır. Bu dosya, stratejimizin ana direğini oluşturur.

Robots.txt ile Tüm Siteyi Kapatma ve İstisnalar Oluşturma

Sitenizin tamamını dizine kapatıp sadece belirli sayfaları açık bırakmanın ilk adımı, `robots.txt` dosyasını kullanarak tüm tarayıcılara genel bir "yasak" koymaktır. Bunu aşağıdaki yönergelerle yapabilirsiniz:
```
User-agent: *
Disallow: /
```
Bu iki satır, `User-agent: *` ile tüm arama motoru botlarını hedef alır ve `Disallow: /` ile sitenizin kök dizini altındaki tüm içeriğin taranmasını yasaklar. Yani sitenizin tamamı arama motorlarına kapalı hale gelir.
Şimdi gelelim asıl meseleye: Sadece belirli sayfaları nasıl açık bırakacağız? `robots.txt` dosyası, `Disallow` yönergeleriyle yasaklama yaparken, `Allow` yönergeleriyle istisnalar tanımlamanıza olanak tanır. Önemli bir kural: `Allow` yönergeleri, `Disallow` yönergelerinden sonra gelmeli ve daha spesifik olmalıdır. Arama motorları genellikle en spesifik veya en uzun eşleşen kuralı uygular.
Örnek bir senaryo: Diyelim ki sitenizin tamamını kapatmak istiyorsunuz, ancak sadece `/hakkimizda/` ve `/urunler/harika-urun.html` sayfalarının taranmasını istiyorsunuz. `robots.txt` dosyanız şöyle görünmelidir:
```
User-agent: *
Disallow: /
Allow: /hakkimizda/
Allow: /urunler/harika-urun.html
```
Bu örnekte, `Disallow: /` tüm siteyi yasaklarken, `Allow: /hakkimizda/` ve `Allow: /urunler/harika-urun.html` yönergeleri bu spesifik dizin ve dosyaların taranmasına izin verir. Bu, botların bu iki yolu takip etmesine ve bu sayfalara erişmesine olanak tanır.

Robots.txt Dosyasının Sınırları

`Robots.txt` bir "yönerge" dosyasıdır, bir "emir" dosyası değildir. Çoğu iyi niyetli arama motoru botu bu yönergelere uyar, ancak kötü niyetli botlar veya bazı özel amaçlı tarayıcılar bu kuralları göz ardı edebilir. Ayrıca, bir sayfayı `robots.txt` ile taramaya kapatmak, o sayfanın arama sonuçlarında hiç görünmeyeceği anlamına gelmez. Eğer başka sitelerden o sayfaya dış bağlantılar varsa, Google yine de o sayfanın URL'sini dizine ekleyebilir ve arama sonuçlarında başlık ve URL ile birlikte "Bu sayfa için açıklama mevcut değil" gibi bir metinle gösterebilir. Tamamen dizinden çıkarmak için başka yöntemlere ihtiyacımız var.
Bu konuda daha fazla bilgi edinmek isterseniz, ‘/makale.php?sayfa=robots-txt-nedir-ve-nasil-kullanilir’ başlıklı makalemizi de okuyabilirsiniz.

Destekleyici ve Alternatif Yöntemler

`Robots.txt` tek başına her zaman yeterli olmayabilir. Özellikle, yukarıda bahsettiğimiz "başlık ve URL ile görünme" durumunu önlemek için aşağıdaki yöntemler kritik öneme sahiptir.

Noindex Meta Etiketi: Kesin Çözüm

Bir sayfanın arama motoru dizinlerinden tamamen kaldırılmasını sağlamak için en etkili yol, HTML belgesinin `` bölümüne noindex etiketi eklemektir:
```html

```
veya sadece:
```html

```
Bu etiket, arama motoru botlarına bu sayfayı "dizine ekleme" talimatını verir. `robots.txt` dosyasından farklı olarak, `noindex` etiketi bir botun sayfayı *tarayabileceği* ancak *dizine ekleyemeyeceği* anlamına gelir. Eğer bir sayfayı hem taratmak hem de dizine ekletmek istemiyorsanız, öncelikle `robots.txt` ile o sayfaya erişimi engellememelisiniz. Botun `noindex` etiketini görebilmesi için sayfayı taraması gerekir.
Stratejimizde, `robots.txt` ile tüm siteyi `Disallow` ederken, izin verdiğimiz sayfalar için `noindex` kullanmayız. Kalan tüm sayfalar için (yani `Disallow` ettiklerimiz için), eğer bu sayfalar zaten dizine eklendiyseler ve onları tamamen arama sonuçlarından kaldırmak istiyorsak, onları `robots.txt` ile `Disallow` etmeden önce kısa bir süre `noindex` etiketiyle yayınlamalıyız. Böylece botlar etiketi görür, dizinden kaldırır ve sonra `robots.txt` ile erişimi engelleyebiliriz. Bu hassas bir denge gerektirir.

HTTP X-Robots-Tag: HTML Olmayan Dosyalar İçin

Resimler, PDF'ler veya diğer HTML dışı dosyaları dizine kapatmak istediğinizde, HTTP başlıkları aracılığıyla `X-Robots-Tag` kullanabilirsiniz. Bu, sunucu yapılandırması gerektirir ve teknik bilgi ister. Örneğin, bir PDF dosyasının dizine eklenmesini engellemek için sunucu tarafında şu başlığı gönderebilirsiniz:
```
X-Robots-Tag: noindex
```

Parola Koruması / Kimlik Doğrulaması

Gerçekten hassas veya özel içeriğiniz varsa, en güvenli yol, bu sayfaları sunucu tarafında parola koruması (örneğin `.htaccess` ile HTTP kimlik doğrulaması) altına almak veya bir kullanıcı oturumu ile giriş yapmayı zorunlu kılmaktır. Arama motoru botları genellikle bu tür korumaları aşamaz, bu da içeriğinizi tamamen gizli tutar.

Google Search Console Kullanımı: Kontrol ve Denetleme

Bu stratejiyi uygularken Google Search Console (GSC) en iyi dostunuz olacaktır.

Robots.txt Test Aracı

GSC'de bulunan `robots.txt` test aracı, yazdığınız kuralların doğru çalışıp çalışmadığını kontrol etmenizi sağlar. Belirli bir URL'nin hangi `robots.txt` kuralına göre engellendiğini veya engellenmediğini anında görebilirsiniz. Bu, olası hataları önlemek için hayati bir adımdır.

URL Denetleme Aracı

`URL Denetleme` aracı, belirli bir sayfanın Google tarafından nasıl görüldüğünü, ne zaman tarandığını ve dizine eklenip eklenmediğini gösterir. Bu araçla, açık bırakmak istediğiniz sayfaların gerçekten taranıp dizine eklendiğini, kapatmak istediğiniz sayfaların ise taranmadığını veya dizine eklenmediğini doğrulayabilirsiniz. Bu araç, özellikle `noindex` etiketi kullanıldıktan sonra sayfaların dizinden kaldırılıp kaldırılmadığını takip etmek için çok değerlidir.

Site Haritası (Sitemap) Gönderme

Yalnızca dizine açtığınız sayfaları içeren temiz bir site haritası (sitemap.xml) oluşturmak ve bunu GSC'ye göndermek, arama motorlarının bu önemli sayfaları daha hızlı keşfetmesine yardımcı olur. Bu, `robots.txt` ile uyguladığınız stratejiyi pekiştirir ve arama motorlarının tarama çabalarını doğru yerlere yönlendirmesine olanak tanır.

URL Kaldırma Aracı

Eğer dizine kapatmak istediğiniz bazı sayfalar zaten Google dizininde yer alıyorsa ve acil olarak kaldırılmaları gerekiyorsa, GSC'deki `URL Kaldırma` aracını kullanabilirsiniz. Bu, geçici bir kaldırma talebi oluşturur ve Google'ın bu sayfaları dizininden daha hızlı çıkarmasını sağlar. Ancak kalıcı bir çözüm için yine `noindex` veya parola koruması gereklidir.

Uygulama Adımları ve Dikkat Edilmesi Gerekenler

Bu karmaşık stratejiyi uygularken dikkatli olmanız gereken bazı adımlar ve noktalar vardır:
1. Planlama Yapın: Hangi sayfaların açık kalacağını, hangilerinin tamamen kapanacağını net bir şekilde belirleyin. Bu, özellikle AdSense gelirleri açısından kritik öneme sahiptir. Reklam gösterilen sayfalarınızın açık kalması gerektiğini unutmayın.
2. Robots.txt Oluşturun: Yukarıdaki örneklere göre `robots.txt` dosyanızı oluşturun. Önce `Disallow: /` ile tüm siteyi kapatın, ardından `Allow:` yönergeleriyle açık bırakmak istediğiniz yolları ve sayfaları listeleyin.
3. Robots.txt'yi Kök Dizine Yükleyin: `robots.txt` dosyasını `www.siteniz.com/robots.txt` adresinden erişilebilir olacak şekilde web sunucunuzun kök dizinine yerleştirin.
4. Noindex Etiketlerini Uygulayın (Gerekirse): Eğer zaten dizine eklenmiş ve arama sonuçlarından tamamen kalkmasını istediğiniz sayfalar varsa, bu sayfalara `noindex` etiketini ekleyin. Botların bu sayfaları tarayabilmesi için `robots.txt` ile engellenmemiş olmaları gerektiğini unutmayın. Sayfalar dizinden çıktıktan sonra `robots.txt` ile erişimlerini engelleyebilirsiniz.
5. Google Search Console ile Test Edin: GSC'deki `robots.txt` test aracını kullanarak dosyanızın doğru çalıştığını doğrulayın. `URL Denetleme` aracını kullanarak hem açık bıraktığınız hem de kapattığınız bazı sayfaları kontrol edin.
6. Site Haritası Güncelleyin: Yalnızca açık bıraktığınız sayfaları içeren yeni bir `sitemap.xml` oluşturun ve GSC'ye gönderin.
7. Düzenli Kontrol: Değişikliklerinizin etkilerini görmek zaman alabilir. GSC'yi düzenli olarak kontrol ederek taranma istatistiklerini ve dizin kapsamını gözlemleyin.
8. Yedekleme Yapın: Herhangi bir büyük değişiklik yapmadan önce `robots.txt` dosyanızın veya web sitenizin yedeğini almayı unutmayın. Yanlış bir `robots.txt` kuralı, tüm sitenizin arama sonuçlarından kaybolmasına neden olabilir.
Bu süreçte Robots Txt Üretici gibi online araçlar, doğru syntax ile dosyanızı kolayca oluşturmanıza yardımcı olabilir. Bu tür araçlar, hata yapma riskini azaltır ve süreci hızlandırır.
Bu tür bir dizin kapatma stratejisi, özellikle büyük veya karmaşık sitelerde dikkatle uygulanmalıdır. Aceleci veya yanlış adımlar, sitenizin arama motorlarındaki görünürlüğüne ciddi zararlar verebilir. Önemli olan, hangi sayfaların gerçekten değerli olduğunu belirlemek, AdSense gibi gelir modelleriyle çakışmayacak şekilde planlama yapmak ve arama motoru botlarını akıllıca yönlendirmektir. Unutmayın, hedefiniz botları "gizlemek" değil, onları "en değerli" içeriğinize odaklamaktır.

Sonuç

Sitenizin büyük bir kısmını arama motoru dizinlerinden gizleyip sadece bir kaç sayfayı açık bırakma stratejisi, doğru uygulandığında sitenizin SEO performansını artırabilecek güçlü bir yöntemdir. Robots.txt dosyasının doğru kullanımı, noindex etiketi ile desteklenmesi ve Google Search Console'un etkin bir şekilde denetleme ve takip için kullanılması bu sürecin temel taşlarıdır. Özellikle AdSense gibi reklam ağlarıyla çalışan site sahipleri için bu strateji, değerli içeriğe odaklanarak gelir akışını korumanın ve artırmanın anahtarıdır.
Unutulmaması gereken en önemli nokta, reklam yayınladığınız veya gelir elde ettiğiniz sayfaların asla dizine kapatılmaması gerektiğidir. Bu sayfalar sitenizin can damarıdır ve mümkün olan en iyi SEO optimizasyonu ile desteklenmelidir. Diğer, daha az önemli veya geliştirilmekte olan sayfaları gizlemek, arama motorlarının sitenizin gerçek değerini anlamasına yardımcı olacak ve bu da uzun vadede daha güçlü bir organik varlık sağlayacaktır. Titiz bir planlama ve sürekli denetimle, bu stratejiyi başarıyla uygulayabilir ve web sitenizin arama motorlarındaki görünürlüğünü kendi lehinize yönetebilirsiniz.