Sadece Belirli Arama Motoru Botlarına İzin Veren Robots.txt Nasıl Yaparım?

Web sitenizin arama motorlarındaki görünürlüğü, büyük ölçüde arama motoru botlarının sitenizi ne kadar verimli taradığına ve dizinlediğine bağlıdır. Ancak her bot, siteniz için aynı derecede faydalı olmayabilir. Kaynakları verimli kullanmak, sunucu yükünü azaltmak veya sadece belirli arama motorlarının içeriğinizi işlemesini sağlamak amacıyla, sitenize erişimi sadece seçili botlarla sınırlandırmak isteyebilirsiniz. Bu makalede, bu özel durumu yönetmek için robots.txt dosyanızı nasıl yapılandıracağınızı, riskleri ve faydaları ele alacağız. Bir SEO editörü olarak, bu konudaki doğru yaklaşımın web sitenizin SEO performansı için ne kadar kritik olduğunu biliyorum.

Robots.txt Dosyasının Temel İşleyişi

Robots.txt dosyası, web sitenizin kök dizininde bulunan ve arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini (veya tarayamayacaklarını) bildiren metin tabanlı bir dosyadır. Bu dosya, robot protokolünün bir parçası olup, botlara bir dizi yönerge sunar. Esas olarak, `User-agent` ve `Disallow` (İzin Verme) veya `Allow` (İzin Ver) yönergelerini kullanır.
* `User-agent:` yönergesi, belirli bir botu (örneğin, Googlebot, Bingbot) veya tüm botları (`User-agent: *`) hedefler.
* `Disallow:` yönergesi, belirtilen botun sitenin hangi bölümüne erişmemesi gerektiğini söyler. Örneğin, `Disallow: /wp-admin/` botların yönetici paneline erişmesini engeller.
* `Allow:` yönergesi ise, `Disallow` kuralına rağmen belirli bir klasör veya dosyaya erişime izin verir. Bu, genellikle bir bölümü engellerken, o bölümdeki belirli bir dosyanın erişilebilir olmasını istediğinizde kullanılır.
Unutulmamalıdır ki, robots.txt bir zorlama mekanizması değil, bir talep mekanizmasıdır. İyi niyetli arama motoru botları bu yönergelere uyar; ancak kötü niyetli botlar veya kazıyıcılar bu dosyayı tamamen göz ardı edebilir. Bu nedenle, hassas bilgileri korumak için tek başına robots.txt'ye güvenmek yeterli değildir.

Belirli Botlara İzin Verme Stratejisi: Beyaz Liste Yaklaşımı

Sadece belirli arama motoru botlarına izin vermek istiyorsanız, "beyaz liste" (whitelist) yaklaşımını benimsemeniz gerekir. Bu stratejide, öncelikle tüm botların sitenizi taramasını engellersiniz ve ardından, tek tek izin vermek istediğiniz botları belirlersiniz. Bu yöntem, sunucunuzdaki gereksiz yükü azaltabilir ve sitenizin içeriğinin yalnızca güvendiğiniz veya stratejik olarak önemli gördüğünüz botlar tarafından işlenmesini sağlayabilir.
Bu stratejiyi uygularken dikkatli olmak gerekir. Yanlış yapılandırma, sitenizin arama sonuçlarından tamamen kaybolmasına neden olabilir. Özellikle, sitenizin ana arama motorlarında görünürlüğünü sağlayan botları (örneğin Googlebot) yanlışlıkla engellemek, reklam gelirlerinizden (varsa AdSense gibi), organik trafikten ve genel erişimden önemli kayıplara yol açabilir. Bu nedenle, bu kararı verirken sitenizin hedeflerini ve hangi botların size değer kattığını iyi analiz etmelisiniz.

Adım Adım Robots.txt Oluşturma

Beyaz liste yaklaşımıyla robots.txt dosyanızı oluşturmak için aşağıdaki adımları izleyebilirsiniz:

Adım 1: Tüm Botları Engelleme (Genel Kural)

Öncelikle, tüm botların sitenizin tamamını taramasını engelleyen genel bir kural tanımlayın. Bu, robots.txt dosyanızdaki ilk kural olmalıdır:
```
User-agent: *
Disallow: /
```
Bu kod parçacığı, "*" sembolü ile temsil edilen tüm user-agent'ların (`Disallow: /`) tüm sitenizi taramasını engeller. Bu, varsayılan bir "her şeyi engelle" kuralıdır.

Adım 2: İzin Verilecek Botları Belirleme

Şimdi, genel engelleme kuralına rağmen sitenizi taramasına izin vermek istediğiniz belirli botları tanımlayın. Her bot için ayrı bir `User-agent` bloğu oluşturmanız ve ardından `Allow: /` yönergesini kullanmanız gerekir.
Örneğin, sitenizin Google, Bing ve Yandex tarafından dizinlenmesini istiyorsanız, robots.txt dosyanız şöyle görünecektir:
```
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: YandexBot
Allow: /
```
Bu örnekte:
* İlk iki satır, tüm botları engeller.
* `User-agent: Googlebot` ve `Allow: /` satırları, Googlebot'un tüm siteye erişmesine izin verir.
* Benzer şekilde, Bingbot ve YandexBot için de aynı yönerge tekrarlanır.
Önemli Not: `User-agent` tanımları büyük/küçük harf duyarlıdır ve doğru bot adını kullanmanız kritiktir. Resmi bot listeleri için ilgili arama motorlarının web yöneticisi kılavuzlarına başvurmalısınız.

Adım 3: XML Site Haritası Belirtme

Hangi botlara izin verirseniz verin, sitenizin site haritasını (sitemap) robots.txt dosyanızda belirtmek iyi bir pratiktir. Bu, botların sitenizin tüm önemli sayfalarını kolayca keşfetmesine yardımcı olur.
```
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: YandexBot
Allow: /
Sitemap: https://www.siteadiniz.com/sitemap.xml
```
Site haritası yönergesi, genellikle dosyanın en altına eklenir ve bir arama motoru botları için sitenizin yapısını anlama konusunda önemli bir ipucudur. Eğer birden fazla site haritanız varsa, her birini ayrı ayrı listeleyebilirsiniz. Daha fazla bilgi için '/makale.php?sayfa=xml-site-haritasi-nedir' makalemize göz atabilirsiniz.

Hangi Botlara İzin Vermelisiniz?

Bu sorunun cevabı, sitenizin hedeflerine bağlıdır. Çoğu web sitesi için aşağıdaki botlara kesinlikle izin verilmelidir:
* Googlebot: Google arama sonuçlarında görünmek için vazgeçilmezdir. Googlebot, farklı amaçlar için çeşitli alt tiplere sahiptir (Googlebot-Image, Googlebot-Video, Googlebot-News vb.), ancak genellikle `User-agent: Googlebot` tüm bu alt tipler için geçerlidir. AdSense geliri elde eden siteler için, Googlebot'un sitenizi taraması, reklamların içeriğinizle alakalı olmasını ve doğru şekilde sunulmasını sağlamak açısından hayati önem taşır. Eğer Googlebot sitenizi dizinleyemezse, reklamlar gösterilemeyebilir.
* Bingbot: Microsoft'un arama motoru Bing'de listelenmek için gereklidir.
* YandexBot: Rusya'nın önde gelen arama motoru Yandex'de görünmek için önemlidir.
Ek olarak, sitenizin sektörü veya hedefleri doğrultusunda diğer bazı botlara izin vermek isteyebilirsiniz:
* Pinterestbot: Eğer sitenizde yoğun bir görsel içerik varsa ve Pinterest'ten trafik çekmek istiyorsanız.
* Facebook External Hit: Facebook paylaşımlarınızın önizlemelerini doğru bir şekilde oluşturmak için.
* Sosyal Medya Botları: Twitter, LinkedIn gibi diğer platformların botları da içerik önizlemeleri için gereklidir.
* SEO Araç Botları: AhrefsBot, SemrushBot gibi araçlar sitenizin SEO analizini yapabilmek için tarama yapar. Bunlar arama motoru botları olmasa da, SEO stratejiniz için değerli veriler sağlarlar.
Herhangi bir botu engellemeden önce, o botun siteniz için ne gibi bir fayda sağladığını araştırmanız ve olası olumsuz etkilerini değerlendirmeniz önerilir. Aşırı kısıtlayıcı bir robots.txt dosyası, sitenizin görünürlüğünü olumsuz etkileyebilir.

Robots.txt Uygulamasında Dikkat Edilmesi Gerekenler

1. Doğru Sözdizimi: Robots.txt dosyasındaki en küçük bir sözdizimi hatası bile tüm dosyanın yanlış yorumlanmasına neden olabilir. Her kuralı yeni bir satıra yazın ve doğru `User-agent`, `Disallow` ve `Allow` formatlarını kullanın.
2. Konum: Robots.txt dosyası daima sitenizin kök dizininde olmalıdır (örn: `https://www.siteadiniz.com/robots.txt`).
3. Test Etme: Dosyanızı sunucuya yüklemeden önce veya yükledikten sonra mutlaka test edin. Google Search Console'da bulunan robots.txt test aracı, dosyanızdaki hataları tespit etmenize ve belirli URL'lerin botlar tarafından nasıl görüldüğünü kontrol etmenize olanak tanır. Bu konuda daha fazla bilgi için '/makale.php?sayfa=google-search-console-rehberi' makalesine başvurabilirsiniz.
4. AdSense ve Dizinleme İlişkisi: Web siteniz AdSense kullanıyorsa, Googlebot'un sitenizin içeriğini düzgün bir şekilde dizinlemesi hayati önem taşır. İçeriğinizin dizinlenmemesi, alakalı reklamların gösterilmesini engeller ve bu da gelir kaybına yol açar. Bu nedenle, Googlebot'u asla yanlışlıkla engellemediğinizden emin olun. Dizinleme engellenirse, siteniz arama sonuçlarında görünmez ve dolayısıyla reklamlar da hedefine ulaşamaz.
5. Gecikme Süreleri (Crawl-delay): Bazı botlar için, sunucu üzerindeki yükü azaltmak amacıyla `Crawl-delay:` yönergesini kullanabilirsiniz. Ancak Googlebot artık bu yönergeyi kullanmamaktadır.

Robots Txt Üretici Araçları ve Faydaları

Manuel olarak robots.txt dosyası oluşturmak, özellikle karmaşık sitelerde hatalara yol açabilir. Bu nedenle, çevrimiçi Robots Txt Üretici araçları oldukça faydalıdır. Bu araçlar, botları ve engellemek veya izin vermek istediğiniz yolları seçmenize olanak tanır ve doğru sözdizimine sahip bir robots.txt dosyası oluşturur. Bu, hataları en aza indirmeye ve zaman kazanmaya yardımcı olur. Ayrıca, bu araçlar genellikle farklı user-agent'ların listesini içerir, bu da doğru bot adlarını kullanmanızı kolaylaştırır.
Sonuç olarak, sitenize erişimi sadece belirli arama motoru botlarıyla sınırlamak, doğru yapıldığında sitenizin kaynaklarını optimize edebilir ve hedefli bir SEO stratejisi uygulamanıza yardımcı olabilir. Ancak bu güçlü aracı kullanırken son derece dikkatli olmak ve her değişikliği titizlikle test etmek, sitenizin arama motorlarındaki görünürlüğünü korumak adına kritik öneme sahiptir. Unutmayın, iyi yönetilen bir robots.txt dosyası, sitenizin SEO performansı için temel taşlardan biridir.