Web Sitesi Taşıma Sonrası Eski URL'lerin Robots.txt ile Google'dan Silinmesini Sağlama

Bir web sitesini taşımak, dijital dünyadaki en karmaşık ve hassas operasyonlardan biridir. İster yeni bir alan adına geçiş yapıyor olun, ister altyapınızı güncelliyor, isterse site yapınızı tamamen değiştiriyor olun, süreç boyunca birçok SEO faktörünü göz önünde bulundurmanız gerekir. Bu faktörlerin başında da eski URL'lerin akıbeti gelir. Eski URL'lerin Google indeksinde kalması, kullanıcı deneyimi sorunlarına, yinelenen içerik problemlerine ve en önemlisi, değerli arama motoru optimizasyonu (SEO) otoritesinin kaybedilmesine yol açabilir. Bu makalede, web sitesi taşıma sonrası eski URL'lerin Google indeksinden kaldırılması sürecinde `robots.txt` dosyasının rolünü ve doğru kullanımını detaylı bir şekilde ele alacağız. Ancak baştan belirtmek gerekir ki, `robots.txt` doğrudan bir kaldırma aracı olmaktan ziyade, arama motoru botlarının belirli sayfalara erişimini engelleyen bir talimat dosyasıdır. Eski URL'lerin Google'dan "silinmesini sağlama" ifadesiyle kastedilen, botların bu URL'leri bir daha taramaması ve dolayısıyla indekslerinden düşmesi sürecidir.

Web Sitesi Taşımanın Zorlukları ve Eski URL'lerin Akıbeti

Web sitesi taşıması, yeni bir evin taşınmasına benzer. Tüm eşyalarınızı yeni adrese taşırken, eski adresinizde hiçbir şey bırakmadığınızdan emin olmanız gerekir. Dijital dünyada bu, tüm içeriklerinizin, görsellerinizin, scriptlerinizin ve özellikle de URL yapınızın yeni siteye eksiksiz ve doğru bir şekilde aktarılması anlamına gelir. En sık karşılaşılan sorunlardan biri, eski URL'lerin Google indeksinde kalmaya devam etmesidir. Bu durumun çeşitli olumsuz sonuçları vardır:
1. Kullanıcı Deneyimi: Eski URL'lere tıklayan kullanıcılar 404 hatasıyla karşılaşabilir veya alakasız sayfalara yönlenebilir. Bu, kullanıcıların sitenizden hızla ayrılmasına neden olur.
2. Yinelenen İçerik: Eğer eski URL'ler hâlâ canlıysa ve yeni URL'ler de aynı içeriği barındırıyorsa, Google bunu yinelenen içerik olarak algılayabilir. Bu durum, hangi sayfanın yetkili olduğunu belirlemede arama motorları için kafa karışıklığı yaratır ve SEO performansınıza zarar verebilir.
3. Crawl Bütçesi İsrafı: Arama motoru botlarının sitenizi taramak için belirli bir crawl bütçesi vardır. Botlar, var olmayan veya taşınmış eski URL'leri taramaya devam ettiklerinde, bu bütçeyi faydasız yere harcamış olurlar. Bu da, yeni ve önemli sayfalarınızın daha yavaş indekslenmesine yol açabilir.
4. SEO Otoritesi Kaybı: Eski URL'lerinize işaret eden backlinkler varsa ve bu linkler doğru şekilde yönlendirilmezse, sitenizin kazandığı link otoritesini yeni adresinize taşıyamaz ve sıralamalarda düşüş yaşayabilirsiniz.
Bu nedenlerle, taşıma sonrası eski URL'lerin arama motoru indeksinden etkin bir şekilde yönetilmesi ve gerektiğinde kaldırılması kritik öneme sahiptir.

Robots.txt Dosyasının Temel İşlevi ve Sınırları

Robots.txt dosyası, sitenizin kök dizininde bulunan ve arama motoru botlarına sitenizi nasıl taramaları gerektiği konusunda talimatlar veren basit bir metin dosyasıdır. Bu dosya aracılığıyla, botların hangi dizinleri veya dosyaları taramasına izin verildiğini veya yasaklandığını belirtebilirsiniz. Örneğin:
```
User-agent: *
Disallow: /admin/
Disallow: /private/
```
Yukarıdaki örnek, tüm arama motoru botlarının (`User-agent: *`) `/admin/` ve `/private/` dizinlerini taramasını yasaklar. Robots.txt'nin anahtar kelimesi "Disallow" (yasakla) komutudur.
Ancak burada çok önemli bir ayrımı netleştirmeliyiz: `robots.txt` dosyasındaki `Disallow` komutu, bir URL'nin Google indeksinden *doğrudan kaldırılmasını* sağlamaz. Bu komut yalnızca arama motoru botlarının belirli bir URL'yi *taramasını* engeller. Eğer bir sayfa zaten Google tarafından indekslenmişse ve siz `robots.txt` ile o sayfanın taramasını yasaklarsanız, sayfa bir süre daha indeksinde kalmaya devam edebilir. Google, sayfayı tarayamadığı için içeriğini güncelleyemez ancak, başka kaynaklardan (örneğin backlinkler) elde ettiği bilgilerle bu URL'nin var olduğunu bilmeye devam edebilir. Zamanla, taraması engellenen ve içeriğine erişilemeyen bu sayfalar indeksden düşme eğilimi gösterebilir, ancak bu süreç garanti değildir ve uzun sürebilir. Bu nedenle, `robots.txt`'yi doğrudan bir kaldırma aracı olarak görmek yerine, tarama kontrol aracı olarak anlamak çok önemlidir.

Web Sitesi Taşıma Sonrası Eski URL'lerin Yönetiminde Robots.txt Kullanımı

Web sitesi taşıma sonrası eski URL'lerin Google'dan efektif bir şekilde "silinmesini sağlama" sürecinde `robots.txt`'nin rolü, ana çözüm olmaktan ziyade, diğer yöntemleri destekleyici veya belirli durumlar için tamamlayıcı bir araçtır.

Asıl Çözüm: 301 Yönlendirmeler

Web sitesi taşıma sonrasında eski URL'lerin akıbetini yönetmenin en etkili ve SEO dostu yolu, 301 yönlendirme (kalıcı yönlendirme) kullanmaktır. 301 yönlendirmeler, eski bir URL'den gelen trafiği kalıcı olarak yeni bir URL'ye yönlendirir. Bu hem kullanıcıları doğru yere ulaştırır hem de eski URL'nin kazandığı tüm SEO otoritesinin (PageRank, backlink değeri vb.) yeni URL'ye aktarılmasını sağlar. Google, 301 yönlendirmelerini bir sinyal olarak kabul eder ve eski URL'yi indeksinden çıkarıp, yerine yeni URL'yi koyar. Taşıma sürecinde tüm eski URL'lerinizi yeni, karşılık gelen URL'lerine 301 ile yönlendirmeniz mutlak bir zorunluluktur.
Daha fazla bilgi için, '301 Yönlendirme Rehberi' başlıklı makalemize göz atabilirsiniz: [/makale.php?sayfa=301-yonlendirme-rehberi](https://www.example.com/makale.php?sayfa=301-yonlendirme-rehberi)

Robots.txt Ne Zaman Kullanılmalı?

Peki, Robots.txt taşıma sonrası süreçte nerede devreye girer?
1. Taşıma Sürecinde Geçici Alanları Korumak: Taşıma öncesinde veya sırasında, yeni siteyi test ettiğiniz bir hazırlık (staging) ortamınız olabilir. Bu tür geçici URL'lerin veya test sayfalarının yanlışlıkla indekslenmesini önlemek için, bu alanların `robots.txt` dosyasına `Disallow: /` ekleyerek tüm taramayı engelleyebilirsiniz. Taşıma tamamlandığında ve site yayına girdiğinde bu disallow komutlarını kaldırmayı unutmayın.
2. Önemsiz veya Gizli Kalması Gereken Alanları Engellemek: Taşıma sonrası yeni sitenizde, kullanıcıların görmesini istemediğiniz (örneğin admin paneli, kullanıcı profili ayarları gibi) veya arama motorlarının indekslemesinin gereksiz olduğu (örneğin filtreleme sayfaları, sıralama seçenekleri vb.) belirli URL'ler olabilir. Bu URL'lerin crawl bütçesinizi tüketmesini engellemek ve gereksiz indekslenmeyi önlemek için `robots.txt` kullanabilirsiniz.
3. 404 Veren Eski URL'leri Tarama Bütçesinden Çıkarmak (Dolaylı Yöntem): Eğer eski URL'leriniz 301 ile yönlendirilmediyse ve artık 404 (bulunamadı) hatası veriyorsa, Google botları bu sayfaları taramaya devam edecektir. Bu durum, crawl bütçesi israfına yol açar. Eğer bu 404 veren eski URL'lerin belirli bir deseni varsa ve bunları tek tek 301 ile yönlendirmek pratik değilse (ki bu nadir bir durum olmalı ve ana strateji olmamalı), `robots.txt` ile bu desenleri `Disallow` ederek botların bu URL'leri taramasını durdurabilirsiniz. Ancak tekrar vurgulayalım: bu direkt olarak indeksden kaldırmaz, sadece taramayı durdurur. Google bu URL'lerin indeksini zamanla güncelleyecektir, ancak bu birincil yöntem değildir.

Google Search Console URL Kaldırma Aracı

Eski URL'lerin Google indeksinden hızlı ve kesin bir şekilde kaldırılması gerektiğinde, Google Search Console içindeki URL Kaldırma Aracı en güçlü yardımcınızdır. Bu araç, belirli URL'lerin veya bir dizinin geçici olarak arama sonuçlarından kaldırılması için Google'a bir istek göndermenizi sağlar. Bu istek 6 ay boyunca geçerlidir. Bu süre zarfında, URL'nin kalıcı olarak indeksden kaldırılması için 301 yönlendirmesi veya `noindex` etiketi gibi kalıcı bir çözüm uygulamanız gerekmektedir. Robots.txt'nin aksine, bu araç Google'a doğrudan "bu sayfayı indeksinden kaldır" sinyali gönderir.
URL kaldırma aracını kullanmadan önce iyi düşünmek önemlidir, çünkü yanlış kullanıldığında sitenizin değerli sayfalarının arama sonuçlarından silinmesine neden olabilir. Ancak, taşıma sonrası ortaya çıkan ve kesinlikle indekslenmemesi gereken eski URL'ler için, 301'lere ek olarak hızlı bir çözüm sunar.
Google Search Console kullanımı hakkında daha fazla bilgi edinmek için: [/makale.php?sayfa=google-search-console-kullanimi](https://www.example.com/makale.php?sayfa=google-search-console-kullanimi)

En İyi Uygulamalar ve AdSense Politikaları

Web sitesi taşıma sonrası eski URL'lerin yönetimi, AdSense yayıncıları için de büyük önem taşır. AdSense politikaları, reklamların yalnızca işlevsel, yüksek kaliteli ve kullanıcı dostu sayfalarda gösterilmesini zorunlu kılar. Eski URL'lerin 404 hataları vermesi veya yanlış içeriğe yönlendirmesi, kullanıcı deneyimini bozar ve AdSense politikalarını ihlal etme potansiyeli taşır. Bu durum, reklam gösterimlerinin düşmesine veya hesabınızın askıya alınmasına yol açabilir. Bu nedenle, web sitesi taşıma sırasında aşağıdaki en iyi uygulamalara riayet etmek, hem SEO hem de AdSense uyumluluğu açısından kritik öneme sahiptir:
1. Kapsamlı Bir 301 Yönlendirme Haritası Oluşturun: Eski URL'lerinizin her birini yeni, karşılık gelen URL'sine yönlendirecek detaylı bir plan yapın. Bu, en önemli adımdır.
2. Yeni Bir Sitemap Oluşturun ve Gönderin: Taşıma sonrası sitenizin güncel yapısını yansıtan yeni bir XML sitemap oluşturun ve Google Search Console'a gönderin. Bu, Google'ın yeni URL'lerinizi daha hızlı keşfetmesini sağlar.
3. Eski Sitemap'i Kaldırın (veya Güncelleyin): Eski sitemap dosyasını kaldırın veya yeni URL'leri içerecek şekilde güncelleyin.
4. Robots.txt Dosyanızı Gözden Geçirin: Yeni sitenizdeki Robots.txt dosyasının güncel ve doğru olduğundan emin olun. Gereksiz veya yanlış `Disallow` komutları, yeni sayfalarınızın indekslenmesini engelleyebilir. Eski sitenizde kalan `robots.txt` dosyası varsa ve bu dosya yeni sitenizden farklıysa, bunun da doğru yapılandırıldığından emin olun (örneğin, eğer eski alan adı artık yoksa veya 404 veriyorsa).
5. Google Search Console'u Yakından Takip Edin: Taşıma sonrası oluşabilecek tarama hatalarını, indeksleme durumunu ve güvenlik sorunlarını düzenli olarak kontrol edin. "Kapsam" raporu, hangi sayfaların indekslendiğini, hangilerinin hata verdiğini net bir şekilde gösterir.
6. `noindex` Etiketi Kullanımını Değerlendirin: Eğer belirli sayfaların arama motoru sonuçlarında görünmesini istemiyorsanız ancak bu sayfaların tarama bütçesi tüketmesi sizi rahatsız etmiyorsa (veya teknik olarak `robots.txt` ile engellemek mümkün değilse), bu sayfalara `` etiketini ekleyebilirsiniz. Bu etiket, botların sayfayı taramasını engellemez ancak indekse eklenmemesini sağlar.

Sonuç

Web sitesi taşıma, özellikle de eski URL'lerin yönetimi, titizlikle planlanması ve uygulanması gereken bir süreçtir. Robots.txt dosyası, arama motoru botlarının sitenizin belirli bölgelerine erişimini kontrol etmede güçlü bir araç olsa da, eski URL'leri Google indeksinden *doğrudan silmek* için birincil yöntem değildir. Bu görev için asıl çözüm 301 yönlendirmeleri kullanmak ve gerektiğinde Google Search Console'daki URL Kaldırma Aracını kullanmaktır. `Robots.txt`, daha çok taşıma sırasında geçici alanları korumak, yeni sitedeki gereksiz taramaları engellemek ve crawl bütçenizi optimize etmek için kullanılır. Doğru stratejiler ve dikkatli bir uygulama ile web sitenizi sorunsuz bir şekilde taşıyabilir, SEO performansınızı koruyabilir ve AdSense politikalarına uyumlu kalabilirsiniz. Unutmayın, iyi yönetilmiş bir taşıma, sitenizin dijital varlığının geleceği için kritik bir yatırımdır.