Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt dosyası web sitesinin arama motorlarının siteyi tararken hangi sayfaları ve içerikleri tarayabileceğini belirlemek için kullanılan bir dosyadır. Robots.txt hakkında detaylı bilgi için yazımızı okuyabilirsiniz. 

Robots.txt Nedir?

Robots.txt nedir? Robots txt dosyası site yöneticilerinin arama motoru robotlarına web sitesinde sayfaları taramaları konusunda hazırlanan bir direktif dosyasıdır. Bu dosya ile robotlar web sitesinin hangi sayfalarını tarayacaklarını ya da taramayacaklarını öğrenirler. Bu yönergeler ‘allow’ ve ‘disallow’ komutları ile belirtilir. Robotlar site haritasına ulaşırlar ve site haritası aracılığıyla hangi sayfaları taramaları gerektiğini tespit ederler. 

Robots.txt dosyası sitenin ana dizininde olmalıdır kesinlikle alt klasörlerde olmamalıdır.

Doğru: https://www.example.com/robots.txt

Yanlış: https://www.example.com/dosya/robots.txt

Robots Txt Ne İşe Yarar?

Robots txt dosyası web sitesinin kök dizininde yer alır ve arama motorlarının belirli botlarının web sitesine girmeden önce dosyayı kontrol etmelerini sağlar. Bu dosya belirli sayfaları veya dizinleri arama motorlarından gizleme veya engelleme olanağı sağlar. Bu sayede, arama motorları belirli sayfaları veya içerikleri indekslemekten kaçınabilir ve web sitesinin arama sonuçlarında görünmesini istemediği içerikleri kontrol edebilir. 

Robots.txt Nasıl Oluşturulur?

Robots txt dosyası oluşturma oldukça kolaydır. Robots.txt dosyasının bir robots.txt oluşturma aracı ile ya da kendiniz oluşturabilirsiniz. 

1. Dosya Oluşturma

Web tarayıcısında ya da bir metin düzenleyicide .txt belgesi açın. 

2. Dosyaya Direktifler Ekleyin

Web sitenizin ihtiyacı olan direktifleri robots.txt dosyanıza ekleyin. 

Robots.txt Dosyası Önemli Komutlar

Robots txt kullanımı için önemli olan komutlardan bazıları aşağıdaki gibidir: 

• User-agent: Genellikle bir arama motoru için tarama talimatları verdiğiniz belirli web gezginidir. Hangi arama motorunun girip girmeyeceğini belirlememizi sağlar. Eğer arama motorlarını engellemek istiyorsak bu komutu kullanabiliriz.
• Disallow: Botların belirli bir URL’yi taramamasını söylemek için kullanılan Robots.txt engelleme komutudur. Seçeceğimiz klasörlerin arama motorları tarafından dizine eklenmemesini sağlar.
• Allow: Arama motorlarına dizine ekleyebilirsin komutudur. Googlebot’a, üst sayfasına veya alt klasörüne izin verilmemiş olsa bile bir sayfaya veya alt klasöre erişebileceğini söyler.
• Sitemap: XML site haritasının/haritalarının konumunu robots.txt dosyası ile arama motorlarına gösterilir.

Özel Komutlar: 

• *   yıldız işareti: tamamını içer anlamına gelir.  
• $   dolar işareti: ile biten klasörleri içer anlamına gelir.

3. Dosyanızı Yükleyin

Dosyanızı oluşturduktan sonra sitenize yükleyin. Robots.txt dosyasının siteye yüklenmesi her altyapıda farklı şekillerde gerçekleştirilir. 

4. Robots.txt Dosyasını Kontrol Edin

Dosyanızın doğru çalışıp çalışmadığını kontrol edin. Bunun için tasarlanmış araçlardan yardım alabilirsiniz. 

Robots txt oluşturma tamamlanınca İlk kontrolü manuel gerçekleştirebilirsiniz:

Örneğin: https://example.com/robots.txt 

Robots.txt Test Aracı

Google Robots.txt gelişim aracı ile test edebilirsiniz. Araca buradan ulaşabilirsiniz. 

Not: Google robots.txt test aracı kullanılabilmesi için bir Search Console hesabınız olmalıdır.

Örnek Robots.txt Dosyası

www.example.com sitesi için robots.txt’nin birkaç örneğini inceleyelim:

Örnek robots.txt dosyası: www.example.com/robots.txt

example.com sitesi için robots.txt’nin birkaç örneğini inceleyelim:

    Tüm web tarayıcılarını tüm içerikten engelleme

User-agent: * Disallow: /

Tüm web tarayıcılarına ana sayfa dahil example.com’daki hiçbir sayfayı taramamalarını söyler.

   Belirli bir klasörden belirli bir web tarayıcısını engelleme

User-agent: Googlebot Disallow: /example-subfolder/

Bu sözdizimi, yalnızca Google’ın tarayıcısına (kullanıcı aracısı adı Googlebot), example.com/example-subfolder/ URL dizesini içeren sayfaları taramamasını söyler .

   Belirli bir web tarayıcısının belirli bir web sayfasından engellenmesi

User-agent: Bingbot Disallow: /example-subfolder/blocked-page.html

Bu sözdizimi, yalnızca Bing’in tarayıcısına (kullanıcı aracısı adı Bing), example.com/example-subfolder/blocked-page.html adresindeki belirli sayfayı taramaktan kaçınmasını söyler. 

   Site haritasını ekleme

Sitemap: https://example.com/sitemap.xml

Not: Robots txt dosyası oluştururken her bir yönerge için ayrı bir satır kullanmalısınız: 

Yanlış:

User-agent: * Disallow: /admin/

Disallow: /directory/

Doğru:

User-agent: *

Disallow: /admin/

Disallow: /directory/

Robots.txt Dosyası SEO İçin Neden Önemlidir?

Robots.txt dosyası, SEO stratejisinin önemli bir parçasıdır ve web sitenizin arama motorları tarafından nasıl tarandığını kontrol etmenizi sağlar. Bu dosya SEO için oldukça önemlidir. İşte nedenleri:

İndeksleme Kontrolü

Robots.txt dosyası, arama motorlarının web sitenizi tararken hangi sayfaları tarayabileceğini ve indeksleyebileceğini belirlemenizi sağlar. Bu dosya sayesinde arama motorlarına hangi içeriğin görünür olmasını istediğinizi kontrol edebilirsiniz. Örneğin gizli veya geçici içerikleri, özel veritabanı sayfalarını veya yedekleme dosyalarını engelleyebilirsiniz. Bu arama sonuçlarında gereksiz veya istenmeyen içeriğin görünmesini önler ve web sitenizin daha doğru bir şekilde indekslenmesini sağlar.

Tarama Verimliliği

Arama motorlarının her web sitesi için belirlediği bir tarama bütçesi (crawl budget) vardır. Bu bütçeye göre web sitesinden belirli sayıda sayfayı tarar. 

Robots.txt, arama motorlarının web sitenizi tararken hangi sayfaları tarayabileceğini belirleyerek tarama verimliliğini artırır. Arama motorları bu dosyayı tarayarak önemli içeriğe odaklanabilir ve sitenizin gereksiz veya tekrarlayan sayfalarını atlayabilir. Bu arama motorlarının taram bütçesini ve kaynaklarını verimli bir şekilde kullanmasını sağlar. 

İçerik Gizliliği ve Güvenlik 

Robots.txt dosyası, arama motorlarından gizli veya hassas içeriği korumanızı sağlar. Örneğin; kullanıcı girişi gerektiren sayfalar, özel üye alanları veya ödeme bilgileri gibi sayfaları engelleyebilirsiniz. Bu arama motorları tarafından bu içeriğin indekslenmesini ve yanlışlıkla arama sonuçlarında görünmesini önler. Bu da web sitenizin güvenliğini ve kullanıcı gizliliğini artırır.

Kullanıcı Deneyimi

Robots.txt dosyası arama motorlarının web sitenizi daha doğru bir şekilde indekslemesini sağladığı için kullanıcı deneyimini iyileştirir. Arama sonuçlarında doğru ve ilgili içeriğin görünmesi kullanıcıların sitenizi daha kolay bulmasını ve aradıkları bilgilere hızlıca ulaşmasını sağlar. Bu da kullanıcı memnuniyetini artırır ve web sitenizin popülaritesini ve erişilebilirliğini iyileştirir.

Robots.txt Kullanırken Dikkat Edilmesi Gerekenler

SEO uyumlu bir robots.txt dosyası oluştururken, doğru bir yapı ve yönergeler kullanmanız önemlidir. İşte bazı önemli noktalar:

• Robots.txt dosyanızı web sitesinizin kök dizinine ekleyin.
• Anahtar arama motorları için doğru User-agent direktiflerini kullanın. Örneğin; Googlebot için User-agent: Googlebot ifadesini kullanabilirsiniz.
• Disallow direktifiyle, arama motorlarına taranmasını engellemek istediğiniz sayfaları veya dizinleri belirtin. Örneğin; Disallow: /admin ifadesi /admin dizinindeki tüm içeriklerin arama motorları tarafından taranmasını engelleyecektir.
• Allow direktifiyle, arama motorlarına taranmasına izin vermek istediğiniz belirli bir sayfa veya dizini belirtin. Bu direktifi kullanarak, özel içeriğinizi arama motorlarına açabilirsiniz.
• Sitemap direktifi kullanarak, web sitenizin XML site haritasını belirleyebilirsiniz. Bu, arama motorlarının web sitenizi daha iyi anlamalarını ve içeriklerinizi daha etkili bir şekilde indekslemelerini sağlar.
• Crawl-delay direktifiyle, arama motorlarının web sitenizi tarama hızını sınırlayabilirsiniz. Bu sunucunuzun aşırı yüklenmesini önleyebilir ve performansını artırabilir.
• Robots.txt büyük/küçük harfe duyarlıdır. Dosya “robots.txt” olarak adlandırılmalıdır. Robots.txt, robots.Txt ya da başka şekilde değil.
• Bir kök alandaki her alt alan için ayrı robots txt dosyası kullanılmalıdır. Örneğin eğer bir sitenin blogları subdomainde yer alıyorsa bu subdomainin de ayrı dosyası (blog.example.com/robots.txt ve example.com/robots.txt). olmalıdır.