Robots.txt nedir? Robots.txt metin belgesinden oluşan bir dosyadır. Bu dosya web sitesinin kök dizininde bulunan ve arama motoru tarayıcılarına yönelik olarak hangi URl’lerin taranması gerektiği hangilerinin ise taranmaması gerektiği hakkında bilgiler içerir.
Yani Robots.txt dosyası kullanarak sitenizdeki hangi dosyaların-URL’lerin tarayıcıların erişimine açık olacağını belirleyebilirsiniz. Robots.txt, küçük bir komut küplerine sahip olan ve arama motorlarına yol gösteren bir dosyadır.
Robots.txt dosyası web sitenin çalışması vs. için elbette zorunlu değildir ancak SEO için oldukça önemlidir. Robots.txt dosyası, bir veya daha fazla kuraldan oluşur. Her kural belirli bir tarayıcının söz konusu web sitesindeki belirli bir dosya yoluna erişimini engeller veya erişimine izin verir. Robots.txt dosyanızda aksini belirtmediğiniz sürece, tüm dosyaların taranmasına izin verilir.
Robots.Txt Oluşturma
Robots.txt oluşturma sanıldığından daha kolay bir işlemdir. Öncelikle .txt uzantılı bir metin düzenleyiciyi kullanabilirsiniz. Notepad (Windows) veya TextEdit’tir (Mac) için kullanabileceğiniz .txt metin düzenleyicilerini örnek olarak sunabiliriz. Yada robots.txt oluşturucu aracı da kullanabilirsiniz.
Robots.txt dosyası oluştururken belge adını robots.txt olacak şekilde tam olarak böyle görünmelidir. Google’ye göre, izin verilen belge boyutu 500 KB’dir. Belge boyutunun aşılması durumunda arama robotunun web sitesinin hepsini taramasına veya hiçbir şekilde taramamasına sebebiyet verebilir. Bundan dolayı en fazla 50KB olacak şekilde olmasına dikkat edilmesi önemlidir.
Bir robots.txt dosyası içerisinde 2 anahtar kelime kullanılabilir. Bunlardan biri User-agent ve Disallow ‘dur.
User agent; Otomatik istemcinin adını belirtmek için kullanılır.
Disallow; Bir URL’ye erişilmemesini bildirmek için kullanılır.
User-agent: Googlebot
Disallow: /indirim.sayfa.html
Yukarıdaki örnekte indirim sayfasının erişimi engelleniyor. Bu tamamen engellenecek anlamına gelmiyor bazen robots.txt dosyasını dikkate almadan dosyalara erişilebilir.Bu tamamen arama motorlarına kalmış bir durum.
Bir dizin ve içeriğinin taranmasına izin vermeme
User-agent: *
Disallow: /calendar/
Disallow: /junk/
Burada ise sadece Googlebot-news tüm siteyi tarayabilir.Googlebot robots.txt kullanımı örneğin;
User-agent: Googlebot-news
Allow: /
User-agent: *
Disallow: /
Robots.Txt Dosyası Nereye Yerleştirilir?
Robots.txt Belgesi, web sitesi ana bilgisayarının kök dizininde bulunmalıdır. Bu belgeye FTP yolu ile erişmek mümkün. Robots.txt belgesi üzerinde bir değişiklik yapmadan önce mutlaka orijinal halini öncesinde indirilmesini tavsiye ederiz.
Robots.txt Dosyanız Yoksa Ne Olur?
Yukarıda da bahsettiğimiz gibi bir robots.txt dosyasının olmaması web sitenize herhangi bir zarar vermez. Robots.txt dosyasının olmaması arama motorlarının web sitenizde buldukları her şeyi taramak ve dizine eklemek için çalışma yapacaktır. Ancak bir robots.txt dosyasının var olmasını arama motorlarına güncel ve yeni eklenmiş sayfaları taramaları için öncelik verebilirsiniz. Bu sayede arama motorları yeni içeriği hızla bulabilir ve tarama bütçelerini optimize edebilir.
Robots.txt, Özellikle çok sayfalı küçük web sitelerinde içeriklerin hızla taranması adına kesinlikle kullanılmasını önerdiğimiz bir dosyadır. Aynı zamanda yararsız web sitesi içeriğini disallow yönergesiyle gizlemekte web sitesinin tarama hızını artırır.
Konu hakkında tüm sorularınızı Salinus dijital medya ajansımıza sorabilirsiniz. Alanında uzman ekip kardomuz ile tüm sorularınızı yanıtlamaya hazırız.
Robots.txt Dosyasına XML Sitemap Ekleme
Site haritası nedir? Nasıl oluşturulur? Arama motorlarının uğrak noktası olan Robots.txt dosyasına sitemap. xml diğer adı ile site haritası eklenmesi oldukça önemlidir. Bunu yaparken “Sitemap:” komutu ile sitemap dosyasının tam yolunu belirtmek gerekmektedir.
Robots. txt dosyasına sitemap hemen aşağıda görmüş olduğunuz formatta yazılarak eklenmektedir.
Sitemap: https://www.salinus.com/sitemap1.xml
Sitemap: https://www.salinus.com/sitemap2.xml
Site Haritasını robots. txt dosyasına yukarıdaki şekilde ekledikten sonra Search Console ‘a gönderilerek Google tarafından kullanılması sağlanır.
