Web sitelerinden istediğiniz verimi elde etmek için arama motorlarında üst sıralarda listelenmek çok önemlidir. Yapacağınız SEO çalışmalarının yanında robots.txt kullanımı bu çalışmaları tamamlayacak bir çalışmadır. Sitenin arama sonuçlarına eklenmesi için gelen arama motoru robotlarına hangi sayfanın indexlenmesini belirten robots.txt dosyası kendi içinde yazılım protokolü kullanan küçük bir metin dosyası olarak tanımlanabilir.
Robots.txt Neden Kullanılır?
Robots.txt dosyası arama motorları için vazgeçilmezdir. Bu dosyanın varlığı arama motorları için gereklidir. Bu dosya ile arama motorları sitenizi çok daha rahat bir şekilde anlar. Bu dosyayı baz alarak sitenizi arama sonuçları dizinine alırlar.
Bu dosyayı kullanmadığınızda sitenizde olan tüm sayfalar arama sonuçlarını etkiler. Ancak gerekli gereksiz tüm sayfaların yer almasını istemiyorsanız her sayfaya noindex etiketi eklemek zorunda kalabilirsiniz. Onlarca, yüzlerce sayfanız olduğunda bu iş daha da zorlaşır. Tek tek sayfaları etiketlemek yerine robots.txt dosyasına tek bir satı kod yazar ve dizinin arama motorları tarafından indexlenmesini engelleyebilirsiniz.
Robots.txt dosyası Nasıl Oluşturulmalıdır?
Bu dosya basit bir şekilde oluşturulabilir. Bilgisayarınızda yeni bir metin belgesi oluşturur. Adını robots.txt olarak kaydedersiniz. Bir kod düzenleme editörü kullanarak dosya düzenlenir.
Elde ettiğiniz bu dosya internet sitenizin FTP dizinine yerleştirilir. Ana dosyaların yer aldığı dizin ismi ise public_html, www, httpdocs dizinleri içinde bir ftp programı ile yükleme işlemi yapılabilir. Bu şekilde dosya gerekli olan alana eklenir.
Robots.txt Nasıl Olmalıdır?
WordPress’de otomatik olarak oluşturulan bir dosya bulunur. Ancak bunu kullanışlı hale getirmek için wordpress robots.txt nasıl olmalı, araştırmaları yaptığınızda bu yapıyı biraz değiştirmeniz gerekir. Bu yapıyı değiştirirken kullanmanız gereken kodlar şunlardır:
1.)User- Agent: Tüm arama motorlarında mutlaka kullanılması gereken bir satırdır. Bu kod ile başlayan satırın altında belirttiğiniz yerler tüm arama motorlarında geçerli olur.
2.) Allow: /wp-admin/admin-ajax.php wp-admin klasörü içinde bu kod ile admin-ajax.php dosyaları görüntülenir. Bu satırı kullandığınızda arama motorları botları site yüklenirken kullanılan ajax işlemini görür.
3.) Allow: /wp-content/uploads/ Bu satır ile arama motorlarına yüklenen sesler, resimler ve videolar indexlenebilir. Özellikle wordpress tabanlı blog sitelerinde resimler çok önemlidir. Çünkü iyi bir site trafiği sağlarlar. Uploads dizinini arama motorlarının botlarına açmak sitenizin iyi bir trafik almasını sağlayacaktır.
4.) Disallow: Bu satırda arama motorlarının erişmesini istemediğiniz dosyaları ve satırları belirtebilirsiniz. Bu şekilde arama motorlarına sadece erişim izni verdiğiniz dosyalar açılacak, karmaşa oluşmayacaktır.
5.) User-Agent: Bu satırı Google dışındaki arama motorlarının da sitenizi hızlı bir şekilde sıralaması için kullanabilirsiniz. Google’ın özel bir satıra ihtiyacı olmadan robots. Txt dosyasına erişir. Farklı bir arama motorunda da sitenizin sıralanması için Crawl-delay ve host satırlarını kullanabilirsiniz.
Robots.Txt Dosyasının Sitemap Direktifi
Google için sitemap direktifinin hangi satırda olduğu çok fark etmiyor. Yandex için oluşturmak istediğinizde en son kısımda yer alması önemlidir.
SEO açısından robot.txt dosyasının önemi tartışılabilir. Ancak kullanılması daha stabil, düzgün ve hızlı sıralamalar görmenizi sağlayacaktır.