Arama motorları bir web sitesine geldiğinde ilk olarak robots.txt dosyasına bakarlar. Site ile ilgili nasıl bir arama yapacağını bu dosyadan öğrenirler. Bizde bu dosya içerisinde gerekli herşeyi belirtebiliriz. İstediğimiz bölümleri robotlara tarattırabilir veya istemediğimiz bölümleri taratmayabiliriz. Bunu ayrı ayrı yapabilmemizle beraber tüm siteyi taratıp taratmamakta bizim elimizde.
Peki nasıl yapacağız. Öncelikle robots.txt dosyamızı oluşturalım. Bu dosyayı notepad ile oluşturaibiliriz. İçerisine yazabileceklerimizi aşağıda açıklamalı olarak veriyorum. Hangizi sizin için uygun olursa onu kullanırsınız. Ayrıca bu dosyanız en dış dizinde bulunmalıdır. Yani ana dizinde. Boş bir robots.txt dosyası tüm sitenizin taranmasını sağlayacak olan kod ile aynı görevi görevi görür.
Normal bir roxots.txt
User-Agent: *
Allow: /
bu şekilde olur. Bu tüm sayfaları tara ve indexle demektir.
Aşağıdaki kod ile ise web sitemizin tamamının taranmamasını sağlayabiliriz.
User-Agent: *
Disallow: /
Tek bir sayfanın tüm robotlar tarafından indexlenmesini engellemek için:
User-agent: *
Disallow: /dizin/sayfa.html
Bir dizin içerisinde ki tüm sayfaları engelemek için ise:
User-agent: *
Disallow: /dizin-adi/
şeklinde bir kod kullanırız. Umarım işinize yarar, kolay gelsin arkdaşlar.
