Robots.txt, bir web sitesinin web tarama botlarına talimatlar sağlamasına izin veren bir metin dosyasıdır.
Google gibi arama motorları, web sitelerini arşivlemek ve kategorilere ayırmak için bazen web robotları olarak adlandırılan bu web tarayıcılarını kullanır. Çoğu bot, web sitesinden başka herhangi bir dosyayı okumadan önce sunucuda bir robots.txt dosyasını arayacak şekilde yapılandırılmıştır. Bunu, bir web sitesi sahibinin sitelerini nasıl tarayacağına ve dizine ekleyeceğine ilişkin bazı özel talimatlara sahip olup olmadığını görmek için yapar.
Robots.txt dosyası, botun belirli dosyaları veya dizinleri yoksaymasını isteyen bir dizi talimat içerir. Bu, gizlilik amacıyla veya web sitesi sahibinin bu dosya ve dizinlerin içeriğinin, web sitesinin arama motorlarında sınıflandırılmasıyla ilgisi olmadığına inandığı için olabilir.
Bir web sitesinin birden fazla alt alanı varsa, her alt alan adının kendi robots.txt dosyası olması gerekir. Tüm botların bir robots.txt dosyasını kabul etmeyeceğine dikkat etmek önemlidir. Bazı kötü amaçlı botlar, önce hangi dosya ve dizinleri hedeflemeleri gerektiğini bulmak için robots.txt dosyasını bile okuyacaktır. Ayrıca, bir robots.txt dosyası botlara sitedeki belirli sayfaları göz ardı etmeleri talimatını verse bile, bu sayfalar taranan diğer sayfalar tarafından bağlantı verildiği takdirde arama sonuçlarında görünmeye devam edebilir.
