Robots.txt dosyası web sitesinin arama motorlarının siteyi tararken hangi sayfaları ve içerikleri tarayabileceğini belirlemek için kullanılan bir dosyadır. Robots.txt hakkında detaylı bilgi için yazımızı okuyabilirsiniz. Robots.txt Nedir? Robots.txt...