Google и robots.txt

Интересная ссылка. Очевидно, google индексирует robots.txt как обычный документ. 😉

4 комментария

  1. VanRein, 20. октября 2007, 7:42

    Если кто не знал, Google индексирует любой txt документ. И когда будете искать, что нить из текста который есть в документе, найдете этот txt документ. Это так сказать из личного опыта.

    А ещё Google индексирует и вордовские документы, и даже pdf которые можно просматривать как html страницу ))

     
  2. cashby, 20. октября 2007, 11:29

    Плин, спалил тему :-))))

     
  3. The end, 20. октября 2007, 14:58

    VanRein, тот факт, что гугл индексирует pdf, word, txt и т.д — это одно. А вот robots.txt — немного другое. Знаете ли, есть разница. Странно, что ее не улавливаете.

    Во-первых, robots.txt — это служебный файл ограничения доступа к содержимому роботам на http сервере. Для него принят специальный стандарт, согласно которому никакой полезной информации, вообще никакой другой информации, кроме директив, в файл не помещается.

    Во-вторых, покажите мне, кто еще индексирует robots.txt.

    В-третьих, покажите мне хоть одну ссылку на любой из проиндексированных robots.txt 😉

     
  4. Mika, 20. октября 2007, 20:46

    VanRein
    все тебе покажи=

     

Write a comment: