Если кто не знал, Google индексирует любой txt документ. И когда будете искать, что нить из текста который есть в документе, найдете этот txt документ. Это так сказать из личного опыта.
А ещё Google индексирует и вордовские документы, и даже pdf которые можно просматривать как html страницу ))
VanRein, тот факт, что гугл индексирует pdf, word, txt и т.д — это одно. А вот robots.txt — немного другое. Знаете ли, есть разница. Странно, что ее не улавливаете.
Во-первых, robots.txt — это служебный файл ограничения доступа к содержимому роботам на http сервере. Для него принят специальный стандарт, согласно которому никакой полезной информации, вообще никакой другой информации, кроме директив, в файл не помещается.
Во-вторых, покажите мне, кто еще индексирует robots.txt.
В-третьих, покажите мне хоть одну ссылку на любой из проиндексированных robots.txt 😉
Если кто не знал, Google индексирует любой txt документ. И когда будете искать, что нить из текста который есть в документе, найдете этот txt документ. Это так сказать из личного опыта.
А ещё Google индексирует и вордовские документы, и даже pdf которые можно просматривать как html страницу ))
Плин, спалил тему :-))))
VanRein, тот факт, что гугл индексирует pdf, word, txt и т.д — это одно. А вот robots.txt — немного другое. Знаете ли, есть разница. Странно, что ее не улавливаете.
Во-первых, robots.txt — это служебный файл ограничения доступа к содержимому роботам на http сервере. Для него принят специальный стандарт, согласно которому никакой полезной информации, вообще никакой другой информации, кроме директив, в файл не помещается.
Во-вторых, покажите мне, кто еще индексирует robots.txt.
В-третьих, покажите мне хоть одну ссылку на любой из проиндексированных robots.txt 😉
VanRein
все тебе покажи=