Комментарии на запись: Google и robots.txt http://www.the-end.name/archives/133 Поисковая оптимизация, продвижение сайтов, сайтостроительство Fri, 10 Sep 2010 21:06:30 +0000 http://wordpress.org/?v=2.2.1 От: Mika http://www.the-end.name/archives/133#comment-24889 Mika Sat, 20 Oct 2007 17:46:26 +0000 http://www.the-end.name/archives/133#comment-24889 VanRein все тебе покажи= VanRein
все тебе покажи=

]]> От: The end http://www.the-end.name/archives/133#comment-24861 The end Sat, 20 Oct 2007 11:58:19 +0000 http://www.the-end.name/archives/133#comment-24861 <strong>VanRein</strong>, тот факт, что гугл индексирует pdf, word, txt и т.д - это одно. А вот robots.txt - немного другое. Знаете ли, есть разница. Странно, что ее не улавливаете. Во-первых, robots.txt - это служебный файл ограничения доступа к содержимому роботам на http сервере. Для него принят специальный стандарт, согласно которому никакой полезной информации, вообще никакой другой информации, кроме директив, в файл не помещается. Во-вторых, покажите мне, кто еще индексирует robots.txt. В-третьих, покажите мне хоть одну ссылку на любой из проиндексированных robots.txt ;) VanRein, тот факт, что гугл индексирует pdf, word, txt и т.д - это одно. А вот robots.txt - немного другое. Знаете ли, есть разница. Странно, что ее не улавливаете.

Во-первых, robots.txt - это служебный файл ограничения доступа к содержимому роботам на http сервере. Для него принят специальный стандарт, согласно которому никакой полезной информации, вообще никакой другой информации, кроме директив, в файл не помещается.

Во-вторых, покажите мне, кто еще индексирует robots.txt.

В-третьих, покажите мне хоть одну ссылку на любой из проиндексированных robots.txt ;)

]]> От: cashby http://www.the-end.name/archives/133#comment-24829 cashby Sat, 20 Oct 2007 08:29:52 +0000 http://www.the-end.name/archives/133#comment-24829 Плин, спалил тему :-)))) Плин, спалил тему :-))))

]]> От: VanRein http://www.the-end.name/archives/133#comment-24808 VanRein Sat, 20 Oct 2007 04:42:03 +0000 http://www.the-end.name/archives/133#comment-24808 Если кто не знал, Google индексирует любой txt документ. И когда будете искать, что нить из текста который есть в документе, найдете этот txt документ. Это так сказать из личного опыта. А ещё Google индексирует и вордовские документы, и даже pdf которые можно просматривать как html страницу )) Если кто не знал, Google индексирует любой txt документ. И когда будете искать, что нить из текста который есть в документе, найдете этот txt документ. Это так сказать из личного опыта.

А ещё Google индексирует и вордовские документы, и даже pdf которые можно просматривать как html страницу ))

]]>