Уважаемые знающие люди подскажите чайнику, вот в каком вопросе. Когда поисковый робот заходит на сайт он видит его как обычный пользователь готовым (в собранном виде) или так как он есть на сервере?
Ответы на вопрос — 3
Откройте исходный код вашей страницы — вот так ее видет роботНасколько я понимаю, он на нее вообще не смотрит. Лазая по нету робот видит новый сайт и добавляет его в список. К сайту готовятся пул-ы. Одним из первых идет запрос к robots.txt и затем выкачивается уже код страницы, с которого вырезается всякая хрень, расфасовывается все в таблицу слов, ставятся приоритеты, учитываются альт теги картинок и прочее... потом таким же пулом выкачиваются картинки, еще какие нить данные, расфасовывается все по папкам, индексируется и затем еще и рейтингуется.