WAP Мастер Форум

DarkDaNTe написал:

http://video.yandex.ua/users/yacinema/view/93/
кстати, вот на днях от яндекса вышло отличное видео по robots.txt. Советую посмотреть

Это они наверное записали видео после того как у мегафона смски по инету расползлись,или данные о покупателях интернет магазинов 
Добавлено спустя   2 минуты  32 секунды:
вот ком к видео интересный

Для обывателя стоит также пояснить, что человек, равно как и робот, может спокойно просмотреть файл robots.txt и просмотреть всё содержимое, которое пытались «спрятать» от робота. Так что это не способ защиты файлов ни в коем случае!

автор прав,ведь любой юзер может спокойно залезть и посмотреть что там скрыто))

ну если не хоят чтоб это в поисковиках было,то наверн не хотят чтоб другие люди это видели))

POFIGISST, админку, например, индексировать совсем не нужно.
http://wapinet.ru/robots.txt на вапинете переадресация в disallow.