Вы не зашли.
DarkDaNTe написал:
http://video.yandex.ua/users/yacinema/view/93/
кстати, вот на днях от яндекса вышло отличное видео по robots.txt. Советую посмотреть
Это они наверное записали видео после того как у мегафона смски по инету расползлись,или данные о покупателях интернет магазинов
Добавлено спустя 2 минуты 32 секунды: вот ком к видео интересный
Для обывателя стоит также пояснить, что человек, равно как и робот, может спокойно просмотреть файл robots.txt и просмотреть всё содержимое, которое пытались «спрятать» от робота. Так что это не способ защиты файлов ни в коем случае!автор прав,ведь любой юзер может спокойно залезть и посмотреть что там скрыто))
блин, роботсом чтоли защищают какие-то мегасуперсекретные данные?
Им защищают то, что не следует помещать в поисковой индекс.
ну если не хоят чтоб это в поисковиках было,то наверн не хотят чтоб другие люди это видели))
Robots.txt для других целей нужен!
Gemorroj, вот вот, для этого.
Смски были проиндексированы, потому что на сайте была Яндекс.Метрика, и зная адрес до страницы их можно было прочесть, пароль не надо было вводить