» WAP Мастер Форум https://forum.wapinet.ru/index.php » PHP https://forum.wapinet.ru/viewforum.php?id=3 » Граббер 301 редирект на идентичную https://forum.wapinet.ru/viewtopic.php?id=2233 |
Влад23 » 2013.12.09 21:40 | ||||
Реальноли грабить страничку на которой стоит 301 редирект на аналогичную Код:
Граблю странички типа: http://сайт.ru/index.php?newsid=786 но на ней стоит редирект 301 на http://сайт.ru/786-kakoito-text.html содержимое идентично, есть может вариант что бы грабер продолжал работать если стоит перенаправление? | ||||
Влад23 » 2013.12.09 21:59 | ||||
Конечно это против всех правил мне кажется (можно зациклить), но может все же есть... | ||||
Gemorroj » 2013.12.09 22:20 | ||||
http://www.php.net/manual/ru/function.curl-setopt.php см. CURLOPT_FOLLOWLOCATION | ||||
Влад23 » 2013.12.10 03:24 | ||||
благодарю | ||||
TLENS » 2013.12.13 18:13 | ||||
Влад23 Попробуй передать реферер. Возможно из за него он тебя шлет туда | ||||
Влад23 » 2013.12.14 00:41 | ||||
нет там в настройках DLE есть исправлять неверные URL типа seo оптимизация, если она включена то идет 301 редирект на версию страницы с мод реврайтом (с http://сайт.ru/index.php?newsid=595 на http://сайт.ru/595-kakoito-text.html), приходится отключать что бы не было 301 тогда парсит все ок работает. Сейчас вот у меня отключен вот пример результата под хайдом , его можно вставить в опере в исходный код нажать применить и посмотреть результат:(на вапинет, как то эту возможность отключили) Показать/Скрыть <iframe src="http://ap#ilm.ru/kino.php?id=104" width="607" height="360"></iframe> А что хайд не работоает то?, тогда знак # замените на f, ид вконце это ид страницы, можно его заменить... |