WAP Мастер Форум / PHP / Помогите с грабом - безконечное время выполнение.

#1. TLENS Off (14)
Moderator
2010.02.13 20:08

Вот раньше любил грабить и часто встречался с безкоонечным времям выполнение.
Напиример на seclub.org или spaces.ru.
Но ето наверное защита какаято или что ето?
Дело втом что на одном хостинге скрипт зкачует мгновенно а на том что покруче таймаут,
я когдато качал на етом хосте через курл. Мучился и заголовки разные катал и сокеты подключал, вощем ищез етот таймаут. А сейчас мудрил часа 5 над курлом и спайсом и всеравно таймаут.
Подскажите пожалуйста чего здесь нехватает?
Добавлено спустя 6 минут 42 секунды:

Код:

lt;?$h[]="USER-AGENT: Opera/8.01 (J2ME/MIDP; Opera Mini/3.1.10423/1724; ru; U; ssr)";$h[]="HOST: tlens.net16.net";$h[]="ACCEPT: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1";$h[]="ACCEPT-LANGUAGE: ru,en;q=0.9";$h[]="ACCEPT-CHARSET: iso-8859-1, utf-8, utf-16, *;q=0.1";$h[]="ACCEPT-ENCODING: deflate, gzip, x-gzip, identity, *;q=0";$h[]="CONNECTION: Keep-Alive";$h[]="X-OPERAMINI-FEATURES: advanced, download, camera, inputhints";$h[]="X-OPERAMINI-PHONE: ? # ?";$h[]="X-FORWARDED-FOR: 178.92.20.11";$h[]="REFERER: http://spaces.ru'";$curl=curl_init();$cookie=str_replace('\\','/',dirname(__FILE__)).'/cookie.txt';curl_setopt($curl,CURLOPT_COOKIEFILE, $cookie);curl_setopt($curl,CURLOPT_COOKIEJAR, $cookie);curl_setopt($curl,CURLOPT_HTTPHEADER,$h);curl_setopt($curl,CURLOPT_RETURNTRANSFER,true);curl_setopt($curl,CURLOPT_URL,'http://spaces.ru');$g=curl_exec($curl);echo $g;

Отредактировано TLENS (2010.02.14 08:08)

#2. Gemorroj Off (107)
Administrator
2010.02.13 20:08

прежде чем писать какие-либо заголовки нужно сначала узнать для чего они нужны. тогда и таймаутов не будет.

Код:

span style="color: #0000BB"><?php$h[] = "USER-AGENT: Opera/8.01 (J2ME/MIDP; Opera Mini/3.1.10423/1724; ru; U; ssr)";$h[] = "ACCEPT: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1";$h[] = "ACCEPT-LANGUAGE: ru,en;q=0.9";$h[] = "ACCEPT-CHARSET: iso-8859-1, utf-8, utf-16, *;q=0.1";$h[] = "CONNECTION: Close";$h[] = "X-OPERAMINI-FEATURES: advanced, download, camera, inputhints";$h[] = "X-OPERAMINI-PHONE: ? # ?";$h[] = "X-FORWARDED-FOR: 178.92.20.11";$h[] = "REFERER: http://spaces.ru'";$h[] = 'Cookie: var=value';$curl = curl_init('http://spaces.ru');curl_setopt($curl, CURLOPT_HTTPHEADER, $h);curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);var_dump(curl_exec($curl));?>

#3. TLENS Off (14)
Moderator
2010.02.14 08:08

Всеравно таймаут, чего нехватает?

#5. TLENS Off (14)
Moderator
2010.02.14 14:02

Ну наверное неконектится, почему ето так?
Пробувал другие варианты.
get_headers()
file_get_contents()
fopen()
все тоже самое. Пишет откритие и все, а самое главное в php.ini стоит максимальное время виполнение 10 сек. А мозила уже минут 20 его ждет.
Вот неделлю назат както прикоктил ето возможно но я незнаю как я ето делал. И етого файла уже нету. sad

#7. TLENS Off (14)
Moderator
2010.02.14 16:04

Да нет там чегото в курле нехватает.
Скачивал страницу с visavi.net такое самое только вместо таймаута выскакивала страница хоста а не визы потом подключал сокеты и еще какието заголовки и начало авторизовувать.
Прокси немог подключить так как их нет в поддержке

Отредактировано TLENS (2010.02.14 16:04)

#8. Gemorroj Off (107)
Administrator
2010.02.14 16:04

в куле всего хватает.
предположительно проблемы могли быть из-за того, что ты посылал заголовок $h[]="HOST: tlens.net16.net"; и $h[]="ACCEPT-ENCODING: deflate, gzip, x-gzip, identity, *;q=0"; но в посте N 2 я их убрал. Более того у меня этот код отлично плучает страницу спейса.
Что значит нет проксей в поддержке? Поддержка проксей встроена я курл. Есть курл - есть поддержка проксей.