» WAP Мастер Форум   https://forum.wapinet.ru/index.php
» PHP   https://forum.wapinet.ru/viewforum.php?id=3
» Помогите с грабом - безконечное время выполнение.   https://forum.wapinet.ru/viewtopic.php?id=730

TLENS » 2010.02.13 20:17

Вот раньше любил грабить и часто встречался с безкоонечным времям выполнение.
Напиример на seclub.org или spaces.ru.
Но ето наверное защита какаято или что ето?
Дело втом что на одном хостинге скрипт зкачует мгновенно а на том что покруче таймаут,
я когдато качал на етом хосте через курл. Мучился и заголовки разные катал и сокеты подключал, вощем ищез етот таймаут. А сейчас мудрил часа 5 над курлом и спайсом и всеравно таймаут.
Подскажите пожалуйста чего здесь нехватает?
Добавлено спустя   6 минут  42 секунды:

Код:

1
lt;?$h[]="USER-AGENT: Opera/8.01 (J2ME/MIDP; Opera Mini/3.1.10423/1724; ru; U; ssr)";$h[]="HOST: tlens.net16.net";$h[]="ACCEPT: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1";$h[]="ACCEPT-LANGUAGE: ru,en;q=0.9";$h[]="ACCEPT-CHARSET: iso-8859-1, utf-8, utf-16, *;q=0.1";$h[]="ACCEPT-ENCODING: deflate, gzip, x-gzip, identity, *;q=0";$h[]="CONNECTION: Keep-Alive";$h[]="X-OPERAMINI-FEATURES: advanced, download, camera, inputhints";$h[]="X-OPERAMINI-PHONE: ? # ?";$h[]="X-FORWARDED-FOR: 178.92.20.11";$h[]="REFERER: http://spaces.ru'";$curl=curl_init();$cookie=str_replace('\\','/',dirname(__FILE__)).'/cookie.txt';curl_setopt($curl,CURLOPT_COOKIEFILE, $cookie);curl_setopt($curl,CURLOPT_COOKIEJAR, $cookie);curl_setopt($curl,CURLOPT_HTTPHEADER,$h);curl_setopt($curl,CURLOPT_RETURNTRANSFER,true);curl_setopt($curl,CURLOPT_URL,'http://spaces.ru');$g=curl_exec($curl);echo $g;
Gemorroj » 2010.02.13 20:35

прежде чем писать какие-либо заголовки нужно сначала узнать для чего они нужны. тогда и таймаутов не будет.

Код:

1
span style="color: #0000BB"><?php$h[] = "USER-AGENT: Opera/8.01 (J2ME/MIDP; Opera Mini/3.1.10423/1724; ru; U; ssr)";$h[] = "ACCEPT: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1";$h[] = "ACCEPT-LANGUAGE: ru,en;q=0.9";$h[] = "ACCEPT-CHARSET: iso-8859-1, utf-8, utf-16, *;q=0.1";$h[] = "CONNECTION: Close";$h[] = "X-OPERAMINI-FEATURES: advanced, download, camera, inputhints";$h[] = "X-OPERAMINI-PHONE: ? # ?";$h[] = "X-FORWARDED-FOR: 178.92.20.11";$h[] = "REFERER: http://spaces.ru'";$h[] = 'Cookie: var=value';$curl = curl_init('http://spaces.ru');curl_setopt($curl, CURLOPT_HTTPHEADER, $h);curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);var_dump(curl_exec($curl));?>
TLENS » 2010.02.14 08:31

Всеравно таймаут, чего нехватает?

Gemorroj » 2010.02.14 11:03

не может приконнектится к удаленному серверу?

TLENS » 2010.02.14 14:42

Ну наверное неконектится, почему ето так?
Пробувал другие варианты.
get_headers()
file_get_contents()
fopen()
все тоже самое. Пишет откритие и все, а самое главное в php.ini стоит максимальное время виполнение 10 сек. А мозила уже минут 20 его ждет.
Вот неделлю назат както прикоктил ето возможно но я незнаю как я ето делал. И етого файла уже нету. :(

Gemorroj » 2010.02.14 14:47

это у тебя с локального сервера так? возможно проблема медленном интернет соединении?

TLENS » 2010.02.14 16:24

Да нет там чегото в курле нехватает.
Скачивал страницу с visavi.net такое самое только вместо таймаута выскакивала страница хоста а не визы потом подключал сокеты и еще какието заголовки и начало авторизовувать.
Прокси немог подключить так как их нет в поддержке

Gemorroj » 2010.02.14 16:41

в куле всего хватает.
предположительно проблемы могли быть из-за того, что ты посылал заголовок $h[]="HOST: tlens.net16.net"; и $h[]="ACCEPT-ENCODING: deflate, gzip, x-gzip, identity, *;q=0"; но в посте N 2 я их убрал. Более того у меня этот код отлично плучает страницу спейса.
Что значит нет проксей в поддержке? Поддержка проксей встроена я курл. Есть курл - есть поддержка проксей.

Gemorroj » 2010.02.14 17:05

проблема связана с говнохостом.

Код:

1
2
$res = curl_init('http://spaces.ru');
var_dump(curl_exec($res));

скрипт по таймауту умирает. чего быть не должно.

TLENS » 2010.02.14 17:19

Поставил прокси заработало

TLENS » 2010.02.14 17:33

я чет думал что в описании хоста запрещено прокси значит и в курле запрет.
Наверное пробувал просроченый