WAP Мастер Форум / PHP / Как обойти в грабе забаненый ип хоста

#2. Gemorroj Off (107)
Administrator
2008.11.30 14:02

грабить через прокси. но это тоже не очень хороший выход, т.к. прокси мрут очень быстро. а главное сейчас многие из них не поддерживают некоторых методов передачи данных, что делает их практически не пригодными для использования. подробнее об этом можно почитать, например, на topgen.net

#3. СанчО Off (0)
Участник
2008.11.30 14:02

а можешь научить грабить через прокси? чисто для интереса.,...

#4. Gemorroj Off (107)
Administrator
2008.11.30 15:03

Код:

lt;?// заголовки$header[] = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';$header[] = 'Connection: Keep-Alive';$header[] = 'Accept-Charset: iso-8859-1, utf-8, utf-16, *;q=0.1';$header[] = 'Accept-Language: ru-RU,ru;q=0.9,en;q=0.8';$header[] = 'User-Agent: Opera';// создаем ресурс$curl = curl_init();// URL который нужно получитьcurl_setopt($curl, CURLOPT_URL, 'http://microsoft.com');// заголовкиcurl_setopt($curl, CURLOPT_HTTPHEADER, $header);// вернуть данные в переменную, а не выводить в выходной потокcurl_setopt($curl, CURLOPT_RETURNTRANSFER, true);// автоматически переходить по переадресациям в заголовкахcurl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);// тип используемой проксиcurl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);// адрес проксиcurl_setopt($curl, CURLOPT_PROXY, '127.0.0.1:8080');// получаем данные$get = curl_exec($curl);// закрываем соединениеcurl_close($curl);?>

#5. von_Zollern Off (0)
Участник
2008.12.21 18:06

А это наподобие скрипта "Анонимный прокси"?

#7. One20 Off (-1)
Участник
2009.02.06 16:04

Што делать если прокси имеет адрес типа вот этого вида http://wapbest.biz/papka/proksi.php?who=sajt_kotoryj_grabim ?

#8. DarkDaNTe Off (11)
Участник
2009.02.06 22:10

Там где пишешь то, что грабить, пишешь:
// URL который нужно получить
$who = $_GET['who'];
curl_setopt($curl, CURLOPT_URL, $who);
Как то так по моему.
Добавлено спустя 1 минуту 6 секунд:
Gemorroj, чет типа такого?

#9. Gemorroj Off (107)
Administrator
2009.02.06 22:10

я вопрос вообще не понял) проблемы как бы не вижу.

#11. Gemorroj Off (107)
Administrator
2009.02.07 11:11

One20, попробуй.

#12. Kir Off (1)
Участник
2009.02.10 13:01

Gemorroj, a подскажи, вроде по тeмe, UA, вот если в гpaбe будeт прописaнo, вместо headers.="opera..., где-нибудь выше $ua_user=htmlspecialchars($_SERVER['USER_AGENT']);, a вмeсто оpera $ua_user, вот и в кaждом грaбe тaк..
Добавлено спустя 3 минуты 35 секунд:
Нe кaк это нe влияет, или жe всё-тaки, лучшe $ua _user, кaк мнe кaжeтся...

#13. Gemorroj Off (107)
Administrator
2009.02.10 14:02

htmlspecialchars в данном случае не нужен. какой юзер агент ты отправишь, это твое личное дело. я, как правило, использую $_SERVER['USER_AGENT']

#15. TLENS
Гость
2009.03.26 22:10

У меня сдесь ошивка пишет што не правильно?
$header[] ='Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';

#17. TLENS
Гость
2009.03.29 15:03

Его же ставить в php да то у меня gmanager пишет ошыбку в 3 строке.
Отправ мне пожалуйста на електронку в файле.

#19. TLENS
Гость
2009.03.30 05:05

Поудалял все теги сеперь работает только примерно после 40 загрузок с одого прокси появляется ето
You are trying to use a node of the CoDeeN CDN Network. Your IP address is not recognized as a valid PlanetLab address, so your request rate is being limited.

#21. Gemorroj Off (107)
Administrator
2009.03.30 12:12

Я вообще не понимаю твоих проблем, делай. Все можно.
насчет "CoDeeN" - эту проксю можно выкинуть.

#22. TLENS
Гость
2009.03.30 16:04

Я придумал такую систему думаю ты поймеш зачем мне так много прохи
<?php
$c=file_get_contents("code.txt");
$p=explode("|",$c);
$p[0]++;
if($p[0]=="AA")
{$p[1]++;}
if($p[1]=="AA")
{$p[2]++;}
if($p[2]=="AA")
{$p[3]++;}
if($p[3]=="AA")
{$p[4]++;}
if($p[4]=="AA")
{$p[5]++;}
for ($u=0; $u<99; $u++){$t.=$p[$u].'|';}
$t=str_replace('10','a',$t);
$t=str_replace('aa','A',$t);
$t=str_replace('AA','0',$t);
?>

#23. TLENS
Гость
2009.03.30 16:04

A прокси брал на топген.нет
Их там не такуж и много для того штоб выбрасувать не выжав из них махимум.
Воще ето реально ипользовать 1 прох на очень много раз?

#25. TLENS
Гость
2009.03.30 19:07

Я думал ты догадаешся для чего оно предназначеннo
Если его надо соединять с curl_setopt($curl, CURLOPT_URL, '...=$pas&');
Но на многих сайсах например вап.мотор вантуза стоит кол запросов с одного ип.
Вот надо потключать курл. А так как надо скрипт запускать как минимум 1000000000 раз. Я думал на него ставить до 100 задачь крона через минуту + выполнение скрипта бесконечн.
Но прохи всего 1000 и после сорока использований &get='то што писал выше';
Как ето предотвратить?
У тибя есть искю просто штоб не писать задачами?

#26. Gemorroj Off (107)
Administrator
2009.03.30 19:07

если тебе нужно что-то добавить в "'...=$pas&'", то такого крокодила изобретать не нужно. я честно говоря не понимаю в чем проблема. банят IP? следовательно нужно больше IP'ов.

#27. TLENS
Гость
2009.03.30 23:11

Ладно забудь.

#29. Gemorroj Off (107)
Administrator
2009.04.01 00:12

в зависимости от того, как ты получаешь удаленную страницу.

#31. Gemorroj Off (107)
Administrator
2009.04.01 02:02

ну соответственно напиши этот заголовок.
$header[] = 'Referer: http://xz.ru';

#33. Gemorroj Off (107)
Administrator
2009.04.06 11:11

Код:

span style="color: #0000BB"><?php// адрес, кооторый нужно получить$f = urldecode('http://www.test.com/someurl/somepage.php';// прокся$data = fsockopen('tcp://127.0.0.1', 8080)if($data){fputs($data,"GET $f \r\n");while(!feof($data)){$fdata = fgets($data,1024);}}// выводим результатecho $fdata;?>

#35. Gemorroj Off (107)
Administrator
2009.04.06 15:03

на сколько я знаю, наоборот, сначала все заголовки, 4 байта ("\r\n\r\n"), а потом тело.

#37. LONGMAN Off (0)
Участник
2009.04.11 04:04

Не знаете?

#39. TLENS Off (14)
Moderator
2009.04.20 03:03

Привет всем а можна както брать адрес с формы где передача стоит post a He get?

#41. Gemor
Гость
2009.04.20 09:09

ну возьми и передай его как обычный элемент формы.

#43. Gemorroj Off (107)
Administrator
2009.04.21 23:11

значит не правильно передавал.

#44. TLENS Off (14)
Moderator
2009.07.20 01:01

Вы пытаетесь использовать узел в CoDeeN CDN Сети. Хотя пребывания заголовке обычно необязательно для HTTP, в какой это необходимо для CoDeeN. Кроме того, численное хостов не разрешены. Просьба добавить этот заголовок, и попробуйте еще раз.
You are trying to use a node of the CoDeeN CDN Network. While the Host header is generally optional for HTTP, it is required for CoDeeN. Furthermore, numerical hostnames are not allowed. Please add this header and try again.
Помогите с заголовками.

#45. TLENS Off (14)
Moderator
2009.07.20 03:03

Уже разобрался спасибо геморой за джым.
Добавил $_SERVER['QUERY_STRING']

Отредактировано TLENS (2009.07.20 03:03)

#46. TLENS Off (14)
Moderator
2009.07.21 21:09

Блин не все работает. Папки начало забирать а переменные пишет тоже самое.
index.php?papka/ischo_odna/
работает нармально. Но если по такой ссылке итти
index.php?papka/ischo_odna/?pages=1
светит то што написал выше.
Помогите пожалуйста курл использую как написано в етой теме толко закинул все в функцию. И обращаюсь так $file=curl_file($url.''.$_SERVER['QUERY_STRING'],$referer,$agent,$proxy);
Незнаю какие еще заголовки писать.

#47. НЕЗНАЙКА Off (11)
Участник
2009.07.22 09:09

Наверно изза того, что ты опять же разделил урл ? думаю так нельзя

ДАУН-Данная Аватара Унаследована Незнайкой

#49. НЕЗНАЙКА Off (11)
Участник
2009.07.23 22:10

Ну 'вопрос' разделяет данные в урл. Я не могу объяснить толком sad

ДАУН-Данная Аватара Унаследована Незнайкой

#50. TLENS Off (14)
Moderator
2009.07.23 23:11

Да нет ето не мешает я писал и в ручную ('http://...'.$_SERVER...,
Добавлено спустя 9 минут 12 секунд:
А што самое главное скачал грабер jimm.im гемороя работает с проксями нармально заменяю переменную линк на http://visavi.net и хост на visavi.net. 3 раза обновляю и светит ето сообщение. Чо за фигня в голову не лезит.

#51. TLENS Off (14)
Moderator
2009.07.24 01:01

Наконецто до тестировался дело втом штоб использовать порта 8080 и еще много какие нужно получить доверие.
Например порт 3124 разрешает соединение. Да вот толко прохю с портом 3124 можна использовать не больше 50 раз и после етого уже никогда им не воспользуешся. А их не так уж и много штоб сделать грабер с подменой прокся. Вывод 1: отличный грабер на проксях написать не получится. Или я ошибаюсь?

#52. Gemorroj Off (107)
Administrator
2009.07.24 10:10

есть некоторое количество проксей, которое позволяет пользоваться ими бесконечно, ну или пока сервера их не здохут. но таких мало. а в целом да, если используются прокси, то граббер получится крайне не надежым. пришлось почувствовать на собственном опыте)

#53. TLENS Off (14)
Moderator
2009.08.06 23:11

У меня еще вопросик можно ли скачать страницу где метод пост,
например как засветить первый вариант через курл што туда вставить?

Код:

lt;?if(!empty($_POST['test'])){echo('все работает:<br>'.$_POST['test']);}else{echo('переменная /'test/' из масива $_POST не заполненная!');}?>

#55. TLENS Off (14)
Moderator
2009.08.07 23:11

Gemorroj написал:
$post = 'var=value&var2=value2';
curl_setopt($curl, CURLOPT_POST, true);
curl_setopt($curl, CURLOPT_POSTFIELDS, $post);

большое спасибо

#57. Gemorroj Off (107)
Administrator
2009.09.02 00:12

хз. давай код.

#58. TLENS Off (14)
Moderator
2009.09.02 00:12

Код:

span style="color: #0000BB"><?phpfunction file_curl_contents($url){$header[] = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';$header[] = 'Referer: '.$url;$header[] = 'Host: '.$url;$header[] = 'Connection: Keep-Alive';$header[] = 'Accept-Charset: iso-8859-1, utf-8, utf-16, *;q=0.1';$header[] = 'Accept-Language: ru-RU,ru;q=0.9,en;q=0.8';$header[] = 'User-Agent: '.$_SERVER['HTTP_USER_AGENT'];$curl = curl_init();curl_setopt($curl, CURLOPT_URL, $url);curl_setopt($curl, CURLOPT_HTTPHEADER, $header);curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);/*curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);curl_setopt($curl, CURLOPT_PROXY, $proxy);*/$get=curl_exec($curl);return $get;}?>

#59. Gemorroj Off (107)
Administrator
2009.09.02 01:01

http://snippy.ru/snippet/1239-yemulirue … n-php.html
Если честно, не сталкивался с таким еще.
Так же следи чтобы в заголовок Host попал именно хост на который отправляется запрос (без http:// и без любых других параметров).

#61. Gemorroj Off (107)
Administrator
2009.09.02 07:07

правильно будет использовать parse_url

#62. TLENS Off (14)
Moderator
2009.09.03 00:12

Спасибо но я насчет емулятора протестировал уж крыша едет, и ничего не получается
подскажите пожалуйста как проще извлечь адрес локации а дальше я уже сам

#63. TLENS Off (14)
Moderator
2009.09.03 00:12

О наконецто нашол то што надо

Код:

$last_url=parse_url (curl_getinfo($curl, CURLINFO_EFFECTIVE_URL));

#64. TLENS Off (14)
Moderator
2009.09.03 01:01

Блин ето нето оно светит линк который граблю а не лок.
Вот што нужно сделать штоб засветить с другого хоста $url. Помогите пожалуйста очень надо

Код:

lt;?$url='http://wapinet.ru';header ('Location: '.$url);?>

#65. TLENS Off (14)
Moderator
2009.09.03 02:02

Извиняюсь за флуд но всетаки гугл дал нужный результат
curl_setopt($ch, CURLOPT_NOBODY, 1);

#67. TLENS Off (14)
Moderator
2009.09.03 22:10

Сори лок ето локация а нободи выводит заголовки с который можна извлечь и адрес локации и 200,301,302 другого способа я не смог извлечь с емулятора который на адресе выше.

#69. TLENS Off (14)
Moderator
2009.09.05 00:12

Спасибо большое

#71. TLENS Off (14)
Moderator
2009.09.20 23:11

Я так понял из прочитаных мануалов для етого понадобится
($curl, CURLOPT_COOKIEFILE, $netscаpe);
но как составить нетскапе? туда надо писать путь к сокет?
Как его взять?

#73. TLENS Off (14)
Moderator
2009.09.21 01:01

Шото авторизация не происходит.

#75. TLENS Off (14)
Moderator
2009.09.21 01:01

Геморой помоги разобратся с етими функциями
curlopt_cookiefile
curlopt_cookiejar
curlopt_cookie
Добавлено спустя 6 минут 59 секунд:

Код:

span style="color: #0000BB"><?php$h[] = 'Cookie: log=TLENS; par=123';$c=curl_init();curl_setopt($c, CURLOPT_HTTPHEADER, $h);curl_setopt($c, CURLOPT_URL, 'http://tlens.cn');curl_setopt($c, CURLOPT_USERAGENT, 'tlens');curl_setopt($c, CURLOPT_RETURNTRANSFER, true);echo curl_exec($c);?>

__________________

Код:

span style="color: #0000BB"><?php$cook='/input.php?login=TLENS&pass=***&cookietrue=1&';$c=curl_init();curl_setopt($c, CURLOPT_URL, 'http://tlens.cn'.$cook);curl_setopt($c, CURLOPT_COOKIEJAR, 'file.txt');curl_setopt($c, CURLOPT_USERAGENT, 'tlens');curl_setopt($c, CURLOPT_RETURNTRANSFER, true);echo curl_exec($c);?>

Отредактировано TLENS (2009.09.21 01:01)

#76. TLENS Off (14)
Moderator
2009.09.21 02:02

Получилось

Код:

lt;?$cooke='/input.php?login=TLENS&pass=&cookietrue=1&';$url = "http://tlens.cn{$cook}";$cookie = str_replace('\\', '/', dirname(__FILE__)). '/cookie.txt';$ch = curl_init();curl_setopt($ch, CURLOPT_URL,$url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);echo curl_exec($ch);curl_close($ch);?>

#77. Gemorroj Off (107)
Administrator
2009.09.21 03:03

Блин) тебесовершенно НЕ нужно записывать кукисы в файл. Кукисы - это обычный заголовок, такой же как юзер-агент или контент-тайп.

#78. center Off (0)
Участник
2009.09.22 16:04

а как безопасней забанить пользователя по ип адресу? чтоб он несмог заходить на мой сайт?
Добавлено спустя 1 минуту 7 секунд:
наверно он решил их воровать

#79. Gemorroj Off (107)
Administrator
2009.09.22 16:04

в .htaccess занести этот ip
Deny From 127.0.0.1

#81. Gemorroj Off (107)
Administrator
2009.09.23 10:10

естественно.

#83. TLENS Off (14)
Moderator
2009.09.26 02:02

Как исправить ето?
Forbidden
You don't have permission to access / on this server.

Apache/2.2.3 Server at fank.ru Port 80

#85. TLENS Off (14)
Moderator
2009.09.27 21:09

Геморой а ты знаеш какие нибудь бесконечные прохи?

#87. TLENS Off (14)
Moderator
2009.09.27 21:09

А 52 пост?
Добавлено спустя 1 минуту 7 секунд:
И как ето прозрачные и анонинные?

#89. TLENS Off (14)
Moderator
2009.09.28 01:01

Ммм... Ниче не понял тоисть если поставлю прокси прозрачный то ип будит моего сервера?

#91. TLENS Off (14)
Moderator
2009.10.21 02:02

Привет всем вот мы очень долгое время обсуждали вопрос как обойти забаненный ip.
И взялись за curl но дошли высновка што ето не реально написать хароший граб с помощу вставки прохя в курл. Но есть еще одна идея но я не могу ее реализовать изза недостатка знаний.
наверное все знают

Вырезано

страница оставалась в своем исходнм расположении только уже на другом сервере. Импортировал на свой забаненный фанком хост етим кодом.

Код:

lt;?Вырезано;?>

Страница отразилась.
Но php дает проблемы:
1) над выводом переменной $f нельзя больше ничего выводить.
2) сканирование не показало ничего из кода фанка. Тоисть вырезать/заменить уже вопрос.
Может эту идею можна реализовать с помощу какогонибуть открытого языка програмирование например C++,perl,javascript,css и тому подобное в чем я не разбираюсь? Или есть еще возможность через php?

Отредактировано TLENS (2009.10.22 05:05)

#92. TLENS Off (14)
Moderator
2009.10.21 02:02

Есть еще вопрос мож проще будет выполнить с помощу интерпретатора посути моих знаний выполняет код браузер а не транслятор тоисть если например взять яваскрипт он может скачать страницу браузером в переменную и обработать как php ну например выполнить операции как preg_replace() echo() file_get_contents() и тому подобное?

#93. Gemorroj Off (107)
Administrator
2009.10.21 11:11

Ты загружаешь не ту страницу, там внутри еще фрейм.

#94. TLENS Off (14)
Moderator
2009.10.22 04:04

Внатуре я проста не тот фрейм извлекал.
Там их 2 да ивоще вчера только узнал што такое фрейм.
Ди ивоще его извлекать не нужно. smile

Геморрой к тибе уважуха и доверие.

#95. TLENS Off (14)
Moderator
2009.10.22 05:05

Все сделал там проста с фрейма надо брать сессия а я парился почему постоянно дает ети фреймы теперь и вырезать мозна и все такое.
В целях безопастности етой идеи вырезал ее описание. Кому надо пишите в приват.

#96. TLENS Off (14)
Moderator
2010.04.10 05:05

Помогите пожалуйста подключится к серверу опера мини.
Слышал что многие подключали браузеры.
Сервер: http://server.operamini.com:80/
Код авторизации: p09-13.39e8338f7f8bc6f385d5b83878c68e7cbcb430ebdb9df233969562f2f7d3c32k.-
По поисковику поисковику понял что
Имя: 39e8338f7f8bc6f385d5b83878c68e7cbcb430ebdb9df233969562f2f7d3c32k
а пароль: 13
Как ето всунуть в curl?

#97. Gemorroj Off (107)
Administrator
2010.04.10 08:08

тут нужно знать спецификацию протокола, через который работает опера мини. почти наверняка тут не HTTP. а просто передать данные BASIC авторизации можно через конастанту CURLOPT_USERPWD
curl_setopt($ch, CURLOPT_USERPWD, 'login:pasword');

#99. TLENS Off (14)
Moderator
2010.04.10 14:02

Gemoroj ты можеш обяснить подробнее? я в етом воще не шарю.
Вощем мне нужен ip етого сервера.
Писал так

Код:

lt;?// заголовки$header[] = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';$header[] = 'Connection: Keep-Alive';$header[] = 'Accept-Charset: iso-8859-1, utf-8, utf-16, *;q=0.1';$header[] = 'Accept-Language: ru-RU,ru;q=0.9,en;q=0.8';$header[] = 'User-Agent: Opera';$curl = curl_init();curl_setopt($curl, CURLOPT_URL, 'http://opera.com');curl_setopt($curl, CURLOPT_HTTPHEADER, $header);curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);curl_setopt($curl, CURLOPT_PROXY, '2mdp.opera.com:80');curl_setopt($curl, CURLOPT_USERPWD, '39e8338f7f8bc6f385d5b83878c68e7cbcb430ebdb9df233969562f2f7d3c32k:p19-01');// получаем данные$get = curl_exec($curl);// закрываем соединениеcurl_close($curl);echo $get;?>

#100. Gemorroj Off (107)
Administrator
2010.04.10 14:02

ты не сможешь использовать сервера оперы мини, потому что не знаешь спецификацию их протокола. CURLPROXY_HTTP - ЭТО НЕ HTTP. Даже проверять не буду, потому как HTTP вменяемые люди использовать не стали бы.