» WAP Мастер Форум https://forum.wapinet.ru/index.php » PHP https://forum.wapinet.ru/viewforum.php?id=3 » Как обойти в грабе забаненый ип хоста https://forum.wapinet.ru/viewtopic.php?id=178 |
СанчО » 2008.11.30 13:52 | ||||||||
Очень хочу ограбить библиотеку с сайта kengu.ru , но видимо хост в бане, кАк можно обойти этот бан? | ||||||||
Gemorroj » 2008.11.30 14:11 | ||||||||
грабить через прокси. но это тоже не очень хороший выход, т.к. прокси мрут очень быстро. а главное сейчас многие из них не поддерживают некоторых методов передачи данных, что делает их практически не пригодными для использования. подробнее об этом можно почитать, например, на topgen.net | ||||||||
СанчО » 2008.11.30 14:42 | ||||||||
а можешь научить грабить через прокси? чисто для интереса.,... | ||||||||
Gemorroj » 2008.11.30 15:49 | ||||||||
Код:
| ||||||||
von_Zollern » 2008.12.21 18:49 | ||||||||
А это наподобие скрипта "Анонимный прокси"? | ||||||||
Gemorroj » 2008.12.22 10:15 | ||||||||
нет. | ||||||||
One20 » 2009.02.06 16:25 | ||||||||
Што делать если прокси имеет адрес типа вот этого вида http://wapbest.biz/papka/proksi.php?who=sajt_kotoryj_grabim ? | ||||||||
DarkDaNTe » 2009.02.06 22:05 | ||||||||
Там где пишешь то, что грабить, пишешь: | ||||||||
Gemorroj » 2009.02.06 22:22 | ||||||||
я вопрос вообще не понял) проблемы как бы не вижу. | ||||||||
One20 » 2009.02.07 04:42 | ||||||||
Можно написать вместо 127.0.0.1:8080 вот это http://proxy.ru ? | ||||||||
Gemorroj » 2009.02.07 11:36 | ||||||||
One20, попробуй. | ||||||||
Kir » 2009.02.10 13:48 | ||||||||
Gemorroj, a подскажи, вроде по тeмe, UA, вот если в гpaбe будeт прописaнo, вместо headers.="opera..., где-нибудь выше $ua_user=htmlspecialchars($_SERVER['USER_AGENT']);, a вмeсто оpera $ua_user, вот и в кaждом грaбe тaк.. | ||||||||
Gemorroj » 2009.02.10 14:09 | ||||||||
htmlspecialchars в данном случае не нужен. какой юзер агент ты отправишь, это твое личное дело. я, как правило, использую $_SERVER['USER_AGENT'] | ||||||||
One20 » 2009.02.18 06:40 | ||||||||
Gemorroj,у меня не получилось! | ||||||||
TLENS » 2009.03.26 22:41 | ||||||||
У меня сдесь ошивка пишет што не правильно? | ||||||||
Gemorroj » 2009.03.26 22:43 | ||||||||
все правильно. ошибка в другом месте. | ||||||||
TLENS » 2009.03.29 15:44 | ||||||||
Его же ставить в php да то у меня gmanager пишет ошыбку в 3 строке. | ||||||||
TLENS » 2009.03.30 01:32 | ||||||||
Gemoroj вышли пожалуйста tlens@list.ru | ||||||||
TLENS » 2009.03.30 05:28 | ||||||||
Поудалял все теги сеперь работает только примерно после 40 загрузок с одого прокси появляется ето | ||||||||
TLENS » 2009.03.30 05:33 | ||||||||
То ище голова и два уха не теги а пробелы. | ||||||||
Gemorroj » 2009.03.30 12:23 | ||||||||
Я вообще не понимаю твоих проблем, делай. Все можно. | ||||||||
TLENS » 2009.03.30 16:15 | ||||||||
Я придумал такую систему думаю ты поймеш зачем мне так много прохи | ||||||||
TLENS » 2009.03.30 16:24 | ||||||||
A прокси брал на топген.нет | ||||||||
Gemorroj » 2009.03.30 17:11 | ||||||||
тебе кто-то запретил использовать 1 прокси? | ||||||||
TLENS » 2009.03.30 19:32 | ||||||||
Я думал ты догадаешся для чего оно предназначеннo | ||||||||
Gemorroj » 2009.03.30 19:46 | ||||||||
если тебе нужно что-то добавить в "'...=$pas&'", то такого крокодила изобретать не нужно. я честно говоря не понимаю в чем проблема. банят IP? следовательно нужно больше IP'ов. | ||||||||
TLENS » 2009.03.30 23:24 | ||||||||
Ладно забудь. | ||||||||
TLENS » 2009.03.31 23:40 | ||||||||
Как вставить реферер. Тоисть подменить адререс с которого загружалась страница? Как в накрутчике. | ||||||||
Gemorroj » 2009.04.01 00:19 | ||||||||
в зависимости от того, как ты получаешь удаленную страницу. | ||||||||
TLENS » 2009.04.01 00:48 | ||||||||
Всмысле ну получаю тем способом што ты выложил выше. Через курл. | ||||||||
Gemorroj » 2009.04.01 02:05 | ||||||||
ну соответственно напиши этот заголовок. | ||||||||
LONGMAN » 2009.04.06 06:04 | ||||||||
Gemorroj, а вазможно использовать прокси через fsockopen? А то нету курла на моём хосте.. :( | ||||||||
Gemorroj » 2009.04.06 11:06 | ||||||||
Код:
| ||||||||
LONGMAN » 2009.04.06 15:04 | ||||||||
Как я знаю нужно с начала отправить 4 службних байтов, а потом url | ||||||||
Gemorroj » 2009.04.06 15:13 | ||||||||
на сколько я знаю, наоборот, сначала все заголовки, 4 байта ("\r\n\r\n"), а потом тело. | ||||||||
LONGMAN » 2009.04.06 17:40 | ||||||||
А какие именно заголовки нужны? | ||||||||
LONGMAN » 2009.04.11 04:52 | ||||||||
Не знаете? | ||||||||
Gemorroj » 2009.04.11 09:44 | ||||||||
какие хочшь, такие и отправляй. | ||||||||
TLENS » 2009.04.20 03:49 | ||||||||
Привет всем а можна както брать адрес с формы где передача стоит post a He get? | ||||||||
Gemor » 2009.04.20 09:52 | ||||||||
Ну возьми и передай его. Как обычный элемент формы. | ||||||||
Gemor » 2009.04.20 09:54 | ||||||||
ну возьми и передай его как обычный элемент формы. | ||||||||
TLENS » 2009.04.21 23:34 | ||||||||
Дак не принимает передавал всеравно. | ||||||||
Gemorroj » 2009.04.21 23:41 | ||||||||
значит не правильно передавал. | ||||||||
TLENS » 2009.07.20 01:06 | ||||||||
Вы пытаетесь использовать узел в CoDeeN CDN Сети. Хотя пребывания заголовке обычно необязательно для HTTP, в какой это необходимо для CoDeeN. Кроме того, численное хостов не разрешены. Просьба добавить этот заголовок, и попробуйте еще раз. | ||||||||
TLENS » 2009.07.20 03:14 | ||||||||
Уже разобрался спасибо геморой за джым. | ||||||||
TLENS » 2009.07.21 21:33 | ||||||||
Блин не все работает. Папки начало забирать а переменные пишет тоже самое. | ||||||||
НЕЗНАЙКА » 2009.07.22 09:42 | ||||||||
Наверно изза того, что ты опять же разделил урл ? думаю так нельзя | ||||||||
TLENS » 2009.07.22 19:51 | ||||||||
Всмысле разделил? | ||||||||
НЕЗНАЙКА » 2009.07.23 22:42 | ||||||||
Ну 'вопрос' разделяет данные в урл. Я не могу объяснить толком:( | ||||||||
TLENS » 2009.07.23 23:03 | ||||||||
Да нет ето не мешает я писал и в ручную ('http://...'.$_SERVER..., | ||||||||
TLENS » 2009.07.24 01:47 | ||||||||
Наконецто до тестировался дело втом штоб использовать порта 8080 и еще много какие нужно получить доверие. | ||||||||
Gemorroj » 2009.07.24 10:09 | ||||||||
есть некоторое количество проксей, которое позволяет пользоваться ими бесконечно, ну или пока сервера их не здохут. но таких мало. а в целом да, если используются прокси, то граббер получится крайне не надежым. пришлось почувствовать на собственном опыте) | ||||||||
TLENS » 2009.08.06 23:26 | ||||||||
У меня еще вопросик можно ли скачать страницу где метод пост, Код:
| ||||||||
Gemorroj » 2009.08.07 13:57 | ||||||||
$post = 'var=value&var2=value2'; | ||||||||
TLENS » 2009.08.07 23:44 | ||||||||
большое спасибо | ||||||||
TLENS » 2009.09.02 00:35 | ||||||||
Што за ошибка и как исправить?
| ||||||||
Gemorroj » 2009.09.02 00:41 | ||||||||
хз. давай код. | ||||||||
TLENS » 2009.09.02 00:53 | ||||||||
Код:
| ||||||||
Gemorroj » 2009.09.02 01:01 | ||||||||
http://snippy.ru/snippet/1239-yemulirue … n-php.html | ||||||||
TLENS » 2009.09.02 01:23 | ||||||||
Ты имееш ввиду добавлениние етого? Код:
| ||||||||
Gemorroj » 2009.09.02 07:51 | ||||||||
правильно будет использовать parse_url | ||||||||
TLENS » 2009.09.03 00:17 | ||||||||
Спасибо но я насчет емулятора протестировал уж крыша едет, и ничего не получается | ||||||||
TLENS » 2009.09.03 00:36 | ||||||||
О наконецто нашол то што надо Код:
| ||||||||
TLENS » 2009.09.03 01:30 | ||||||||
Блин ето нето оно светит линк который граблю а не лок. Код:
| ||||||||
TLENS » 2009.09.03 02:18 | ||||||||
Извиняюсь за флуд но всетаки гугл дал нужный результат | ||||||||
Gemorroj » 2009.09.03 12:53 | ||||||||
я тебя вообще с трудом понимаю. при чем тут NOBODY и что такое "лок" вообще? | ||||||||
TLENS » 2009.09.03 22:28 | ||||||||
Сори лок ето локация а нободи выводит заголовки с который можна извлечь и адрес локации и 200,301,302 другого способа я не смог извлечь с емулятора который на адресе выше. | ||||||||
Gemorroj » 2009.09.03 23:39 | ||||||||
NOBODY убирает тело страницы. А заголовки показывает CURLOPT_HEADER | ||||||||
TLENS » 2009.09.05 00:20 | ||||||||
Спасибо большое | ||||||||
TLENS » 2009.09.20 23:07 | ||||||||
Еще вопросик как передать сокиес | ||||||||
TLENS » 2009.09.20 23:59 | ||||||||
Я так понял из прочитаных мануалов для етого понадобится | ||||||||
Gemorroj » 2009.09.21 00:17 | ||||||||
Проще передать как обычный заголовок через CURL | ||||||||
TLENS » 2009.09.21 01:09 | ||||||||
Шото авторизация не происходит. | ||||||||
Gemorroj » 2009.09.21 01:25 | ||||||||
дай свой код | ||||||||
TLENS » 2009.09.21 01:28 | ||||||||
Геморой помоги разобратся с етими функциями Код:
__________________ Код:
| ||||||||
TLENS » 2009.09.21 02:08 | ||||||||
Получилось Код:
| ||||||||
Gemorroj » 2009.09.21 03:12 | ||||||||
Блин) тебесовершенно НЕ нужно записывать кукисы в файл. Кукисы - это обычный заголовок, такой же как юзер-агент или контент-тайп. | ||||||||
center » 2009.09.22 16:06 | ||||||||
а как безопасней забанить пользователя по ип адресу? чтоб он несмог заходить на мой сайт? | ||||||||
Gemorroj » 2009.09.22 16:16 | ||||||||
в .htaccess занести этот ip | ||||||||
CoolHAkHER » 2009.09.23 07:18 | ||||||||
A возможно что есть у когото есче такой ип и он несможт тоже заходить? Возможна вот бан па юзер агенту и па паследним двум цифрам айпи? | ||||||||
Gemorroj » 2009.09.23 10:48 | ||||||||
естественно. | ||||||||
TLENS » 2009.09.25 22:27 | ||||||||
Gemoroy толькошто просидел над тестированием и заглянул в файл с куками а там пароль и логин б басе64. Тепер работает, так проще конешно. Спасибо. | ||||||||
TLENS » 2009.09.26 02:07 | ||||||||
Как исправить ето? | ||||||||
Gemorroj » 2009.09.26 08:25 | ||||||||
ip забанен. | ||||||||
TLENS » 2009.09.27 21:01 | ||||||||
Геморой а ты знаеш какие нибудь бесконечные прохи? | ||||||||
Gemorroj » 2009.09.27 21:09 | ||||||||
нет таких | ||||||||
TLENS » 2009.09.27 21:57 | ||||||||
А 52 пост? | ||||||||
Gemorroj » 2009.09.27 22:10 | ||||||||
Вероятно, передают или не передают реальный IP в заголовке X-Frorvarded-For или ему подобным. | ||||||||
TLENS » 2009.09.28 01:03 | ||||||||
Ммм... Ниче не понял тоисть если поставлю прокси прозрачный то ип будит моего сервера? | ||||||||
Gemorroj » 2009.09.28 01:40 | ||||||||
в REMOTE_ADDR будет IP прокси, в HTTP_X_FORVARDED_FOR - твой IP определенный на прокси сервере. | ||||||||
TLENS » 2009.10.21 02:21 | ||||||||
Привет всем вот мы очень долгое время обсуждали вопрос как обойти забаненный ip.
страница оставалась в своем исходнм расположении только уже на другом сервере. Импортировал на свой забаненный фанком хост етим кодом. Код:
Страница отразилась. | ||||||||
TLENS » 2009.10.21 02:49 | ||||||||
Есть еще вопрос мож проще будет выполнить с помощу интерпретатора посути моих знаний выполняет код браузер а не транслятор тоисть если например взять яваскрипт он может скачать страницу браузером в переменную и обработать как php ну например выполнить операции как preg_replace() echo() file_get_contents() и тому подобное? | ||||||||
Gemorroj » 2009.10.21 11:05 | ||||||||
Ты загружаешь не ту страницу, там внутри еще фрейм. | ||||||||
TLENS » 2009.10.22 04:38 | ||||||||
Внатуре я проста не тот фрейм извлекал. | ||||||||
TLENS » 2009.10.22 05:56 | ||||||||
Все сделал там проста с фрейма надо брать сессия а я парился почему постоянно дает ети фреймы теперь и вырезать мозна и все такое. | ||||||||
TLENS » 2010.04.10 05:06 | ||||||||
Помогите пожалуйста подключится к серверу опера мини. | ||||||||
Gemorroj » 2010.04.10 08:44 | ||||||||
тут нужно знать спецификацию протокола, через который работает опера мини. почти наверняка тут не HTTP. а просто передать данные BASIC авторизации можно через конастанту CURLOPT_USERPWD | ||||||||
TLENS » 2010.04.10 14:04 | ||||||||
Выводит пустую переменную | ||||||||
TLENS » 2010.04.10 14:18 | ||||||||
Gemoroj ты можеш обяснить подробнее? я в етом воще не шарю. Код:
| ||||||||
Gemorroj » 2010.04.10 14:32 | ||||||||
ты не сможешь использовать сервера оперы мини, потому что не знаешь спецификацию их протокола. CURLPROXY_HTTP - ЭТО НЕ HTTP. Даже проверять не буду, потому как HTTP вменяемые люди использовать не стали бы. | ||||||||
TLENS » 2010.04.10 14:41 | ||||||||
Я так понял ето гнилой варриант. |