Вы не зашли.
Главная » Общение » Ребят кто слышал какая сегодня погода на Марсе?
#1. TLENS Off (14)
Moderator
2012.08.24 08:08
У меня уже сутки сплошная неразбериха.
Вот например. Пишу парсер видео с ютуба.
Вобще все хорошо и стабильно работает, но тут откуда то не возьмись ютуб начал меня блочить типо слишком много запросов с одного ип.
Запросов было примерно 10к. Ок зашибись, решил штучно вызвать блок и проанализировать какой интервал разрешен. Сижу ночь долбусь с winsocket2 ладно все норм написал стабильный тестер на C++ запрашивающий в ютуба примерно 200 страничек в секунду, но по производительности моей машины получается 40-60 запросов на сек. ЧЯДНТ?
И что вы думаете вот уже 150к запроссов и ниодной ошибки. Правда замечено было пару срывов сокета при чтении но это не всчет.
Сужу жду блока по ип а его нет((
#2. TLENS Off (14)
Moderator
2012.08.24 10:10
Получи неверный код ответа так обрадовался побежал в логи а там
HTTP/1.1 504 Gateway Timeout
Date: Fri, 24 Aug 2012 05:02:47 GMT
Transfer-Encoding: chunked
Content-Type: text/plain; charset=utf-8
Server: GFE/2.0
Connection: close

10
retries exceeded
0
Видя это немного загрустил. Я п на данный момент направляю все запроссы на одну страничку вот думаю вполне вероятно что ютуб использует внутринее кеширование.
Пойду я короче спать завтра перепишу код который будет бегать по ссылкам ютуба
Страниц: 1
Главная
WEB
PunBB Mod v0.6.2
0.012 s