#1 2012.08.24 08:02

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Ребят кто слышал какая сегодня погода на Марсе?

У меня уже сутки сплошная неразбериха.
Вот например. Пишу парсер видео с ютуба.
Вобще все хорошо и стабильно работает, но тут откуда то не возьмись ютуб начал меня блочить типо слишком много запросов с одного ип.
Запросов было примерно 10к. Ок зашибись, решил штучно вызвать блок и проанализировать какой интервал разрешен. Сижу ночь долбусь с winsocket2 ладно все норм написал стабильный тестер на C++ запрашивающий в ютуба примерно 200 страничек в секунду, но по производительности моей машины получается 40-60 запросов на сек. ЧЯДНТ?
И что вы думаете вот уже 150к запроссов и ниодной ошибки. Правда замечено было пару срывов сокета при чтении но это не всчет.
Сужу жду блока по ип а его нет((

Неактивен

#2 2012.08.24 10:11

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Ребят кто слышал какая сегодня погода на Марсе?

Получи неверный код ответа так обрадовался побежал в логи а там

HTTP/1.1 504 Gateway Timeout
Date: Fri, 24 Aug 2012 05:02:47 GMT
Transfer-Encoding: chunked
Content-Type: text/plain; charset=utf-8
Server: GFE/2.0
Connection: close

10
retries exceeded
0

Видя это немного загрустил. Я п на данный момент направляю все запроссы на одну страничку вот думаю вполне вероятно что ютуб использует внутринее кеширование.
Пойду я короче спать завтра перепишу код который будет бегать по ссылкам ютуба

Неактивен

Дополнительно

forum.wapinet.ru

PunBB Mod v0.6.2
0.008 s