WAP Мастер Форум / PHP / Программирование сокетов в php

#1. TLENS Off (14)
Moderator
2014.03.01 00:12

Решил написать очередной велосипед те расширение для php но хотел бы узнать мало ли может он уже существует.
В общем задача такова нужно получить данные с нескольких url по http но при этом что бы получение данных происходило одновременно со всех url а не по очередности.
так как PHP процедурный и блокирует сокеты.
Рою в React но что то пока что глухо в основном везде работа с сервером

#2. TLENS Off (14)
Moderator
2014.03.01 04:04

В общем разобрался я с react. Довольно таки не плохая библиотека. Жаль что я раньше не узнал что php может работать с неблокирующими сокетами. Да и вообще удивительно что он может работать с ними на низком уровне.
Замутил такую функцию.

Код:

span style="color: #0000BB"><?phprequire '../vendor/autoload.php';function getLinks($links) { $results_data = array(); $async_func = array(); $loop = React\EventLoop\Factory::create(); $dnsResolverFactory = new React\Dns\Resolver\Factory(); $dnsResolver = $dnsResolverFactory->createCached('127.0.0.1', $loop); $factory = new React\HttpClient\Factory(); $client = $factory->create($loop, $dnsResolver); foreach ($links as $k=>$link) { $request = $client->request('GET', $link['url']); $request->on('response', function ($response) use (&$results_data, $k, &$links) { $data = ''; $response->on('data', function ($d) use (&$data) { $data .= $d; }); $response->on('end', function () use (&$data, &$results_data, $k, &$links) { $results_data[$k] = ( isset($links[$k]['callback']) && function_exists($links[$k]['callback']) ) ? $links[$k]['callback']($data) : $data; }); }); $request->end(); } $loop->run(); return $results_data; }function parsingYoutube($data, $error = null) { return 'this youtube parser. Length data ' . strlen($data);}function parsingGoogle($data, $error = null) { return 'this google parser. Length data ' . strlen($data);}$links = array();$links[] = array('url'=> 'http://www.youtube.com', 'callback'=> @parsingYoutube);$links[] = array('url'=> 'http://www.google.com.ua', 'callback'=> @parsingGoogle);//$links[] = array('url'=> 'http://wapinet.ru/forum/');$t = microtime(true);var_dump(getLinks($links));echo microtime(true) - $t;

Результаты довольно таки не плохие

Показать скрытый текст

Завтра уже усовершенствую ее. А сейчас спать охота

#5. TLENS Off (14)
Moderator
2014.03.02 05:05

Gemorroj curl_multi по результатам моих тестов во много раз медленнее чем напрямую работать с сокетами

Код:

span style="color: #0000BB"><?php$t = microtime(true);$mh = curl_multi_init();$ch = array();for ($i = 0; $i < 1000; $i++) { $ch[$i] = curl_init(); // устанавливаем URL и другие соответствующие опции curl_setopt($ch[$i], CURLOPT_URL, "http://www.youtube.com/"); curl_setopt($ch[$i], CURLOPT_HEADER, 0); curl_setopt($ch[$i], CURLOPT_RETURNTRANSFER, true); curl_multi_add_handle($mh, $ch[$i]);}$active = null;//запускаем дескрипторыdo { curl_multi_exec($mh, $running); curl_multi_select($mh);} while ($running > 0);//закрываем дескрипторыforeach ($ch as $i=>$v) { curl_multi_remove_handle($mh, $ch[$i]);}curl_multi_close($mh);echo "curl_multi: " . (($t2 = microtime(true)) - $t)."\n";$sockets = array();$results = array();$results = array();for ($i = 0; $i < 1000; $i++) { $results[$i] = ''; $errors[$i] = ''; $sockets[$i] = socket_create(AF_INET, SOCK_STREAM, 0); socket_set_nonblock($sockets[$i]); @socket_connect($sockets[$i], 'www.youtube.com', 80);}$error = $write = $sockets;$read = array();do { $e = $error; $w = $write; $r = $read; if (sizeof($r) == 0 && sizeof($w) == 0) break; if (($select = socket_select($r, $w, $e = null, 0)) < 0) { //echo 'continue'."\n"; continue; } //echo "read: " . sizeof($r) . ', write: ' . sizeof($w) . "\t\t"; foreach ($w as $k=>$sock) { socket_write($sockets[$k], "GET / HTTP/1.0\nHost: www.youtube.com\nConnection: close\n\n"); $read[$k] = $sockets[$k]; unset($write[$k]); } foreach ($r as $k=>$sock) { $buff = socket_read($sockets[$k], 10240); if ($buff !== false) { if ($buff) $results[$k] .= $buff; else unset($read[$k]); } else { socket_close($sockets[$k]); unset($sockets[$k], $write[$k], $read[$k]); } } /* foreach ($error as $k=>$sock) { $errors[$k] = socket_strerror($sockets[$k]); socket_close($sockets[$k]); unset($sockets[$k], $write[$k], $read[$k]); } * */}while(true);echo "socket: " . (microtime(true) - $t2) . "\n";echo "\n";?>

Показать скрытый текст

#6. TLENS Off (14)
Moderator
2014.03.02 05:05

Вот только столкнулся со следующей проблемой. Понятия не имею как работать с tls соединениями. Можно было бы использовать stream_socket_client но тут проблема с блокировкой сокета. Почему то не хочет сниматься блокировка с сокетов. Пробовал так

Код:

lt;? $sockets[$i] = stream_socket_client('ssl://www.youtube.com:443', $error, $errorstr, 1, STREAM_CLIENT_ASYNC_CONNECT, $context); stream_set_blocking($sockets[$i], 1);

#7. TLENS Off (14)
Moderator
2014.03.02 18:06

Короче я тут крутил крутил. И обратил внимание что используя ssl/tls протокол подключение значительно затягивается во времени раза в сто. Возможно что stream_socket_client используя ssl игнорирует параметр STREAM_CLIENT_ASYNC_CONNECT блокирует сокет пока не составит подпись только после делает его неблокирующим и возвращает управление.
Что то я нигде не найду примеры для эмуляции tls соединения на обычном сокете. А ввесь протокол перечитывать реально впадло.
Паша ты случаем не знаком с этим протоколом, как мне подготовить сокет для работы по ssl?

Желательно бы решить задачу с ssl так как api.vk.com работает через ssl а вот если отказаться от него то появляются новые проблемы нужно каждый запрос к вк подписывать. Это в принципе не проблема но все же хотел разобраться с защищенным соединением
Добавлено спустя 9 минут 16 секунд:
В общем если не разберусь буду юзать сурл для ssl

#10. TLENS Off (14)
Moderator
2014.03.07 06:06

В общем запилил себе такой класс. Удобно работать.

Код:

span style="color: #0000BB"><?phpnamespace Loader;require_once __DIR__ . '/_Link.php';require_once __DIR__ . '/_IP.php';/* * To change this license header, choose License Headers in Project Properties. * To change this template file, choose Tools | Templates * and open the template in the editor. *//** * Description of Multi * * @author Dmitriy Bondarenko <TLENS at tlens.ru> */class Multi { //put your code here private $_timeout; private $_length = 0; /** @var array */ private $_links = array(); private $_callback = array(); private $_ch = array(); private $_chm; public function __construct($timeout = 10) { $this->_chm = curl_multi_init(); $this->_timeout = $timeout; $this->_length = 0; } public function addLink(\Loader\Link $link, $callback = null) { $this->_links[$this->_length] = $link; $this->_callback[$this->_length] = $callback; $this->_ch[$this->_length] = curl_init((string)$link); curl_setopt($this->_ch[$this->_length], CURLOPT_HEADER, false); curl_setopt($this->_ch[$this->_length], CURLOPT_RETURNTRANSFER, true); curl_setopt($this->_ch[$this->_length], CURLOPT_TIMEOUT, $this->_timeout); if (\Loader\IP::V6 == $link->getIp()->type()) curl_setopt($this->_ch[$this->_length], CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V6); if ((string)$link->getIp()) curl_setopt($this->_ch[$this->_length], CURLOPT_INTERFACE, (string)$link->getIp()); switch ($link->scheme()) { case 'https': curl_setopt($this->_ch[$this->_length], CURLOPT_PORT, $link->port() ? $link->port() : '443'); curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYPEER, 0); curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYHOST, 0); break; case 'http': curl_setopt($this->_ch[$this->_length], CURLOPT_PORT, $link->port() ? $link->port() : '80'); break; default : break; } curl_multi_add_handle($this->_chm, $this->_ch[$this->_length]); $this->_length++; } public function run () { $rh = null; do { curl_multi_exec($this->_chm, $rh); curl_multi_select($this->_chm); } while ($rh > 0); $results = array(); for ($i = 0; $i < $this->_length; $i++) { $results[$i] = $this->_links[$i]->parser( curl_multi_getcontent($this->_ch[$i]), curl_getinfo($this->_ch[$i]), curl_error($this->_ch[$i])); if (gettype($this->_callback[$i]) == 'object') $this->_callback[$i]($results[$i]); } return $results; } }?>

Воспроизводится что то вроде этого.

Код:

span style="color: #0000BB"><?php$list = new Video\Search($query, 0, 20);$loader = new \Loader\Multi();$youtube_search_url = \Video\Youtube::getLinkSearch($query);$youtube_link = new \Loader\Link($youtube_search_url, null, \Video\Youtube::parseSearchData());$loader->addLink($youtube_link, function ($data) use (&$list) { $list->addList($data);});$vkontakte_search_url = \Video\Vkontakte::getLinkSearch($query);$vkontakte_link = new \Loader\Link($vkontakte_search_url, null, \Video\Vkontakte::parseSearchData());$loader->addLink($vkontakte_link, function ($data) use (&$list) { $list->addList($data);});$loader->run();$list->init();