#1 2014.03.01 00:59

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Программирование сокетов в php

Решил написать очередной велосипед те расширение для php но хотел бы узнать мало ли может он уже существует.
В общем задача такова нужно получить данные с нескольких url по http но при этом что бы получение данных происходило одновременно со всех url а не по очередности.
так как PHP процедурный и блокирует сокеты.
Рою в React но что то пока что глухо в основном везде работа с сервером

Неактивен

#2 2014.03.01 04:08

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

В общем разобрался я с react. Довольно таки не плохая библиотека. Жаль что я раньше не узнал что php может работать с неблокирующими сокетами. Да и вообще удивительно что он может работать с ними на низком уровне.
Замутил такую функцию.

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
<?php
require '../vendor/autoload.php';
 
function getLinks($links) {
    $results_data = array();
    $async_func = array();
    $loop React\EventLoop\Factory::create();
    $dnsResolverFactory = new React\Dns\Resolver\Factory();
    $dnsResolver $dnsResolverFactory->createCached('127.0.0.1'$loop);
    $factory = new React\HttpClient\Factory();
    $client $factory->create($loop$dnsResolver);
    foreach ($links as $k=>$link) {
            $request $client->request('GET'$link['url']);
            $request->on('response', function ($response) use (&$results_data$k, &$links) {
                $data '';
                $response->on('data', function ($d) use (&$data) {
                    $data .= $d
                });
                $response->on('end', function () use (&$data, &$results_data$k, &$links) {
                    
                        
                    $results_data[$k] = (
                            isset($links[$k]['callback']) &&
                            function_exists($links[$k]['callback'])
                        ) ? $links[$k]['callback']($data) : $data;
                });
            });
            $request->end();
    }
    $loop->run();
    return $results_data;
    
}
 
function parsingYoutube($data$error null) {
    return 'this youtube parser. Length data ' strlen($data);
}
 
function parsingGoogle($data$error null) {
    return 'this google parser. Length data ' strlen($data);
}
 
$links = array();
$links[] = array('url'=> 'http://www.youtube.com',
        'callback'=>  @parsingYoutube);
 
$links[] = array('url'=> 'http://www.google.com.ua',
        'callback'=> @parsingGoogle);
 
//$links[] = array('url'=> 'http://wapinet.ru/forum/');
 
 
$t microtime(true);
var_dump(getLinks($links));
echo microtime(true) - $t;

Результаты довольно таки не плохие


array(2) {
  [1]=>
  string(37) "this google parser. Length data 11524"
  [0]=>
  string(39) "this youtube parser. Length data 219009"
}
0.35132312774658

Завтра уже усовершенствую ее. А сейчас спать охота

Неактивен

#3 2014.03.01 10:54

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6538
Карма: 108
Профиль Веб-сайт

Re: Программирование сокетов в php

а чем нативный curl_multi_* не подошел?

Неактивен

#4 2014.03.01 16:25

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Gemorroj написал:

а чем нативный curl_multi_* не подошел?

спасибо.

Неактивен

#5 2014.03.02 05:32

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Gemorroj curl_multi по результатам моих тестов во много раз медленнее чем напрямую работать с сокетами

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
<?php
$t microtime(true);
 
$mh curl_multi_init();
$ch = array();
for ($i 0$i 1000$i++) {
 
    $ch[$i] = curl_init();
 
    // устанавливаем URL и другие соответствующие опции
    curl_setopt($ch[$i], CURLOPT_URL"http://www.youtube.com/");
    curl_setopt($ch[$i], CURLOPT_HEADER0);
    curl_setopt($ch[$i], CURLOPT_RETURNTRANSFERtrue);
 
    curl_multi_add_handle($mh$ch[$i]);
}
$active null;
//запускаем дескрипторы
 
do {
    curl_multi_exec($mh$running);
    curl_multi_select($mh);
} while ($running 0);
//закрываем дескрипторы
foreach ($ch as $i=>$v) {
    curl_multi_remove_handle($mh$ch[$i]);
}
curl_multi_close($mh);
echo "curl_multi: " . (($t2 microtime(true)) - $t)."\n";
 
 
$sockets = array();
$results = array();
$results = array();
for ($i 0$i 1000$i++) {
    $results[$i] = '';
    $errors[$i] = '';
    $sockets[$i] = socket_create(AF_INETSOCK_STREAM0);
 
    socket_set_nonblock($sockets[$i]);
    @socket_connect($sockets[$i], 'www.youtube.com'80);
}
 
$error $write $sockets;
$read = array();
do {
    $e $error;
    $w $write;
    $r $read;
    if (sizeof($r) == && sizeof($w) == 0)
        break;
    if (($select socket_select($r$w$e null0)) < 0) {
        //echo 'continue'."\n";
        continue;
    }
    //echo "read: " . sizeof($r) . ', write: ' . sizeof($w) . "\t\t";
    foreach ($w as $k=>$sock) {
        socket_write($sockets[$k], "GET / HTTP/1.0\nHost: www.youtube.com\nConnection: close\n\n");
        $read[$k] = $sockets[$k];
        unset($write[$k]);
    }
    
    
    foreach ($r as $k=>$sock) {
        $buff socket_read($sockets[$k], 10240);
        if ($buff !== false) {
            if ($buff)
                $results[$k] .= $buff;
            else
                unset($read[$k]);
        } else {
            socket_close($sockets[$k]);
            unset($sockets[$k], $write[$k], $read[$k]);
        }
    }
    /*
    foreach ($error as $k=>$sock) {
        $errors[$k] = socket_strerror($sockets[$k]);
        socket_close($sockets[$k]);
        unset($sockets[$k], $write[$k], $read[$k]);
        
    }
     *
     */
}
while(true);
echo "socket: " . (microtime(true) - $t2) . "\n";
echo "\n";
 
 
?>


root@cs12621:/home/www# php test.php
curl_multi: 6.0599839687347
socket: 4.1367900371552

root@cs12621:/home/www# php test.php
curl_multi: 6.2453439235687
socket: 4.0472211837769

root@cs12621:/home/www# php test.php
curl_multi: 6.112576007843
socket: 4.0291259288788

Неактивен

#6 2014.03.02 05:42

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Вот только столкнулся со следующей проблемой. Понятия не имею как работать с tls соединениями. Можно было бы использовать stream_socket_client но тут проблема с блокировкой сокета. Почему то не хочет сниматься блокировка с сокетов. Пробовал так

Код:

1
2
3
<?
 $sockets[$i] = stream_socket_client('ssl://www.youtube.com:443', $error, $errorstr, 1, STREAM_CLIENT_ASYNC_CONNECT, $context);
    stream_set_blocking($sockets[$i], 1);

Неактивен

#7 2014.03.02 18:13

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Короче я тут крутил крутил. И обратил внимание что используя ssl/tls протокол подключение значительно затягивается во времени раза в сто. Возможно что stream_socket_client используя ssl игнорирует параметр STREAM_CLIENT_ASYNC_CONNECT блокирует сокет пока не составит подпись только после делает его неблокирующим и возвращает управление.
Что то я нигде не найду примеры для эмуляции tls соединения на обычном сокете. А ввесь протокол перечитывать реально впадло.
Паша ты случаем не знаком с этим протоколом, как мне подготовить сокет для работы по ssl?

Желательно бы решить задачу с ssl так как api.vk.com работает через ssl а вот если отказаться от него то появляются новые проблемы нужно каждый запрос к вк подписывать. Это в принципе не проблема но все же хотел разобраться с защищенным соединением
Добавлено спустя   9 минут  16 секунд:
В общем если не разберусь буду юзать сурл для ssl

Неактивен

#8 2014.03.02 18:35

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6538
Карма: 108
Профиль Веб-сайт

Re: Программирование сокетов в php

TLENS, нет, я не работал с сокетами на таком уровне. Я бы не заморачивался и использовал CURL smile

Неактивен

#9 2014.03.03 18:43

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Gemorroj написал:

TLENS, нет, я не работал с сокетами на таком уровне. Я бы не заморачивался и использовал CURL smile

Ну да я все таки решил взяться за курл и не морочить себе мозги. А на будущее найму человека что бы переписал функцию под сокеты)

Неактивен

#10 2014.03.07 06:10

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

В общем запилил себе такой класс. Удобно работать.

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
<?php
namespace Loader;
require_once __DIR__ '/_Link.php';
require_once __DIR__ '/_IP.php';
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
 
/**
 * Description of Multi
 *
 * @author Dmitriy Bondarenko <TLENS at tlens.ru>
 */
class Multi {
    //put your code here
    private $_timeout;
    private $_length 0;
    /** @var array */
    private $_links = array();
    private $_callback = array();
    private $_ch = array();
    private $_chm;
    public function __construct($timeout 10) {
        $this->_chm curl_multi_init();
        $this->_timeout $timeout;
        $this->_length 0;
        
    }
    public function addLink(\Loader\Link $link$callback null) {
        $this->_links[$this->_length] = $link;
        $this->_callback[$this->_length] = $callback;
        $this->_ch[$this->_length] = curl_init((string)$link);
        
        curl_setopt($this->_ch[$this->_length], CURLOPT_HEADERfalse);
        curl_setopt($this->_ch[$this->_length], CURLOPT_RETURNTRANSFERtrue);
        curl_setopt($this->_ch[$this->_length], CURLOPT_TIMEOUT,  $this->_timeout);
        
        
        if (\Loader\IP::V6 == $link->getIp()->type()) 
            curl_setopt($this->_ch[$this->_length], CURLOPT_IPRESOLVECURL_IPRESOLVE_V6);
        if ((string)$link->getIp())
            curl_setopt($this->_ch[$this->_length], CURLOPT_INTERFACE, (string)$link->getIp());
        
        switch ($link->scheme()) {
        case 'https':
            curl_setopt($this->_ch[$this->_length], CURLOPT_PORT$link->port() ? $link->port() : '443');
            curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYPEER0);
            curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYHOST0);
            break;
        
        case 'http':
            curl_setopt($this->_ch[$this->_length], CURLOPT_PORT$link->port() ? $link->port() : '80');
            break;
        
        default :
            
            break;
        }
        
        curl_multi_add_handle($this->_chm$this->_ch[$this->_length]);
        
        
        
        $this->_length++;
        
    }
    public function run () {
        
 
        $rh null;
        do {
            curl_multi_exec($this->_chm$rh);
            curl_multi_select($this->_chm);
        } while ($rh 0);
        $results = array();
        for ($i 0$i $this->_length$i++) {
            $results[$i] = $this->_links[$i]->parser(
                    curl_multi_getcontent($this->_ch[$i]),
                    curl_getinfo($this->_ch[$i]),
                    curl_error($this->_ch[$i]));
            
            if (gettype($this->_callback[$i]) == 'object')
                $this->_callback[$i]($results[$i]);
        }
        return $results;
    }
    
}
 
?>

Воспроизводится что то вроде этого.

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<?php
$list = new Video\Search($query020);
$loader = new \Loader\Multi();
 
$youtube_search_url = \Video\Youtube::getLinkSearch($query);
$youtube_link = new \Loader\Link($youtube_search_urlnull, \Video\Youtube::parseSearchData());
$loader->addLink($youtube_link, function ($data) use (&$list) {
    $list->addList($data);
});
 
$vkontakte_search_url = \Video\Vkontakte::getLinkSearch($query);
$vkontakte_link = new \Loader\Link($vkontakte_search_urlnull, \Video\Vkontakte::parseSearchData());
$loader->addLink($vkontakte_link, function ($data) use (&$list) {
    $list->addList($data);
});
 
$loader->run();
$list->init();

Неактивен

Дополнительно

forum.wapinet.ru

PunBB Mod v0.6.1
0.015 s