#1 2014.03.01 00:59

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Программирование сокетов в php

Решил написать очередной велосипед те расширение для php но хотел бы узнать мало ли может он уже существует.
В общем задача такова нужно получить данные с нескольких url по http но при этом что бы получение данных происходило одновременно со всех url а не по очередности.
так как PHP процедурный и блокирует сокеты.
Рою в React но что то пока что глухо в основном везде работа с сервером

Неактивен

#2 2014.03.01 04:08

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

В общем разобрался я с react. Довольно таки не плохая библиотека. Жаль что я раньше не узнал что php может работать с неблокирующими сокетами. Да и вообще удивительно что он может работать с ними на низком уровне.
Замутил такую функцию.

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
<?php
require '../vendor/autoload.php';
 
function getLinks($links) {
    $results_data = array();
    $async_func = array();
    $loop React\EventLoop\Factory::create();
    $dnsResolverFactory = new React\Dns\Resolver\Factory();
    $dnsResolver $dnsResolverFactory->createCached('127.0.0.1'$loop);
    $factory = new React\HttpClient\Factory();
    $client $factory->create($loop$dnsResolver);
    foreach ($links as $k=>$link) {
            $request $client->request('GET'$link['url']);
            $request->on('response', function ($response) use (&$results_data$k, &$links) {
                $data '';
                $response->on('data', function ($d) use (&$data) {
                    $data .= $d
                });
                $response->on('end', function () use (&$data, &$results_data$k, &$links) {
                    
                        
                    $results_data[$k] = (
                            isset($links[$k]['callback']) &&
                            function_exists($links[$k]['callback'])
                        ) ? $links[$k]['callback']($data) : $data;
                });
            });
            $request->end();
    }
    $loop->run();
    return $results_data;
    
}
 
function parsingYoutube($data$error null) {
    return 'this youtube parser. Length data ' strlen($data);
}
 
function parsingGoogle($data$error null) {
    return 'this google parser. Length data ' strlen($data);
}
 
$links = array();
$links[] = array('url'=> 'http://www.youtube.com',
        'callback'=>  @parsingYoutube);
 
$links[] = array('url'=> 'http://www.google.com.ua',
        'callback'=> @parsingGoogle);
 
//$links[] = array('url'=> 'http://wapinet.ru/forum/');
 
 
$t microtime(true);
var_dump(getLinks($links));
echo microtime(true) - $t;

Результаты довольно таки не плохие


array(2) {
  [1]=>
  string(37) "this google parser. Length data 11524"
  [0]=>
  string(39) "this youtube parser. Length data 219009"
}
0.35132312774658

Завтра уже усовершенствую ее. А сейчас спать охота

Неактивен

#3 2014.03.01 10:54

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6538
Карма: 108
Профиль Веб-сайт

Re: Программирование сокетов в php

а чем нативный curl_multi_* не подошел?

Неактивен

#4 2014.03.01 16:25

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Gemorroj написал:

а чем нативный curl_multi_* не подошел?

спасибо.

Неактивен

#5 2014.03.02 05:32

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Gemorroj curl_multi по результатам моих тестов во много раз медленнее чем напрямую работать с сокетами

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
<?php
$t microtime(true);
 
$mh curl_multi_init();
$ch = array();
for ($i 0$i 1000$i++) {
 
    $ch[$i] = curl_init();
 
    // устанавливаем URL и другие соответствующие опции
    curl_setopt($ch[$i], CURLOPT_URL"http://www.youtube.com/");
    curl_setopt($ch[$i], CURLOPT_HEADER0);
    curl_setopt($ch[$i], CURLOPT_RETURNTRANSFERtrue);
 
    curl_multi_add_handle($mh$ch[$i]);
}
$active null;
//запускаем дескрипторы
 
do {
    curl_multi_exec($mh$running);
    curl_multi_select($mh);
} while ($running 0);
//закрываем дескрипторы
foreach ($ch as $i=>$v) {
    curl_multi_remove_handle($mh$ch[$i]);
}
curl_multi_close($mh);
echo "curl_multi: " . (($t2 microtime(true)) - $t)."\n";
 
 
$sockets = array();
$results = array();
$results = array();
for ($i 0$i 1000$i++) {
    $results[$i] = '';
    $errors[$i] = '';
    $sockets[$i] = socket_create(AF_INETSOCK_STREAM0);
 
    socket_set_nonblock($sockets[$i]);
    @socket_connect($sockets[$i], 'www.youtube.com'80);
}
 
$error $write $sockets;
$read = array();
do {
    $e $error;
    $w $write;
    $r $read;
    if (sizeof($r) == && sizeof($w) == 0)
        break;
    if (($select socket_select($r$w$e null0)) < 0) {
        //echo 'continue'."\n";
        continue;
    }
    //echo "read: " . sizeof($r) . ', write: ' . sizeof($w) . "\t\t";
    foreach ($w as $k=>$sock) {
        socket_write($sockets[$k], "GET / HTTP/1.0\nHost: www.youtube.com\nConnection: close\n\n");
        $read[$k] = $sockets[$k];
        unset($write[$k]);
    }
    
    
    foreach ($r as $k=>$sock) {
        $buff socket_read($sockets[$k], 10240);
        if ($buff !== false) {
            if ($buff)
                $results[$k] .= $buff;
            else
                unset($read[$k]);
        } else {
            socket_close($sockets[$k]);
            unset($sockets[$k], $write[$k], $read[$k]);
        }
    }
    /*
    foreach ($error as $k=>$sock) {
        $errors[$k] = socket_strerror($sockets[$k]);
        socket_close($sockets[$k]);
        unset($sockets[$k], $write[$k], $read[$k]);
        
    }
     *
     */
}
while(true);
echo "socket: " . (microtime(true) - $t2) . "\n";
echo "\n";
 
 
?>


root@cs12621:/home/www# php test.php
curl_multi: 6.0599839687347
socket: 4.1367900371552

root@cs12621:/home/www# php test.php
curl_multi: 6.2453439235687
socket: 4.0472211837769

root@cs12621:/home/www# php test.php
curl_multi: 6.112576007843
socket: 4.0291259288788

Неактивен

#6 2014.03.02 05:42

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Вот только столкнулся со следующей проблемой. Понятия не имею как работать с tls соединениями. Можно было бы использовать stream_socket_client но тут проблема с блокировкой сокета. Почему то не хочет сниматься блокировка с сокетов. Пробовал так

Код:

1
2
3
<?
 $sockets[$i] = stream_socket_client('ssl://www.youtube.com:443', $error, $errorstr, 1, STREAM_CLIENT_ASYNC_CONNECT, $context);
    stream_set_blocking($sockets[$i], 1);

Неактивен

#7 2014.03.02 18:13

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Короче я тут крутил крутил. И обратил внимание что используя ssl/tls протокол подключение значительно затягивается во времени раза в сто. Возможно что stream_socket_client используя ssl игнорирует параметр STREAM_CLIENT_ASYNC_CONNECT блокирует сокет пока не составит подпись только после делает его неблокирующим и возвращает управление.
Что то я нигде не найду примеры для эмуляции tls соединения на обычном сокете. А ввесь протокол перечитывать реально впадло.
Паша ты случаем не знаком с этим протоколом, как мне подготовить сокет для работы по ssl?

Желательно бы решить задачу с ssl так как api.vk.com работает через ssl а вот если отказаться от него то появляются новые проблемы нужно каждый запрос к вк подписывать. Это в принципе не проблема но все же хотел разобраться с защищенным соединением
Добавлено спустя   9 минут  16 секунд:
В общем если не разберусь буду юзать сурл для ssl

Неактивен

#8 2014.03.02 18:35

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6538
Карма: 108
Профиль Веб-сайт

Re: Программирование сокетов в php

TLENS, нет, я не работал с сокетами на таком уровне. Я бы не заморачивался и использовал CURL smile

Неактивен

#9 2014.03.03 18:43

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Gemorroj написал:

TLENS, нет, я не работал с сокетами на таком уровне. Я бы не заморачивался и использовал CURL smile

Ну да я все таки решил взяться за курл и не морочить себе мозги. А на будущее найму человека что бы переписал функцию под сокеты)

Неактивен

#10 2014.03.07 06:10

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

В общем запилил себе такой класс. Удобно работать.

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
<?php
namespace Loader;
require_once __DIR__ '/_Link.php';
require_once __DIR__ '/_IP.php';
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
 
/**
 * Description of Multi
 *
 * @author Dmitriy Bondarenko <TLENS at tlens.ru>
 */
class Multi {
    //put your code here
    private $_timeout;
    private $_length 0;
    /** @var array */
    private $_links = array();
    private $_callback = array();
    private $_ch = array();
    private $_chm;
    public function __construct($timeout 10) {
        $this->_chm curl_multi_init();
        $this->_timeout $timeout;
        $this->_length 0;
        
    }
    public function addLink(\Loader\Link $link$callback null) {
        $this->_links[$this->_length] = $link;
        $this->_callback[$this->_length] = $callback;
        $this->_ch[$this->_length] = curl_init((string)$link);
        
        curl_setopt($this->_ch[$this->_length], CURLOPT_HEADERfalse);
        curl_setopt($this->_ch[$this->_length], CURLOPT_RETURNTRANSFERtrue);
        curl_setopt($this->_ch[$this->_length], CURLOPT_TIMEOUT,  $this->_timeout);
        
        
        if (\Loader\IP::V6 == $link->getIp()->type()) 
            curl_setopt($this->_ch[$this->_length], CURLOPT_IPRESOLVECURL_IPRESOLVE_V6);
        if ((string)$link->getIp())
            curl_setopt($this->_ch[$this->_length], CURLOPT_INTERFACE, (string)$link->getIp());
        
        switch ($link->scheme()) {
        case 'https':
            curl_setopt($this->_ch[$this->_length], CURLOPT_PORT$link->port() ? $link->port() : '443');
            curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYPEER0);
            curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYHOST0);
            break;
        
        case 'http':
            curl_setopt($this->_ch[$this->_length], CURLOPT_PORT$link->port() ? $link->port() : '80');
            break;
        
        default :
            
            break;
        }
        
        curl_multi_add_handle($this->_chm$this->_ch[$this->_length]);
        
        
        
        $this->_length++;
        
    }
    public function run () {
        
 
        $rh null;
        do {
            curl_multi_exec($this->_chm$rh);
            curl_multi_select($this->_chm);
        } while ($rh 0);
        $results = array();
        for ($i 0$i $this->_length$i++) {
            $results[$i] = $this->_links[$i]->parser(
                    curl_multi_getcontent($this->_ch[$i]),
                    curl_getinfo($this->_ch[$i]),
                    curl_error($this->_ch[$i]));
            
            if (gettype($this->_callback[$i]) == 'object')
                $this->_callback[$i]($results[$i]);
        }
        return $results;
    }
    
}
 
?>

Воспроизводится что то вроде этого.

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<?php
$list = new Video\Search($query020);
$loader = new \Loader\Multi();
 
$youtube_search_url = \Video\Youtube::getLinkSearch($query);
$youtube_link = new \Loader\Link($youtube_search_urlnull, \Video\Youtube::parseSearchData());
$loader->addLink($youtube_link, function ($data) use (&$list) {
    $list->addList($data);
});
 
$vkontakte_search_url = \Video\Vkontakte::getLinkSearch($query);
$vkontakte_link = new \Loader\Link($vkontakte_search_urlnull, \Video\Vkontakte::parseSearchData());
$loader->addLink($vkontakte_link, function ($data) use (&$list) {
    $list->addList($data);
});
 
$loader->run();
$list->init();

Неактивен

#11 2014.03.07 11:42

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6538
Карма: 108
Профиль Веб-сайт

Re: Программирование сокетов в php

TLENS, а почему use не пользуешься, а пишешь неймспейсы постоянно?
P.S. код закрыт в целом?

Неактивен

#12 2014.03.08 14:26

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Gemorroj написал:

а почему use не пользуешься, а пишешь неймспейсы постоянно?

Ну данный вызов класса находится в глобальной области. По этому и не юзал пространство. Да и вообще привычка не юзать прастранства. Видимо опасаюсь несовместимости.

Gemorroj написал:

код закрыт в целом?

Вообще то не планировал целый проект в публику выносить по соображениям безопасности. Но пока месть он то и не готов, только только формируется архитектура сайта. Потом может и сверкну гитхабом но только в приватном доступе.

Неактивен

#13 2014.05.21 20:55

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

TLENS написал:

В общем запилил себе такой класс. Удобно работать.

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
<?php
namespace Loader;
require_once __DIR__ '/_Link.php';
require_once __DIR__ '/_IP.php';
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
 
/**
 * Description of Multi
 *
 * @author Dmitriy Bondarenko <TLENS at tlens.ru>
 */
class Multi {
    //put your code here
    private $_timeout;
    private $_length 0;
    /** @var array */
    private $_links = array();
    private $_callback = array();
    private $_ch = array();
    private $_chm;
    public function __construct($timeout 10) {
        $this->_chm curl_multi_init();
        $this->_timeout $timeout;
        $this->_length 0;
        
    }
    public function addLink(\Loader\Link $link$callback null) {
        $this->_links[$this->_length] = $link;
        $this->_callback[$this->_length] = $callback;
        $this->_ch[$this->_length] = curl_init((string)$link);
        
        curl_setopt($this->_ch[$this->_length], CURLOPT_HEADERfalse);
        curl_setopt($this->_ch[$this->_length], CURLOPT_RETURNTRANSFERtrue);
        curl_setopt($this->_ch[$this->_length], CURLOPT_TIMEOUT,  $this->_timeout);
        
        
        if (\Loader\IP::V6 == $link->getIp()->type()) 
            curl_setopt($this->_ch[$this->_length], CURLOPT_IPRESOLVECURL_IPRESOLVE_V6);
        if ((string)$link->getIp())
            curl_setopt($this->_ch[$this->_length], CURLOPT_INTERFACE, (string)$link->getIp());
        
        switch ($link->scheme()) {
        case 'https':
            curl_setopt($this->_ch[$this->_length], CURLOPT_PORT$link->port() ? $link->port() : '443');
            curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYPEER0);
            curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYHOST0);
            break;
        
        case 'http':
            curl_setopt($this->_ch[$this->_length], CURLOPT_PORT$link->port() ? $link->port() : '80');
            break;
        
        default :
            
            break;
        }
        
        curl_multi_add_handle($this->_chm$this->_ch[$this->_length]);
        
        
        
        $this->_length++;
        
    }
    public function run () {
        
 
        $rh null;
        do {
            curl_multi_exec($this->_chm$rh);
            curl_multi_select($this->_chm);
        } while ($rh 0);
        $results = array();
        for ($i 0$i $this->_length$i++) {
            $results[$i] = $this->_links[$i]->parser(
                    curl_multi_getcontent($this->_ch[$i]),
                    curl_getinfo($this->_ch[$i]),
                    curl_error($this->_ch[$i]));
            
            if (gettype($this->_callback[$i]) == 'object')
                $this->_callback[$i]($results[$i]);
        }
        return $results;
    }
    
}
 
?>

Внес некоторые критические обновления в класс. На другой машине метод run() ни разу не выполнился быстрее чем за 1 сек. в логах как правило ~1.001. Пришлось подправить пару строк начиная с 99ой

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
<?php
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
 
/**
 * Description of CurlMulti
 *
 * @author Dmitriy Bondarenko <TLENS at tlens.ru>
 */
class CurlMulti {
    //put your code here
    /** @var int */
    private $_timeout;
    
    private $_length 0;
    
    /** @var array */
    private $_links = array();
    
    /** @var array */
    private $_callback = array();
    
    /** @var array */
    private $_ch = array();
    
    private $_chm;
    
    public function __construct($timeout 10) {
        $this->_chm curl_multi_init();
        $this->_timeout $timeout;
        $this->_length 0;
        
    }
    public function addLink($link$callback null) {
        if (is_array($link))
        {
            
            foreach ($link as $k=>$v) {
                $this->addLink($v$callback);
            }
            return;
        }
        $this->_links[$this->_length] = $link;
        $this->_callback[$this->_length] = $callback;
        $this->_ch[$this->_length] = curl_init($link.'');
        
        curl_setopt($this->_ch[$this->_length], CURLOPT_HEADERfalse);
        curl_setopt($this->_ch[$this->_length], CURLOPT_RETURNTRANSFERtrue);
        curl_setopt($this->_ch[$this->_length], CURLOPT_TIMEOUT$this->_timeout);
        curl_setopt($this->_ch[$this->_length], CURLOPT_ENCODING ,"");
        if (IP::V6 == $link->getIp()->type()) 
            curl_setopt($this->_ch[$this->_length], CURLOPT_IPRESOLVECURL_IPRESOLVE_V6);
        if ((string)$link->getIp())
            curl_setopt($this->_ch[$this->_length], CURLOPT_INTERFACE, (string)$link->getIp());
        
        switch ($link->scheme()) {
        case 'https':
            curl_setopt($this->_ch[$this->_length], CURLOPT_PORT$link->port() ? $link->port() : '443');
            curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYPEER0);
            curl_setopt($this->_ch[$this->_length], CURLOPT_SSL_VERIFYHOST0);
            break;
        
        case 'http':
            curl_setopt($this->_ch[$this->_length], CURLOPT_PORT$link->port() ? $link->port() : '80');
            break;
        
        default :
            
            break;
        }
        curl_multi_add_handle($this->_chm$this->_ch[$this->_length]);
        
        
        
        $this->_length++;
        
    }
    public function __destruct() {
          foreach($this->_ch as $i=>$ch) {
              curl_multi_remove_handle($this->_chm$this->_ch[$i]);
          }
          curl_multi_close($this->_chm);
          
    }
    public function run () {
        
 
        $rh null;
        /*
        do {
            curl_multi_exec($this->_chm, $rh);
            curl_multi_select($this->_chm);
        } while ($rh > 0);
        */
        $active null;
        do {
            $mrc curl_multi_exec($this->_chm$active);
        } while ($mrc == CURLM_CALL_MULTI_PERFORM);
        
        while ($active && $mrc == CURLM_OK) {
            if (curl_multi_select($this->_chm) != -1) {
                do {
                    $mrc curl_multi_exec($this->_chm$active);
                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
            }
        }
        
        $results = array();
        for ($i 0$i $this->_length$i++) {
            $results[$i] = curl_multi_getcontent($this->_ch[$i]);
            
            if (gettype($this->_callback[$i]) == 'object')
                $this->_callback[$i](
                    $results[$i],
                    curl_getinfo($this->_ch[$i]),
                    curl_error($this->_ch[$i]));
        }
        $this->clear();
        return $results;
    }
    public function clear() {
        //...
    }
}
 
?>

Неактивен

#14 2014.05.21 21:26

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Кстати только что допилил интересный класс для работы.
Теперь загружать данные можно просто как через file_get_contents но переданная ссылка добавляется в стек и начинает асинхронно загружаться вместе со всем стеком только тогда когда какие то данные понадобятся.
Используется он так:

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
<?php
 
$mt microtime(true);
$data = new RemoteData('http://localhost');
$data2 = new RemoteData('http://www.youtube.com');
$data3 = new RemoteData('http://www.google.com');
 
echo (($mt2 microtime(true)) - $mt) . PHP_EOL// 0.00035
echo 'length $data:  'strlen($data) . PHP_EOL;      // length $data:  3015
echo 'length $data2: 'strlen($data2) . PHP_EOL;   // length $data2: 234054
echo 'length $data3: 'strlen($data3) . PHP_EOL;   // length $data3: 48216
 
echo (($mt3 microtime(true)) - $mt2) . PHP_EOL// 0.57928

ну и собственно сам класс)

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
<?php
 
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
 
/**
 * Description of RemoteData
 *
 * @author Dmitriy Bondarenko <TLENS at tlens.ru>
 */
class RemoteData {
    static protected $_stack;
    static protected function load() {
        if (!(sizeof(self::$_stack) > 0))
            return 0;
        $counter 0;
        $loader = new CurlMulti();
        foreach (self::$_stack as $k=>&$handle) {
            
            $loader->addLink($handle->_link, function ($data$info$error) use (&$handle) {
                $handle->_data $data;
                $handle->_info $info;
                $handle->_error $error;
            });
            $counter++;
            unset(self::$_stack[$k]);
            
        }
        $loader->run();
        return $counter;
        
        
    }
    protected $_link null;
    protected $_data null;
    protected $_info null;
    protected $_error null;
    public function __construct($url$eth null) {
        
        $this->_link = new Link($url$eth);
        self::$_stack[] = $this;
    }
    public function getData() {
        if (!$this->init())
            return null;
        return $this->_data;
        
        
    }
    public function getInfo() {
        if (!$this->init())
            return null;
        
        return $this->_info;
    }
    public function getError() {
        if (!$this->init())
            return null;
        
        return $this->_error;
    }
    private function init() {
        return !($this->_info === null && self::load() < 1);
    }
    public function __toString() {
        
        return (string)$this->getData();
    }
    
}
 
 
?>

Неактивен

#15 2014.05.22 12:48

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6538
Карма: 108
Профиль Веб-сайт

Re: Программирование сокетов в php

а класс Link где?
мне кажется архитектура была бы более правильной если бы использование выглядело как-то так:

Код:

1
2
3
4
5
<?php
$processor = new RemoteData();
$processor->add('http://example.com');
$processor->add('http://wapinet.ru');
$processor->load();

Неактивен

#16 2014.05.22 15:08

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Ну собственно архитектура так и выглядит в классе CurlMulti.
А здесь используется агрегирование т.е. RemotData создан для упрощенного использования класса CurlMulti

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
<?php
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
 
/**
 * Description of _Link
 *
 * @author Dmitriy Bondarenko <TLENS at tlens.ru>
 */
class Link {
    /** @var string */
    private $_url;
    /** @var IP */
    private $_bind;
    /** @var string */
    private $_scheme;
    /** @var int */
    private $_port;
    public function __construct($urlIP $bind null) {
        $this->_url $url;
        if (!$bind)
            $this->_bind = new IP();
        else
            $this->_bind $bind;
        
        
        $purl parse_url($url);
        $this->_scheme = @$purl['scheme'];
        $this->_port = @$purl['port'];
    }
    public function __toString() {
        return $this->_url;
    }
    /** @return IP */
    public function getIp() {
        return $this->_bind;
    }
    public function scheme() {
        return $this->_scheme;
    }
    public function port() {
        return $this->_port;
    }
}
 
?>

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
<?php
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
/**
 * Description of IP
 *
 * @author Dmitriy Bondarenko <TLENS at tlens.ru>
 */
class IP {
    const V6 6;
    const V4 4;
    private $_type;
    private $_ip;
    public function __construct($ip null) {
        switch ($ip) {
            case static::V6:
            case static::V4:
                $this->_type $ip;
                $this->_ip = static::randIp($ip);
                break;
            
            default :
                if (false !== strpos($ip':')) {
                    if ($ip filter_var($ipFILTER_VALIDATE_IPFILTER_FLAG_IPV6)) {
                        $this->_type = static::V6;
                        $this->_ip $ip;
                        break;
                    }
                }
                elseif (false !== strpos($ip'.')) {
                    if ($ip filter_var($ipFILTER_VALIDATE_IPFILTER_FLAG_IPV4)) {
                        $this->_type = static::V4;
                        $this->_ip $ip;
                        break;
                    }
                }
                
            
            case null:
                $this->_type = static::V4;
                $this->_ip = static::randIp(static::V4);
                break;
                
            
        }
        
    }
    static private function randIp($type) {
        return '';
    }
    
    public function type() {
        return $this->_type;
    }
    public function ip() {
        return $this->_ip;
    }
    public function __toString() {
        return $this->ip();
    }
}
 
?>

И да слово "правильная" архитектура относительное.
Как тебе вообще такая архитектура?

Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
<?php
class Videos implements ArrayAccess {
 
    // ...
 
    public function moduleGet($keyMod) {
        if ($this->moduleExists($keyMod))
            return $this->_Modules[$keyMod];
        else
            throw new Exception("Cannot module \"$keyMod\"");
    }
    
    
    
    
    
    
    
    
    
    
    
    //--------------------------- MAGIC METHODS ------------------------------//
    public function __get($keyMod) {
        return $this->getModuleKey($keyMod);
    }
    
    public function offsetGet($keyMod) {
        return $this->moduleGet($keyMod);
    }
    public function offsetExists($keyMod) {
        return $this->moduleExists($keyMod);
    }
    public function offsetUnset($keyMod) {
        throw new Exception('Cannot "Unset" to this object');
    }
    public function offsetSet($offset$value) {
        throw new Exception('Cannot be "Set" to this object');
    }
    
    public function moduleExists ($keyMod) {
        return isset($this->_Modules[$keyMod]);
    }
    
}

Можно еще имплементировать от итераторов почему бы и нет. Но мне как то не по приколу этим страдать. Но рахитектура получается довольно таки гибкой и интересной.

Неактивен

#17 2014.05.26 04:13

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Какая то каша получилась у меня. В ходе работы оказалось что он не совсем то и универсальный. В общем переписал все. Закрыл конструктор сделал класс синглтоном. И теперь курлмульти принимает не url а курловские дескрипторы (Разумеется добавил метод  addUrl для дефолтной загрузки) так же отказался от Link и Ip. Еще добавил полезную штуку что бы функция добавления дескриптора возвращала ссылку на ячейку стека куда запишется результат каллбека типо:
$result =& CurlMulti::getInstance()->addUrl('http://example.com', $callback, $callbackError);
В ходе работы с ним заточу данный класс и может на гитхаб закину если будет время.

Неактивен

#18 2014.05.26 21:43

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

И опять столкнулся с проблемой. Нельзя добавлять линки на загрузку из каллбека))

Неактивен

#19 2014.05.26 23:32

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6538
Карма: 108
Профиль Веб-сайт

Re: Программирование сокетов в php

подробнее?

Неактивен

#20 2014.05.27 15:27

TLENS
Moderator
Откуда: Украина
Зарегистрирован: 2009.04.05
Сообщений: 2402
Карма: 14
Профиль

Re: Программирование сокетов в php

Да это проблема в архитектуре стек нужно переделать Просто у меня метод exec после исполнение всех callback функций закрывает все дескрипторы и очищает стеки. И если из каллбека я добавлю в стек какой то дескриптор. То мой мусорщик подумает что он уже загружен и тут же закроет и удалит его. Вместо переделывание класса из-за лени сделал костыль и обошелся без добавления ссылок на загрузку из каллбека. (Пишу что то вроде поискового паука те собираю данные с разных ресурсов)

Неактивен

Дополнительно

forum.wapinet.ru

PunBB Mod v0.6.1
0.023 s