我有一个问题curl_multi_ * ,我想创建一个类/函数接收,可以说1000个网址,并在同一时间处理所有这些网址5,所以当一个URL下载完毕后,将分配现已插槽即尚未处理的新网址。
我见过一些 实现 curl_multi的,但他们都不让我做我想做的,我认为解决之道在于在使用某个curl_multi_select但文档不是很清晰,用户音符不太多帮助。
任何人都可以请我提供一些例子我怎么能实现这样的功能?
我有一个问题curl_multi_ * ,我想创建一个类/函数接收,可以说1000个网址,并在同一时间处理所有这些网址5,所以当一个URL下载完毕后,将分配现已插槽即尚未处理的新网址。
我见过一些 实现 curl_multi的,但他们都不让我做我想做的,我认为解决之道在于在使用某个curl_multi_select但文档不是很清晰,用户音符不太多帮助。
任何人都可以请我提供一些例子我怎么能实现这样的功能?
下面是做到这一点的方法之一。 这个脚本会在一个时间内获取任意数量的网址,并添加一个新的,因为每个完成(所以它总是取$ maxConcurrent页)。
$sites = array('http://example.com', 'http://google.com', 'http://stackoverflow.com');
$concurrent = 2; // Any number.
$mc = new MultiCurl($sites, $concurrent);
$mc->process();
echo '</pre>';
class MultiCurl
{
private $allToDo;
private $multiHandle;
private $maxConcurrent = 2;
private $currentIndex = 0;
private $info = array();
private $options = array(CURLOPT_RETURNTRANSFER => true,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_MAXREDIRS => 3,
CURLOPT_TIMEOUT => 3);
public function __construct($todo, $concurrent)
{
$this->allToDo = $todo;
$this->maxConcurrent = $concurrent;
$this->multiHandle = curl_multi_init();
}
public function process()
{
$running = 0;
do {
$this->_addHandles(min(array($this->maxConcurrent - $running, $this->_moreToDo())));
while ($exec = curl_multi_exec($this->multiHandle, $running) === -1) {
}
curl_multi_select($this->multiHandle);
while ($multiInfo = curl_multi_info_read($this->multiHandle, $msgs)) {
$this->_showData($multiInfo);
curl_multi_remove_handle($this->multiHandle, $multiInfo['handle']);
curl_close($multiInfo['handle']);
}
} while ($running || $this->_moreTodo());
return $this;
}
private function _addHandles($num)
{
while ($num-- > 0) {
$handle = curl_init($this->allToDo[$this->currentIndex]);
curl_setopt_array($handle, $this->options);
curl_multi_add_handle($this->multiHandle, $handle);
$this->info[$handle]['url'] = $this->allToDo[$this->currentIndex];
$this->currentIndex++;
}
}
private function _moreToDo()
{
return count($this->allToDo) - $this->currentIndex;
}
private function _showData($multiInfo)
{
$this->info[$multiInfo['handle']]['multi'] = $multiInfo;
$this->info[$multiInfo['handle']]['curl'] = curl_getinfo($multiInfo['handle']);
//print_r($this->info[$multiInfo['handle']]);
$content = curl_multi_getcontent($multiInfo['handle']);
echo $this->info[$multiInfo['handle']]['url'] . ' - ' . strlen($content) . ' bytes<br />';
//echo htmlspecialchars($content);
}
}