ThinkPHP Http工具类（用于远程采集 远程下载） phpSimpleHtmlDom采集类库_Jquery筛选方式 使用phpQuery轻松采集网页内容http://www.thinkphp.cn/extend/541.html

[php]代码库

}

JQERUY方式筛选采集内容,相信很多大牛都知道这个类库,可自学出身的我还是找了N久,phpquery,Snoopy等一遍一遍尝试,最后才在无意中找到phpSimpleHtmlDom,更让人惊喜的是又找到了中文手册.
一个人的学习,漫长而又艰辛,真希望有时候能得到指点,不至于让时间无辜的流失.

基础代码获取网页建议用CURL,附加POST数据可以登陆后采集

1. <?php
2. require_once('./simple_html_dom.php');
3. 
   
4. $url='http://www.w3cschool.cc/';
5. $Curl=curl_init();//实例化cURL
6. curl_setopt($Curl, CURLOPT_URL, $url);//初始化路径
7. curl_setopt($Curl, CURLOPT_RETURNTRANSFER, 1);//0获取后直接打印出来
8. curl_setopt($Curl, CURLOPT_HEADER, 1);//0关闭打印相应头,直接打印需为1,
9. $result=curl_exec($Curl);//执行一个cURL会话
10. curl_close($Curl);//关闭cURL会话
11. 
    
12. $html = str_get_html($result);//创建DOM
13. foreach($html->find('#leftcolumn a') as $element) {
14.     echo $element->href . '<br>';//获取URL
15.        echo $element->plaintext . '<br>';//获取纯文本
16. }
17. 
    
18. $html->clear(); 
19. unset($html);

中文手册(作者: S.C. Chen):
http://www.ecartchina.com/php-simple-html-dom/index.htm

采集淘宝测试

1.     require_once('simple_html_dom.php');
2.     ini_set("time_limit","0");
3.     ini_set("memory_limit","512M");
4.     $memory=memory_get_usage();
5.     echo 'memory:'.($memory/1024).'KB<br/>';
6.     echo 'time:'.date('H:i:s',time()).'<br/>';
7. 
   
8. function curl_get_content($url){
9.     $Curl=curl_init();//实例化cURL
10.     curl_setopt($Curl, CURLOPT_URL, $url);//初始化路径
11.     curl_setopt($Curl, CURLOPT_RETURNTRANSFER, 1);//0获取后直接打印出来
12.     curl_setopt($Curl, CURLOPT_HEADER, 0);//0关闭打印相应头,直接打印需为1,
13.     $result=curl_exec($Curl);//执行一个cURL会话
14.     curl_close($Curl);//关闭cURL会话
15.     return $result;
16. }
17. 
    
18.     $cateUrl='http://the-seventh-sense.taobao.com/';
19.     $cateCon=curl_get_content($cateUrl);
20.     $cateHtml = str_get_html($cateCon);//创建DOM
21.     $CateList=array();
22.     $i=0;
23.     foreach($cateHtml->find('.J_TAllCatsTree li .fst-cat-hd a[href*=category]') as $element) {
24.         $CateList[$i]['url']=urldecode($element->href);//获取URL
25.         $CateList[$i]['name']=$element->plaintext;//获取纯文本
26.         $i++;
27.     }
28.     $cateHtml->clear();
29.     unset($cateHtml);
30. 
    
31.     $i=0;
32.     foreach ($CateList as $goodsUrl) {
33.         $goodsCon=curl_get_content($goodsUrl['url']);
34.         $goodsHtml = str_get_html($goodsCon);//创建DOM
35.         $goodsBlock=$goodsHtml->find('.shop-hesper-bd .item');
36.         foreach($goodsBlock as $goodsElement ) {
37.             $goodsList[$i]['name']=$goodsElement->find(".detail .item-name",0)->plaintext;
38.             $goodsList[$i]['price']=$goodsElement->find(".detail .c-price",0)->plaintext;
39.             $goodsList[$i]['img']=$goodsElement->find(".photo a img",0)->src;
40.             $goodsList[$i]['catename']=$goodsUrl['name'];
41.             $i++;
42.         }
43.         $goodsHtml->clear();
44.         unset($goodsHtml);
45.     }
46. 
    
47.     echo '<hr/>';
48. 
    
49.     $n1=count($CateList);
50.     $n2=count($goodsList);
51.     echo '采集'.$n1.'条栏目'.$n2.'个商品<br/>';
52. 
    
53.     $memory=memory_get_usage();
54.     echo 'memory:'.($memory/1024).'KB<br/>';
55.     echo 'time:'.date('H:i:s',time()).'<br/>';

beginmemory:971.953125KB
begintime:05:30:19
overmemory:1352.890625KB
overtime:05:30:39
耗时20s,成功采集9个栏目127个商品

include 'phpQuery/phpQuery.php'; 
phpQuery::newDocumentFile('http://news.sina.com.cn/china'); 
echo pq(".blkTop h1:eq(0)")->html(); 

include 'phpQuery/phpQuery.php'; 
phpQuery::newDocumentFile('http://www.helloweba.com/blog.html'); 
$artlist = pq(".blog_li"); 
foreach($artlist as $li){ 
   echo pq($li)->find('h2')->html().""; 
} 

<?xml version="1.0" encoding="utf-8"?> 
<root> 
  <contact> 
     <name>张三</name> 
     <age>22</age> 
  </contact> 
  <contact> 
     <name>王五</name> 
     <age>18</age> 
  </contact> 
</root> 

include 'phpQuery/phpQuery.php'; 
phpQuery::newDocumentFile('test.xml'); 
echo pq('contact > age:eq(0)');