PHP采集工具之Querylist

composer require jaeger/querylist

<?php

use QL\QueryList;

//采集某页面所有的图片

$data = QueryList::get('http://cms.querylist.cc/bizhi/453.html')->find('img')->attrs('src');

//打印结果

print_r($data->all());

//采集某页面所有的超链接和超链接文本内容

//可以先手动获取要采集的页面源码

$html = file_get_contents('http://cms.querylist.cc/google/list_1.html');

//然后可以把页面源码或者HTML片段传给QueryList

$data = QueryList::html($html)->rules([  //设置采集规则

    // 采集所有a标签的href属性

    'link' => ['a','href'],

    // 采集所有a标签的文本内容

    'text' => ['a','text']

])->query()->getData();

//打印结果

print_r($data->all());

/**

 * 在线测试采集并查看采集结果:http://querylist.cc/querylist-test
 */

<?php

// 采集该页面[正文内容]中所有的图片

$data = QueryList::get('http://cms.querylist.cc/bizhi/453.html')->find('.post_content img')->attrs('src');

//打印结果

print_r($data->all());

// 采集该页面文章列表中所有[文章]的超链接和超链接文本内容

$data = QueryList::get('http://cms.querylist.cc/google/list_1.html')->rules([

    'link' => ['h2>a','href','',function($content){

        //利用回调函数补全相对链接

        $baseUrl = 'http://cms.querylist.cc';

        return $baseUrl.$content;

    }],

    'text' => ['h2>a','text']

])->range('.cate_list li')->query()->getData();

//打印结果

print_r($data->all());

<?php

/**

 * 下面来完整的演示采集一篇文章页的文章标题、发布日期和文章内容并实现图片本地化
 */

 //引入自动加载文件

require 'vendor/autoload.php';

use QL\QueryList;

//需要采集的目标页面

$page = 'http://cms.querylist.cc/news/566.html';

//采集规则

$reg = [

    //采集文章标题

    'title' => ['h1','text'],

    //采集文章发布日期,这里用到了QueryList的过滤功能，过滤掉span标签和a标签

    'date' => ['.pt_info','text','-span -a',function($content){

        //用回调函数进一步过滤出日期

        $arr = explode(' ',$content);

        return $arr[0];

    }],

    //采集文章正文内容,利用过滤功能去掉文章中的超链接，但保留超链接的文字，并去掉版权、JS代码等无用信息

    'content' => ['.post_content','html','a -.content_copyright -script']

];

$rang = '.content';

$ql = QueryList::get($page)->rules($reg)->range($rang)->query();

$data = $ql->getData(function($item){

  //利用回调函数下载文章中的图片并替换图片路径为本地路径

  //使用本例请确保当前目录下有image文件夹，并有写入权限

  $content = QueryList::html($item['content']);

  $content->find('img')->map(function($img){

      $src = 'http://cms.querylist.cc'.$img->src;

      $localSrc = 'image/'.md5($src).'.jpg';

      $stream = file_get_contents($src);

      file_put_contents($localSrc,$stream);

      $img->attr('src',$localSrc);

  });

  $item['content'] = $content->find('')->html();

  return $item;

});

//打印结果

print_r($data->all());

<?php

require 'vendor/autoload.php';

use QL\QueryList;

$ql = QueryList::get('https://blog.eirds.cn/');

//获取所有h2标签下的a标签的文本

$data = $ql->find('h2>a')->texts();

print_r($data->all());

//获取所有<span>标签下文本

$data = $ql->find('span')->texts();

print_r($data->all());