各种语言写网络爬虫有什么优点缺点?

发布日期:2021-08-13 19:04    点击次数:172

回答1:

反对 @Kenneth ,他见过的爬虫太少了首先取决于目的如果是一个站点,单一目的,用习惯的语言写吧,学别的语言用的时间都够重构两遍的了。如果是有100左右的站点,做个框架,把你的爬虫管理起来,比起怎么写更重要。ok,以上两个都是 “手动” 写模板的(当然,我们会有一些小插件等辅助工具)。手动写模板的好处是:当站点不多的时候——快,灵活。在这样的场景和目的下,选择你习惯的语言,有最多页面解析和 HTTP 请求支持的库的语言最好。比如 python,java。注意,这么选择的唯一原因是启动成本高于编写成本当你面临的是1000个站点这个量级的时候,可能你需要编写一个模板生成器,比如 Kimono : Turn websites into structured APIs from your browser in seconds当你面临的是 1w 个站点以上,但是是同一类型的站点,可能你需要自动模板挖掘。在这个阶段,算法更重要,所以代码编写的便利程度决定你的选择。当然,当算法稳定之后,就变成下面那个问题了。当你面临的是每天几十亿的网页,来一次全量计算算一周,每个页面需要提取标题,主图,发布时间,网页分块,页面价值。不可能有人给他们写“脚本”,配模板。大量的建树,分词,机器学习,打分,follow 链接质量预测,筛选。占用大量的计算。这个阶段,计算速度就非常重要了,除非你能说服老大,给你加几千台机器。相对于这样的需求,重新编写所有基础组件都可以。语言的选择就会选择执行速度快的了。需要说明的一点是,灵活度,或者说抽取准确性,从上到下是依次递减的。PM也不会要求你能对几百亿的网站准确抽取每个字段对吧。最后说一下抓取的问题。调度抓取对于每个爬虫都是必要的,但却没什么好说的,不同量级自然有不同的做法,但是这样的系统一般目的明确,少包依赖,不需要你不断修改。并且在架构中,往往可以是独立组件,和下游是不同语言都行,爱用什么写用什么写。。对于机房带宽来说,下行基本是没人用的,只要你和对方网站愿意,抓取速度不是瓶颈。反而,计算对方压力,筛选重复,高质链接更重要。而这又反过来带来了计算的压力。

回答2:

用PHP做爬虫相当简单,稍微学习下simple_html_dom.php这个库就可以分析DOM了.比如抓取PHP官网首页新闻插入数据库并在Web上显示只需几行代码:
<?php
// php -S 127.0.0.1:8181 -t /home/eechen/www/
// http://127.0.0.1:8181/index.php
$file = '/home/eechen/data.db3';
$ddl = 'BEGIN; CREATE TABLE IF NOT EXISTS test (id INTEGER PRIMARY KEY AUTOINCREMENT, title VARCHAR(200), content TEXT, time VARCHAR(20)); COMMIT;';
if(!file_exists($file)) { $db = new PDO('sqlite:'.$file); $db->exec($ddl); } else { $db = new PDO('sqlite:'.$file); }

require dirname(__FILE__).'/simple_html_dom.php';
$html = file_get_html('http://cn2.php.net');
$db->beginTransaction();
foreach($html->find('article.newsentry') as $v) {
	$title = trim($v->find('h2.newstitle', 0)->plaintext);
	$content = trim($v->find('div.newscontent', 0)->plaintext);
	$time = trim($v->find('time', 0)->plaintext);
	$stmt = $db->prepare("INSERT INTO test (title, content, time) VALUES (?, ?, ?)");
	$stmt->execute(array($title, $content, $time));
	$stmt = null;
}
$db->commit();

header('Content-Type: text/plain; charset=utf-8');
var_export($db->query("SELECT * FROM test")->fetchAll(PDO::FETCH_ASSOC));
$dbh = null;
另外PHP用libcurl库提供的curl_multi也能并行发出多个HTTP请求:
https://my.oschina.net/eechen/blog/745224
接口1: php -S 127.0.0.1:8080 -t /home/eechen/www
接口2: php -S 127.0.0.2:8080 -t /home/eechen/www
/home/eechen/www/index.php:
<?php
header('Content-Type: application/json; charset=utf-8');
echo json_encode(array('SERVER_NAME' => $_SERVER['SERVER_NAME']));
//串行访问需要sum(2,1)秒,并行访问需要max(2,1)秒.
($_SERVER['SERVER_NAME'] == '127.0.0.1') ? sleep(2) : sleep(1);
?>

并行发出多个请求:
<?php
$url[] = 'http://127.0.0.1:8080';
$url[] = 'http://127.0.0.2:8080';
$mh = curl_multi_init();
foreach($url as $k => $v) {
	$ch[$k] = curl_init($v);
	curl_setopt($ch[$k], CURLOPT_HEADER, 0); //不输出头
	curl_setopt($ch[$k], CURLOPT_RETURNTRANSFER, 1); //exec返回结果而不是输出,用于赋值
	curl_multi_add_handle($mh, $ch[$k]); //决定exec输出顺序
}
$running = null;
$starttime = microtime(true);
//执行批处理句柄(类似pthreads多线程里的start开始和join同步)
do {
	//CURLOPT_RETURNTRANSFER如果为0,这里会直接输出获取到的内容.
	//如果为1,后面可以用curl_multi_getcontent获取内容.
	curl_multi_exec($mh, $running); 
	//阻塞直到cURL批处理连接中有活动连接,不加这个会导致CPU负载超过90%.
	curl_multi_select($mh);
} while ($running > 0);
echo microtime(true) - $starttime."\n"; //耗时约2秒
foreach($ch as $v) {
	$json[] = curl_multi_getcontent($v);
	curl_multi_remove_handle($mh, $v);
}
curl_multi_close($mh);
var_export($json); 
//输出:
2.0015449523926
array (
  0 => '{"SERVER_NAME":"127.0.0.1"}',
  1 => '{"SERVER_NAME":"127.0.0.2"}',
)
当然,也可以使用PHP的多线程扩展pthreads用多线程实现并行发起多个请求,不过必须要求使用线程安全版本PHP.另外鸟哥的Yar扩展也支持并行调用,不过是用作PHP RPC的.因为PHP内置了SQLite数据库,所以存储起来很方便.又因为PHP内置了HTTP服务器,所以展示起来也很方便.
建立HTTP服务:
php -S 127.0.0.1:8080 -t /www
打开浏览器访问:
xdg-open http://127.0.0.1:8080



热点资讯

相关资讯



Powered by 草莓秋葵芭乐绿巨人18岁,绿巨人app,绿巨人视频 @2013-2022 RSS地图 HTML地图