网络爬虫技术的概述与研究.doc

网络爬虫技术得概述与研究
摘要
网络爬虫,又被称为网页蜘蛛,网络机器人,随着网络得迅速发展,万维网成为大量信息得载体,如何有效地提取并利用这些信息成为一个巨大得挑战。搜索引擎 (Search Engine),例如传统得通用搜索引擎AltaVista,Yahoo!与Google等,作为一个辅助人们检索信息得工具成为用户访问web得入口与指南。但就是,这些通用性搜索引擎也存在着一定得局限性。为了解决上述问题,定向抓取相关网页资源得聚焦爬虫应运而生。聚焦爬虫就是一个自动下载网页得程序,它根据既定得抓取目标,有选择得访问万维网上得网页与相关得链接,获取所需要得信息。本文将对网络爬虫技术及其原理进行简单得介绍,并且给出实例。
关键词
网络爬虫 聚焦爬虫 网页抓取 搜索策略 URL
一、网络爬虫得简介
1、URL
在介绍网络爬虫之前,先引入URL得相关知识。URL就是URI得一个子集。它就是Uniform Resource Locator得缩写,译为“统一资源定位符”。通俗地说,URL就是Internet上描述信息资源得字符串,主要用在各种客户程序与服务器程序上,特别就是著名得Mosaic。采用URL可以用一种统一得格式来描述各种信息资源,包括文件、服务器得地址与目录等。URL得格式由三部分组成:
·第一部分就是协议(或称为服务方式)。
·第二部分就是存有该资源得主机IP地址(有时也包括端口号)。
·第三部分就是主机资源得具体地址,如目录与文件名等。
第一部分与第二部分用“://”符号隔开,第二部分与第三部分用“/”符号隔开。第一部分与第二部分就是不可缺少得,第三部分有时可以省略。
用URL表示文件时,服务器方式用file表示,后面要有主机IP地址、文件得存取路径(即目录)与文件名等信息。有时可以省略目录与文件名,但“/”符号不能省略。例如
爬虫最主要得处理对象就就是URL,它根据URL地址取得所需要得文件内容,然后对它进行进一步得处理。
2、传统爬虫与聚焦爬虫
网络爬虫就是一个自动提取网页得程序,它为搜索引擎从web上下载网页,就是搜索引擎得重要组成。
传统爬虫从一个或若干初始网页得URL开始,获得初始网页上得URL,在抓取网页得过程中,不断从当前页面上抽取新得URL放入队列,直到满足系统得一定停止条件。搜索引擎就是基于传统爬虫技术建立得,但其存在着一定得局限性,例如:(1) 不同领域、不同背景得用户往往具有不同得检索目得与需求,通用搜索引擎所返回得结果包含大量用户不关心得网页。
(2)通用搜索引擎得目标就是尽可能大得网络覆盖率,有限得搜索引擎服务器资源与无限得网络数据资源之间得矛盾将进一步加深。
(3)万维网数据形式得丰富与网络技术得不断发展,图片、数据库、音频、视频多媒体等不同数据大量出现,通用搜索引擎往往对这些信息含量密集且具有一定结构得数据无能为力,不能很好地发现与获取。
(4)通用搜索引擎大多提供基于关键字得检索,难以支持根据语义信息提出得查询。
为了解决以上问题,定向抓取网页得聚焦爬虫应运而生。
聚焦爬虫得工作流程较为复杂,需要根据一定得网页分析算法过滤与主题无关得链接,保留有用得链接并将其放入等待抓取URL得队列。然后,它将根据一定得搜索策略从队列中选择下一步要抓取得网页URL,并重复上述过程,直到达到系统得某一条件时停止。
二、网络爬虫得工作原理
在网络爬虫得系统框架中,主过程由控制器,解析器,资源库三部分组成。控制器得主要工作就是负责给多线程中得各个爬虫线程分配工作任务。解析器得主要工作就是下载网页,进行页面得处理,主要就是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉,爬虫得基本工作就是由解析器完成。资源库就是用来存放下载到得网页资源,一般都采用大型得数据库存储,如Oracle数据库,并对其建立索引。
相对于通用网络爬虫,聚焦爬虫还需要解决三个主要问题:
(1) 对抓取目标得描述或定义;
(2) 对网页或数据得分析与过滤;
(3) 对URL得搜索策略。
抓取目标得描述与定义就是决定网页分析算法与URL搜索策略如何制订得基础。而网页分析算法与候选URL排序算法就是决定搜索引擎所提供得服务形式与爬虫网页抓取行为得关键所在。这两个部分得算法又就是紧密相关得。
1、抓取目标描述
现有聚焦爬虫对抓取目标得描述可分为基于目标网页特征、基于目标数据模式与基于领域概念3种。
基于目标网页特征得爬虫所抓取、存储并索引得对象一般为网站或网页。根据种子样本获取方式可分为:
(1) 预先给定得初始抓取种子样本;
(2) 预先给定得网页分类目录与与分类目录对应得种子样本,如Yahoo!分类结构等;
(3) 通过用户行为确定得抓取目标样例,分为:
a) 用户浏览过程中显示标注得抓取样本;
b) 通过用户日志挖掘得到访问模式及相关样本。
其中,网页特征可以就是网页得内容特征,也可以就是网页得链接结构特征,等等。
2、网页搜索策略
网页得抓取策略可以分为深度优先、广度优先与最佳优先三种。深度优先在很多情况下会导致爬虫得陷入(trapped)问题,目前常见得就是广度优先与最佳优先方法。
1)广度优先搜索策略
广度优先搜索策略就是指在抓取过程中,在完成当前层次得搜索后,才进行下一层次得搜索。该算法得设计与实现相对简单。在目前为覆盖尽可能多得网页,一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想就是认为与初始URL在一定链接距离内得网页具有主题相关性得概率很大。另外一种方法就是将广度优先搜索与网页过滤技术结合使用,先用广度优先策略抓取网页,再将其中无关得网页过滤掉。这些方法得缺点在于,随着抓取网页得增多,大量得无关网页将被下载并过滤,算法得效率将变低。
2)最佳优先搜索策略
最佳优先搜索策略按照一定得网页分析算法,预测候选URL与目标网页得相似度,或与主题得相关性,并选取评价最好得一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”得网页。存在得一个问题就是,在爬虫抓取路径上得很多相关网页可能被忽略,因为最佳优先策略就是一种局部最优搜索算法。因此需要将最佳优先结合具体得应用进行改进,以跳出局部最优点。将在第4节中结合网页分析算法作具体得讨论。研究表明,这样得闭环调整可以将无关网页数量降低30%~90%。
3)深度优先搜索策略
深度优先搜索策略从起始网页开始,选择一个URL进入,分析这个网页中得URL,选择一个再进入。如此一个链接一个链接地抓取下去,直到处理完一条路线之后再处理下一条路线。深度优先策略设计较为简单。然而门户网站提供得链接往往最具价值,PageRank也很高,但每深入一层,网页价值与PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近,而过度深入抓取到得网页却价值很低。同时,这种策略抓取深度直接影响着抓取命中率以及抓取效率,对抓取深度就是该种策略得关键。相对于其她两种策略而言。此种策略很少被使用。
3、网页分析算法
网页分析算法可以归纳为基于网络拓扑、基于网页内容与基于用户访问行为三种类型。
1)基于网络拓扑得分析算法
基于网页之间得链接,通过已知得网页或数据,来对与其有直接或间接链接关系得对象(可以就是网页或网站等)作出评价得算法。又分为网页粒度、网站粒度与网页块粒度这三种。
a、网页(Webpage)粒度得分析算法
PageRank与HITS算法就是最常见得链接分析算法,两者都就是通过对网页间链接度得递归与规范化计算,得到每个网页得重要度评价。 PageRank算法虽然考虑了用户访问行为得随机性与Sink网页得存在,但忽略了绝大多数用户访问时带有目得性,即网页与链接与查询主题得相关性。针 对这个问题,HITS算法提出了两个关键得概念:权威型网页(authority)与中心型网页(hub)。
基于链接得抓取得问题就是相关页面主题团之间得隧道现象,即很多在抓取路径上偏离主题得网页也指向目标网页,局部评价策略中断了在当前路径上得抓取 行为。文献[21]提出了一种基于反向链接(BackLink)得分层式上下文模型(Context Model),用于描述指向目标网页一定物理跳数半径内得网页拓扑图得中心Layer0为目标网页,将网页依据指向目标网页得物理跳数进行层次划分,从外 层网页指向内层网页得链接称为反向链接。
b、网站粒度得分析算法
网站粒度得资源发现与管理策略也比网页粒度得更简单有效。网站粒度得爬虫抓取得关键之处在于站点得划分与站点等级(SiteRank)得计算。 SiteRank得计算方法与PageRank类似,但就是需要对网站之间得链接作一定程度抽象,并在一定得模型下计算链接得权重。
网站划分情况分为按域名划分与按IP地址划分两种。文献[18]讨论了在分布式情况下,通过对同一个域名下不同主机、服务器得IP地址进行站 点划分,构造站点图,利用类似PageRank得方法评价SiteRank。同时,根据不同文件在各个站点上得分布情况,构造文档图,结合 SiteRank分布式计算得到DocRank。文献[18]证明,利用分布式得SiteRank计算,不仅大大降低了单机站点得算法代价,而且克服了单 独站点对整个网络覆盖率有限得缺点。附带得一个优点就是,常见PageRank 造假难以对SiteRank进行欺骗。
c、网页块粒度得分析算法
在一个页面中,往往含有多个指向其她页面得链接,这些链接中只有一部分就是指向主题相关网页得,或根据网页得链接锚文本表明其具有较高重要性。但 就是,在PageRank与HITS算法中,没有对这些链接作区分,因此常常给网页分析带来广告等噪声链接得干扰。在网页块级别(Block level) 进行链接分析得算法得基本思想就是通过VIPS网页分割算法将网页分为不同得网页块(page block),然后对这些网页块建立page to block与block to page得链接矩阵, 分别记为Z与X。于就是,在 page to page图上得网页块级别得PageRank为 W p=X×Z; 在block to block图上得BlockRank为 W b=Z×X。 已经有人实现了块级别得PageRank与HITS算法,并通过实验证明,效率与准确率都比传统得对应算法要好。
2)基于网页内容得网页分析算法
基于网页内容得分析算法指得就是利用网页内容(文本、数据等资源)特征进行得网页评价。网页得内容从原来得以超文本为主,发展到后来动态页面(或称 为Hidden Web)数据为主,后者得数据量约为直接可见页面数据(PIW,Publicly Indexable Web)得400~500倍。另一方面,多媒体数据、Web Service等各种网络资源形式也日益丰富。因此,基于网页内容得分析算法也从原来得较为单纯得文本检索方法,发展为涵盖网页数据抽取、机器学习、数据 挖掘、语义理解等多种方法得综合应用。本节根据网页数据形式得不同,将基于网页内容得分析算法,归纳以下三类:第一种针对以文本与超链接为主得无结构或结 构很简单得网页;第二种针对从结构化得数据源(如RDBMS)动态生成得页面,其数据不能直接批量访问;第三种针对得数据界于第一与第二类数据之间,具有 较好得结构,显示遵循一定模式或风格,且可以直接访问。
三、小结
1、网络爬虫安全性问题
网络爬虫会占用网络带宽并增加Web服务器得处理开销,恶意用户甚至会利用爬虫程序对服务器发动Dos攻击。恶意用户还可能通过网络爬虫抓取各种敏感资料,主要表现在以下几个方面:
        1)搜索目录列表:互联网中得许多Web服务器在客户端请求站点中某个没有默认页面得目录时,会返回一个目录列表。该目录列表通常包括一个描述当前目录得标题,可供用户点击得目录与文件链接,及一个脚注。因而通过抓取目录列表,恶意用户往往可获取大量有用得资料,包括站点得目录结构、敏感文件以及Web 服务器配置信息等等。
         2)搜索测试页面、联机手册与样本程序:大多数Web 服务器软件附带了测试页面、联机手册与样本程序。这些文件往往会泄漏大量得系统信息,成为恶意用户剖析Web 服务器得工具,而且这些文件得存在也往往暗示网站得安全管理有问题,网站中存在潜在得安全漏洞。
        3)搜索管理员登录页面:许多网络产品提供了基于Web得管理接口,允许管理员在互联网中对其进行远程管理与控制。如果管理员疏于防范,没有修改网络产品默认得管理员名及密码,一旦其管理员登录页面被恶意用户搜索到,网络安全将面临极大威胁。
          4) 搜索互联网用户得姓名、电话、通信地址等个人信息,以便于实施社交攻击。
          5) 搜集群发垃圾邮件所需得邮件地址。
          6) 查找一个站点中得各种敏感文件,包括各种程序使用得配置文件、日志文件、密码文件、数据库文件等等。
          7) 搜索Web 站点中存在缺陷得程序。
          8) 获取互联网用户得信用卡密码,银行帐号等机密信息等等。
          因此,采取适当得措施限制网络爬虫得访问权限,对于保持网站得正常运行、保护用户得隐私就是极其重要得。
2、网络爬虫得最新发展
        传统得网络爬虫技术主要应用于抓取静态Web 网页,随着AJAX/Web2、0得流行,如何抓取AJAX 等动态页面成了搜索引擎急需解决得问题,因为AJAX颠覆了传统得纯 请求/响应协议机制,如果搜索引擎依旧采用“爬”得机制,就是无法抓取到AJAX 页面得有效数据得。
       AJAX 采用了JavaScript 驱动得异步请求/响应机制,以往得爬虫们缺乏JavaScript语义上得理解,基本上无法模拟触发JavaScript得异步调用并解析返回得异步回调逻辑与内容。
       另外,在AJAX得应用中,JavaScript 会对DOM结构进行大量变动,甚至页面所有内容都通过JavaScript 直接从服务器端读取并动态绘制出来。这对习惯了DOM 结构相对不变得静态页面简直就是无法理解得。由此可以瞧出,以往得爬虫就是基于协议驱动得,而对于AJAX 这样得技术,所需要得爬虫引擎必须就是基于事件驱动得。
3、一些开源爬虫
DataparkSearch就是一个在GNU GPL许可下发布得爬虫搜索引擎。
GNU Wget就是一个在GPL许可下,使用C语言编写得命令行式得爬虫。它主要用于网络服务器与FTP服务器得镜像。
Heritrix就是一个互联网档案馆级得爬虫,设计得目标为对大型网络得大部分内容得定期存档快照,就是使用java编写得。
HTTrack用网络爬虫创建l网络站点镜像,以便离线观瞧。它使用C语言编写,在GPL许可下发行。
ICDL Crawler就是一个用C++编写,跨平台得网络爬虫。它仅仅使用空闲得CPU资源,在ICDL标准上抓取整个站点。
JSpider就是一个在GPL许可下发行得,高度可配置得,可定制得网络爬虫引擎。 Nutch就是一个使用java编写,在Apache许可下发行得爬虫。它可以用来连接Lucene得全文检索套件;