计算机应用研究

作者：潘晓英,陈柳,余慧敏,赵逸喆,肖康泞,

单位：西安邮电大学a.计算机学院;b.陕西省网络数据分析与智能处理重点实验室,西安710121；

关键词：网络爬虫,主题爬虫,相似度,网页内容,链接分析,

基金：国家自然科学基金资助项目(61373116)；；

随着移动互联网的普及以及网络信息指数的增长，如何有效地提取和利用这些信息面临巨大挑战。介绍了主题爬虫的工作原理、分类；回顾了近年来国内外关于主题爬虫的研究状况，分析了各种主题相似度的方法以及搜索策略，得出相比于普通的爬虫系统，基于网页内容和基于链接分析的爬虫系统的查准率、查全率都大幅提升；最后分析比较了主题网络爬虫两种动态搜索策略并指出了未来研究方向。

来源：2020年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2020年第4期