首页 > SEO优化 > 你做SEO!知道网络爬虫的分类吗?是什么

你做SEO!知道网络爬虫的分类吗?是什么

2018-11-17 SEO推广 SEO优化 0人评论 15095

 

  相信SEO工作者对网络爬虫都不陌生,都知道这是一种虚拟的虫子,是搜索引擎获取信息的程序。因此深入地了解网络爬虫,对SEO工作的帮助是很有帮助的。网站推广工作者告诉大家,网络爬虫有多种不同的分类,各有特点。接下来他就为大家简单介绍一下。


你做SEO!知道网络爬虫的分类吗?是什么  SEO优化  第1张

   1、通用网络爬虫

   通用网络爬虫,又称为“全网爬虫”,从一些种子网站开始爬行,逐步扩展到整个互联网。通用网络爬虫策略,就是深度优先策略和广度优先策略。


   2、聚焦网络爬虫

   聚焦网络爬虫,又称为“主题网络爬虫”,预先选择一个(或几个)相关主题,仅爬行并抓取这一类的相关页面。聚焦网络爬虫策略,聚焦网络爬虫增加了链接和内容评价模块,所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。


   3、增量式网络爬虫

   增量式网络爬虫,是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。增量式网络爬虫策略,包括广度优先策略和Page Rank优先策略等。


   4、Deep Web爬虫

   搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”,某些不能通过静态链接获得的页面称之为“深层网页”,Deep Web爬虫就是抓取深层网页的爬虫体系。


   相信通过网站推广工作者对网络爬虫的分类的介绍,大家一定对网络爬虫更加了解了。

标签:

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

官方微信公众号
70755559
09:00 - 22:00
QQ客服: 70755559
客服邮箱: 678128@qq.com