内容简介：前几天给大家分享了网络爬虫中深度优先算法的介绍及其代码实现过程，没来得及上车的小伙伴们可以戳这篇文章——广度优先算法和深度优先算法恰好相反，这里继续以上图的二叉树为例。广度优先算法的主要思想是首先从顶级域名A开始，之后从中提取出两个链接B和C，待链接B抓取完成之后，下一个要抓取的链接则是链接B的同级兄弟链接C，而不是说抓取完成链接B之后，立马往下去抓取子链接C或D。待C抓取完成之后，再返回去继续抓取兄弟链接B下的子链接D或者E，尔后再返回去抓取C链接下的兄弟链接F、G、H，以此类推。
前几天给大家分享了网络爬虫中深度优先算法的介绍及其代码实现过程，没来得及上车的小伙伴们可以戳这篇文章—— 浅谈网络爬虫中深度优先算法和简单代码实现 。今天小编给大家分享网络爬虫中广度优先算法的介绍及其代码实现过程。
广度优先算法和深度优先算法恰好相反，这里继续以上图的二叉树为例。广度优先算法的主要思想是首先从顶级域名A开始，之后从中提取出两个链接B和C，待链接B抓取完成之后，下一个要抓取的链接则是链接B的同级兄弟链接C，而不是说抓取完成链接B之后，立马往下去抓取子链接C或D。待C抓取完成之后，再返回去继续抓取兄弟链接B下的子链接D或者E，尔后再返回去抓取C链接下的兄弟链接F、G、H，以此类推。
从面上看去，广度优先算法是一种以分层的方式进行抓取的策略。首先将第一层的节点抓取完成，尔后抓取第二层的节点，再是依次抓取第三层的节点，以此类推，直到抓取完毕或者达到既定的抓取条件为止。可以认为广度优先算法是一种按照层次的方法进行遍历，所以也被称为宽度优先算法。理解好广度优先算法之后，再来看上图，可以得到该二叉树呈现的爬虫抓取链接的顺序依次为：A、B、C、D、E、F、G、H 、I（这里假设左边的链接先会被爬取）。通过上面的理解，我们可以认为到广度优先算法本质上是通过队列的方式来进行实现的。
下图展示的是广度优先算法的代码实现过程。
最开始传入一个顶节点node（链接A），然后判断节点是否非空，如果为空，则返回，反之非空的话，则将其放入到一个队列列表中，然后开始进行循环。对队列列表中的元素（此时只有节点A）使用pop()方法将其进行取出，然后将该节点的数据进行打印。将节点打印完成之后，看看其是否存在左节点（链接B）和右节点（链接C），如果左节点非空的话，则得到新的左节点（链接B），将其放入到队列列表中去。尔后程序继续往下执行，右节点的实现过程亦是如此，此时将得到右节点（链接C），将其也放入到队列列表中去。此时队列列表中的元素有链接B和链接C，之后再次进行新一轮的循环。通过这种方式，我们便实现了广度优先算法中的分层抓取链接的过程。这个逻辑相对于深度优先算法来说，更为简单。
深度优先算法和广度优先算法是数据结构里边非常重要的一种算法结构，也是非常常用的一种算法，而且在面试过程中也是非常常见的一道面试题，所以建议大家都需要掌握它。
关于网络爬虫中广度优先算法的简单介绍就到这里了，小伙伴们get到木有咧？
本文由dcpeng 创作，采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者，并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。
以上所述就是小编给大家介绍的《浅谈网络爬虫中广度优先算法和代码实现》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
大数据技术原理与应用
林子雨 / 人民邮电出版社 / 2015-8-1 / 45.00
大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注。大数据处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业，都融入了大数据的印迹，大数据对人类的社会生产和生活必将产生重大而深远的影响。 大数据时代的到来，迫切需要高校及时建立大数据技术课程体系，为社会培养和输送一大批具备大数据专业素养的高级人才，满足社会对大数据人才日益旺盛的需求。本书定......一起来看看 《大数据技术原理与应用》 这本书的介绍吧!
