内容简介：最近对赚钱的话题很感兴趣，在知乎上关注了很多“赚钱”相关的问题，高质量的有不少，但是夹杂着私货的也不少。不过知乎的数据比较全，我们完全可以用来做文本分析。爬虫的原理我就不细讲了，如果大家对爬虫的原理和相关库不甚了解，又想快速入门，不妨看看我们这门课。问题：如何在大学赚到一万元？
最近对赚钱的话题很感兴趣，在知乎上关注了很多“赚钱”相关的问题，高质量的有不少，但是夹杂着私货的也不少。不过知乎的数据比较全，我们完全可以用来做文本分析。
爬虫的原理我就不细讲了，如果大家对爬虫的原理和相关库不甚了解，又想快速入门，不妨看看我们这门课。
待爬网址
问题：如何在大学赚到一万元？
大学里面学费加一年开销最少就是10000元，所以如何赚到10000 链接 https://www.zhihu.com/question/34011097
分析请求
因为我们知道知乎的响应数据都是json型网站，所以我们想找到json对应的链接规律。F12键打开开发者工具，选中XHR,不停地往下滑动页面，开发者工具Network会不停的闪过很多链接。
经过排查我们发现这个链接很特殊，点击进去详情如下
对应的数据是json格式
里面果然是用户的回答数据
现在我们将找到的网址复制下来分析分析
我们发现网址中有 34011097 和 offset 两个参数是可以调整的，分别代表 话题id 和 回答的id 。我们将上面的网址整理一下，设计成网址模板base_url
伪装请求
我们还要注意的一点是写爬虫一般是需要伪装请求头headers，而在知乎这种网站，我们可能还需要cookies。我新建了一个 settings.py 文件，用来存放cookies、headers、网址模板base url和question id
数据存储
接下来我们新建 zhihu.py 用于设计爬虫逻辑，因为知乎的数据都是json格式，相对于html而言json的数据更有层次性更加的干净。为了保证后续数据分析的可扩展性，我们尽量保存原始。所以这里用到了jsonlines库用于存储json数据(以行的方式存储每个json)，如果不熟悉可以把 jsonlines库：高效率的保存多个 python 对象 这篇文章收藏起来。
知乎爬虫代码
在 zhihu.py 文件中
程序运行
读取抓取json数据
这里使用jsonlines库，该库以行的方式读取，得到的是可迭代对象。如果不熟悉可以把 jsonlines库：高效率的保存多个python对象 这篇文章收藏起来。将其转化为dataframe类型，这样我们就可以用pandas库进行读取
两小时视频课程
精选文章
使用Pandas、Jinja和WeasyPrint制作pdf报告
后台回复 20190228 ，得本教程项目代码。
原创不易，如果觉得内容不错，记得AD、转发、好看
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
- Python爬虫：抓取新浪新闻数据
- Python爬虫：抓取新浪新闻数据
- python爬虫-- 抓取网页、图片、文章
- Python爬虫抓取技术的门道
- 如何使用代理IP进行数据抓取，PHP爬虫抓取亚马逊商品数据
- 利用Python网络爬虫抓取网易云歌词
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
鸟哥的Linux私房菜 基础学习篇(第二版)
鸟哥 / 人民邮电出版社 / 2007-9 / 65.00元
《鸟哥的Linux私房菜基础学习篇(第二版)》全面而详细地介绍了Linux操作系统。全书分为5个部分：第一部分着重说明Linux的起源及功能，如何规划和安装Linux主机；第二部分介绍Linux的文件系统、文件、目录与磁盘的管理；第三部分介绍文字模式接口shell和管理系统的好帮手shell脚本，另外还介绍了文字编辑器vi和vim的使用方法；第四部分介绍了对于系统安全非常重要的Linux账号的管理......一起来看看 《鸟哥的Linux私房菜 基础学习篇(第二版)》 这本书的介绍吧!
