那些年,我爬过的北科(序)——我和爬虫的缘分

栏目: ASP.NET · 发布时间: 7年前

内容简介:不止不觉中,已经大学毕业上了研究生了,其实这一系列教程很早就想开始写,由于一堆事情加上拖到了现在。(原写于2017年9月18号)大概是大二下学期刚开学的时候,我开始接触了Web开发,那个时候跟着网上看视频,学习了HTTP Get与Post请求,了解了网站是怎么个工作的。我当时突然联想到了平时都在用的课程格子,想着十分有趣,想着能不能用这种技术去做这样一款查课表的东西。于是乎,网上寻找资料,了解了登陆的原理,以及如何获取到Cookie。当时,我最熟悉的语言是C#,从网上找了个解析HTML的dll,用着自带的

不止不觉中,已经大学毕业上了研究生了,其实这一系列教程很早就想开始写,由于一堆事情加上拖到了现在。(原写于2017年9月18号)

缘起

大概是大二下学期刚开学的时候,我开始接触了Web开发,那个时候跟着网上看视频,学习了HTTP Get与Post请求,了解了网站是怎么个工作的。我当时突然联想到了平时都在用的课程格子,想着十分有趣,想着能不能用这种技术去做这样一款查课表的东西。

于是乎,网上寻找资料,了解了登陆的原理,以及如何获取到Cookie。当时,我最熟悉的语言是C#,从网上找了个解析HTML的dll,用着自带的HttpWebRequest就开始搞了。那时还不会用chrome,用的HttpWatch,也遇到了很多坑,不过也通过自己的努力把学校的课表搞下来了。

不过,我发现单纯搞个课表也并没有什么卵用,于是我想到了当时正值学校抢课期间,我就做个抢课软件,那还不吊炸天。

于是我用那个只能在IE上跑起来的HttpWatch抓到了JSON的数据,当时也不知道JSON是什么,只知道XML,还网上问了一下这是什么格式的数据,后来就知道这是传说中的JSON,又去恶补了一遍JSON的知识。然后又找了个C#的解析JSON的dll,在我的电脑上把抢课的软件跑起来了,下面就是当时的软件截图。

那些年,我爬过的北科(序)——我和爬虫的缘分

就是通过这个自己编写的这个爬虫软件,我选上了当时的“英文记录片视听”这门课,不过后来听说这门课有点坑,我又给退了,o(╯□╰)o。

我都做过哪些?

自从那以后,我开始对爬虫产生了浓厚的兴趣,没事儿就爬点东西玩儿,下面是我搞过的几个和爬虫相关的小应用。

USTB选课系统

练习客户端开发,把我校的选课系统移植到了Android、iOS、Mac、Ubuntu、Windows客户端上,见 github.com/nladuo/ustb… 。

那些年,我爬过的北科(序)——我和爬虫的缘分

教务信息服务号

查询教务系统的成绩、学分、课表等,用来练习微信开发的。

那些年,我爬过的北科(序)——我和爬虫的缘分

淘宝Bra爬虫

统计一下中国女性的胸围分布。

nladuo.github.io/bra/

还书提醒

提醒自己别忘了还书。

那些年,我爬过的北科(序)——我和爬虫的缘分

链家爬虫

学习scrapy时候写的。

那些年,我爬过的北科(序)——我和爬虫的缘分

种子站

拿DHT爬虫+Sphinx做的种子搜索引擎,后来数据太多了,网站已经关了,只有图了。

那些年,我爬过的北科(序)——我和爬虫的缘分

以上所述就是小编给大家介绍的《那些年,我爬过的北科(序)——我和爬虫的缘分》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。

数字时代的营销战略

数字时代的营销战略

曹虎、王赛、乔林、【美】艾拉·考夫曼 / 机械工业出版社 / 2017-1 / 99.00元

菲利普•科特勒说,市场比市场营销变得更快(Market changes faster than Marketing),在这个变革的时代,从硅谷、波士顿到北京、上海、深圳,我们正在重新定义公司,重新定义组织,重新定义战略;同样地,营销亦需要重新定义。 从本质上讲,营销战略只有两个时代:实体时代与比特时代,也可称为工业时代与数字时代。从5年前开始,第二个时代正在向未来20年展开画卷,数字创新型企......一起来看看 《数字时代的营销战略》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具