内容简介:Auto Hooks Spider
好像好久没发东西了,抽空研究自动化,一部分是如何有效获取自动化的food,想了很多也实现出了很多,比如一些常规手法、PassiveDNS等等,尤其后者虽然有效果但发现有个弊端,就是说从这种底层记录进行筛选贼TMD烧硬件。不然我就想去拆小区交换机了= =。倒不如实现个自动spider,省了来回点啊点。
实现很简单,因为我本地实现的比较复杂,所以是把它拆分下改成现成的发出来。还有就是代理的实现我没放进去,想爬墙外的话可以改下requests模块,拆分url判断是否存在于gfw列表就行了。
个人收集的有价值主域名1000+,hooks.txt先放200个你们玩。
https://github.com/Tr3jer/AutoHookSpider
AutoHookSpider ├── LICENSE ├── README.md ├── hooks.txt #hooks字典,随机放了200个,可以自己收集。 ├── lib │ ├── __init__.py │ ├── common.py #琐碎功能 │ └── record.sql #先在 Mysql 创建这个表 ├── main.py #主程序 └── requirements.txt sudo pip install -r requirements.txt lib/record.sql into mysql usage: python main.py {Options}[ google.com,twitter.com,facebook.com | -t 20 ] 或者直接python main.py会直接在hooks.txt抽取(thread_cnt)个入口域名。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
大连接
[美] 尼古拉斯•克里斯塔基斯(Nicholas A. Christakis)、[美] 詹姆斯•富勒(James H. Fowler) / 简学 / 中国人民大学出版社 / 2013-1 / 59.90元
[内容简介] 1. 本书是继《六度分隔》之后,社会科学领域最重要的作品。作者发现:相距三度之内是强连接,强连接可以引发行为;相聚超过三度是弱连接,弱连接只能传递信息。 2. 本书讲述了社会网络是如何形成的以及对人类现实行为的影响,如对人类的情绪、亲密关系、健康、经济的运行和政治的影响等,并特别指出,三度影响力(即朋友的朋友的朋友也能影响到你)是社会化网络的强连接原则,决定着社会化网络的......一起来看看 《大连接》 这本书的介绍吧!