一个老同学的故事引发的nodejs 爬虫

采用的node包如下：

var http = require('http');
var https = require('https')
var fs = require('fs');
var cheerio = require('cheerio');
var request = require('request');
var urlHeader = 'https://wwwn.cdc.gov'
var urlFather = 'https://wwwn.cdc.gov/nchs/nhanes/search/datapage.aspx?Component=Laboratory&CycleBeginYear=2013'
//初始url 

let count = 0;
function findUrlList(x,callback){
    https.get(x, function (res) {   
        var html = '';        //用来存储请求网页的整个html内容
        var titles = [];        
        res.setEncoding('utf-8'); //防止中文乱码
        //监听data事件，每次取一块数据
        res.on('data', function (chunk) {   
            html += chunk;
        });
        //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数
        res.on('end', function () {
         var $ = cheerio.load(html); //采用cheerio模块解析html
         
         var urlArr = [];
         $('#GridView1 tbody tr').each(function (index, item) {
            let url = urlHeader + $(this).children().next().children('a').attr("href")
            startRequest(url)
            urlArr.push(url)
         })
        console.log(urlArr.length)
        callback()
        });

    }).on('error', function (err) {
        console.log(err);
    });
}

function startRequest(x) {
     //采用http模块向服务器发起一次get请求      
     https.get(x, function (res) {   
        var html = '';        //用来存储请求网页的整个html内容
        var titles = [];        
        res.setEncoding('utf-8'); //防止中文乱码
        //监听data事件，每次取一块数据
        res.on('data', function (chunk) {   
            html += chunk;
        });
        //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数
        res.on('end', function () {
         var $ = cheerio.load(html); //采用cheerio模块解析html
         var news_item = {
            //获取文章的标题
            title: $('div #PageHeader h2').text().trim(),
            url: '文章地址： '+x,
            firstParagraph: '首段：\n'+$('#Component_Description').next().text().trim(),
            codeBookAndFrequencies: '表格信息： \n'+$('#Codebook').children().text().trim()
            };

        savedContent($,news_item);  //存储每篇文章的内容及文章标题
        });

    }).on('error', function (err) {
        console.error(err);
    });

}
//该函数的作用：在本地存储所爬取的新闻内容资源
function savedContent($, news_item) {
    count++;
    let x = '['+count+'] ' + '\n';
    x += news_item.url;
    x = x + '\n'; 
    x += news_item.firstParagraph;
    x = x + '\n'; 
    x += news_item.codeBookAndFrequencies;
    x = x + '\n'; 
    x += '------------------------------------------------------------ \n'; 
    x = x + '\n'; 
    x = x + '\n'; 
    //将新闻文本内容一段一段添加到/data文件夹下，并用新闻的标题来命名文件
    fs.appendFile('./data/' + news_item.title + '.txt', x, 'utf-8', function (err) {
        if (err) {
            console.log(err);
        }
    });
}

// startRequest(url);      //主程序开始运行
findUrlList(urlFather,() => {
    console.log('work done')
})复制代码

命令行 node app.js  跑起来就可看到结果啦！

爬虫txt结果查看：