puppeteer抓取网站时报Navigation Timeout Exceeded: 30000ms exceeded问题

今天看了下数据库中的内容，发现数据对应不上，特查了下爬虫日志，发现了Navigation Timeout Exceeded: 30000ms exceeded这个问题，原本跑着好好的程序又出现问题了。

问题

1. 自己pc上爬去没有问题。
2. 服务器上爬取有问题，但是chrome是可以访问被爬网站的（服务器是window server 2008）。
3. npm包也重装过。

公司内所有出外网的口都是统一的，而且本地和服务器上都可以正常并快速的访问外网，另外服务器的防火墙是关了的。但是服务器上仍是有这个问题，我尝试用增加延迟，120s，240s，都是timeout。

处理方法

后来尝试其他网址，使用百度这种简单页面，发现居然也得好几十秒才能爬取到。当然这也证明了puppteer是可以正常工作的，但是出于某种原因爬去特别慢。

故修改延时到无限大：

await page.goto(url, {
    timeout: 0
});

打印爬取前后时间，发现居然需要将近497秒。。。所以异常还是出现在爬取上，但是线上程序不舍定超时，这是不太现实的，毕竟有那么多内容需要爬。

所以，到底应该不是puppeteer的问题，故缩短每次执行的时间，网络问题总不会一直存在的，其他方法还没想到。