Node.js 利用异步提升任务处理速度

栏目: Node.js · 发布时间: 7年前

内容简介:今天在做一个小任务,需要调用阿里云的图像识别接口,对 62662 张照片进行场景识别,并将结果写到本地的 csv 文件中。因为任务很简单,没想很多就开始码。自从有了本文所有代码均有简化,只保留关键过程

今天在做一个小任务,需要调用阿里云的图像识别接口,对 62662 张照片进行场景识别,并将结果写到本地的 csv 文件中。

因为任务很简单,没想很多就开始码。自从有了 async/await 之后,已经很久不写 callback 了,所以上手就写成这样:

本文所有代码均有简化,只保留关键过程

async fetchSceneTags(imagePath) {
    try {
	    const result = await callAliyunAPI(imagePath);
	    return result.errno === 0 ? result.tags : [];
	} catch(error) {
    	return [];        
	}
}

async function writeScene(paths) {
    for (let i = 0, len = paths.length; i < len; i++) {
        await tags = fetchSceneTags(paths[i])
        writeToFile(tags);
        writeStdout(`${i} / ${len}`);
    }
}

function start() {
    const paths = loadPaths();
    writeScene(paths);
}

运行起来以后没问题就放着忙别的去了。过了差不多 2 小时回来一看,才跑了 17180 张图,每分钟 144 张。这才意识到同步速度太慢了,于是停掉进程,将代码改成下面这样:

fetchSceneTagsAsync(imagePath, callback) {
    callAliyunAPI(imagePath)
        .then(result => {
	    	const tags = result.errno === 0 ? result.tags : [];
	        callback(tags);
    	})
        .catch(error => callback([]));
}

function writeSceneAsync(paths) {
    const callback = tags => {
        await tags = fetchSceneTagsAsync(paths[i])
        writeToFile(tags);
    }
    
    paths.forEach(path => fetchSceneTagsAsync(path, callback));
}

function start() {
    const paths = loadPaths();
    writeSceneAsync(paths);
}

跑了一下,直接停摆了。嗯,不能一下把请求全发出去,加一个 Throttle:

fetchSceneTagsAsync(imagePath, callback) {
    callAliyunAPI(imagePath)
        .then(result => {
	    	const tags = result.errno === 0 ? result.tags : [];
	        callback(tags);
    	})
        .catch(error => callback([]));
}

function throttle(paths, callback) {
    if(paths.length === 0) return;
    
    const sub = paths.splice(0, 10);
    sub.forEach(path => fetchSceneTagsAsync(path, callback));
	setTimeout(() => throttle(paths, callback), 1000)
}

function writeSceneAsync(paths) {
    const callback = tags => {
        await tags = fetchSceneTagsAsync(paths[i])
        writeToFile(tags);
    }
    
    throttle(paths, callback)
}

function start() {
    const paths = loadPaths();
    writeSceneAsync(paths);
}

重新启动服务,观察了一下,大约每分钟处理 568 张图片,速度提升约 4 倍。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

最高人民法院《关于行政诉讼证据若干问题的规定》释义与适用

最高人民法院《关于行政诉讼证据若干问题的规定》释义与适用

李国光 / 人民法院出版社 / 2002-9 / 30.0

为进一步深入贯彻实施《中华人民共和国行政诉讼法》,最高人民法院发布了《关于行政诉讼证据若干问题的规定》。本书即是对《行政证据规定》作出的充分的阐释。《行政证据规定》是我国第一部关于行政诉讼证据问题系统的司法解释,对我国行政审判的发展和行政诉讼制度的完善必将产生重要而深远的影响。本书对这一《行政证据规定》进行阐述,是为了让广大读者更具体深入的了解这一重要的规定。 本书均将《最高人民法院......一起来看看 《最高人民法院《关于行政诉讼证据若干问题的规定》释义与适用》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

MD5 加密
MD5 加密

MD5 加密工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具