forEach 中调用 promise 如何控制执行顺序?

[yuuk520]

最近在做一个网页爬虫，先抓取列表页面，再获取列表页所有内容页的 url，然后将所有列表页的 url 循环调用抓取方法，这样导致抓取的顺序不可控，想知道如何能够控制抓取的顺序。 例如：正在抓取 A 页面, A 页面抓取完毕；正在抓取 B 页面, B 页面抓取完毕...按这样的顺序执行。

抓取函数：

function doRequest (url) {
    console.log(chalk.red(`正在抓取 ${url} 的内容...`));
    return new Promise ((resolve, reject) => {
        request
        .post(url)
        .set(headers)
        .charset('utf-8')
        .then(result => {
            resolve(result.text);
            console.log(chalk.red(`${url} 的内容抓取完毕！`));
        })
        .catch(err => {
            reject(err);
        })
    });
    } 

调用

// 请求列表
doRequest('list.html')
.then(content => {
    return this.parseList(content); // 得到所有的内容页面地址
})
// 请求内容页
.then(links => {
    return Promise.all(links.map(link => {
        return doRequest(link);
    }))
})
.then (allContent => {
    console.log(allContent);
})

执行的结果

这个结果不是按照顺序来的。

[soooon]

用 async 模块串行执行吧： https://github.com/caolan/async

[ashong]

array.reduce

[xudaiqing]

Bluebird 的 Promise.each
或者手动拼接 then

[ashong]

links.reduce( (promise, link) => { return promise.then( ()=>{
// do request with link
}) }, Promise.resolve()).then( () =>{
// done
})

[yuuk520]

@ashong 这个也只是将所有的请求结果一次性范围。并没有保证顺序~

[IvanLi127]

等待上一个执行完成，再执行下一个。await 了解一下？话说回来，你为啥要顺序执行？

[df4VW]

1 楼都已经回答你喽

[ashong]

@yuuk520 确定是保证顺序的

[dd0754]

加个字段来排序不是更好?页面多了你也一个一个爬啊?

[ETiV]

bluebird +1

[des]

没人说正经的 for of ？？？

[des]

@des async + for of 完美解决，反正后端 node 不像前端不能控制版本

[yimity]

all 中，你给的数组的顺序是什么，最终结果就是什么顺序，但是不保证拿到结果的过程的顺序。

[yuuk520]

@des 大佬，有 demo 么~

[des]

@yuuk520
(async function() {
// 请求列表
comst links = await doRequest('list.html').then(content => {
return this.parseList(content); // 得到所有的内容页面地址
});
for (const link of links) {
// 请求内容页
const allContent = await doRequest(link);
console.log(allContent);
}
})()

[yuuk520]

@des 厉害！！！这样可以实现，顺便有个疑问想请教一下

doRequest('list.html').then(content => {
return parseList(content);
}).then(links => {
links.forEach(async function(link){
const allContent = await doRequest(link);
});
})

这样为啥就不行呢~

[yuuk520]

@yuuk520 明白了。。。需要这样写

doRequest('list.html').then(content => {
return parseList(content);
}).then(async function(links){
for (const link of links) {
const allContent = await doRequest(link);
}
})

[yuuk520]

感谢各位的帮助，谢谢大家。

[ChefIsAwesome]

你可以自己再琢磨下怎么实现一次抓几个，这几个结束后再执行后面几个。一个一个抓太慢了。

[POPOEVER]

基于 express/koa 的话为什么不用中间件？

[mrcode]

同 #11，使用 for-of 循环解决

[orzfly]

Bluebird.mapSeries(...)
Bluebird.map(..., { concurrency: 5 })

[orzfly]

http://bluebirdjs.com/docs/api/promise.map.html#map-option-concurrency