使用nodejs短時間寫入大量數據無法正常工作

Question

我寫了一個使用nodejs的爬蟲，抓住100000網站的關鍵詞，並將結果寫入TXT文件中。但是當第二次爬到100個網站並寫入文件，不能寫入文件，程序不起作用。可能會寫得太快。怎麼解決？

對不起我的英語很差！

Answer 1

'use strict'; 
let fs = require('fs'); 
let http = require('http'); 
var writable = fs.createWriteStream(__dirname + '/write.txt'); 
var sitelist = ['engineeringcircle.com/']; 
let count = 0; 
setInterval(function() { 
    doReq(); 
} 
    , 10); 
function doReq() { 
    http.get('http://' + sitelist[0], function(res) { 
    console.log(count++); 
    let finData = ''; 
    res.setEncoding('utf8'); 
    res.on('data', (data) => { 
     finData += data; 
    }) 
    res.on('end',() => { 
     writable.write(finData); 
    }) 
    }) 
} 

我使用的是同一個網站，如果時間間隔爲10毫秒我不明白的錯誤，提高它，如果你仍然得到錯誤