Node.js WriteStream未知編碼錯誤

我已經創建了一個解析NGinx日誌的模塊，現在我正在編寫一個使用它的命令工具。我的問題是，我允許整個目錄被解析，這在讀取和解析方面不是問題，因爲我有一個池來讀取和解析，但是，在命令行工具中，我允許現在重寫日誌的格式爲JSON - 確定我將切入追逐，我寫了這個Writer對象，它將保持所有WriteStreams的引用（wstreams [readFilePath]（我知道我正在使用readFilePath，this僅僅是一鍵查找），並且也通過模塊暴露對象全部看完流的全球參考Parser.rstreams [readFilePath]Node.js WriteStream未知編碼錯誤

// creating a writer to handle the data buffering from the parser's readstreams 
writer = { 
wstreams: {}, 
append: function(data, wfile, rfile){ 
    console.log(JSON.stringify(this.wstreams[rfile])); 
    if(this.wstreams[rfile] 
     && (this.wstreams[rfile].write(data, wfile) == false) // <-- crashing here 
     && parser.rstreams[rfile] 
     && parser.rstreams[rfile].pause){ 
      console.log('Pausing: ' + rfile); 
      parser.rstreams[rfile].pause(); 
    } 
}, 
addStream: function(wfile, rfile){ 
    var wstream = fs.createWriteStream(wfile, {'flags': 'w', 'encoding':'utf8', 'mode': '0666'}); 
    console.log("stream added: " + wfile + " r: " + rfile); 
    this.wstreams[rfile] = wstream; 
    this.wstreams[rfile].on('drain', function(){ 
     if(parser.rstreams[rfile] 
      && parser.rstreams[rfile].readable 
      && parser.rstreams[rfile].resume){ 
       console.log('Drained: ' + rfile); 
       parser.rstreams[rfile].resume(); 
     } 
    }); 
    } 
}

當一個writeStream試圖寫入數據，它拋出一個未知的編碼異常，因爲它默認爲utf8，所以沒有任何意義第二，即使我通過可選的編碼，它會做同樣的事情，我想UT8，UTF-8和ASCII

{"path":"/Users/akhoury/code/rk/ginx/bin/here.json","fd":8,"writable":true,"flags":"w","encoding":"utf8","mode":"0666","bytesWritten":0,"busy":false,"_queue":[],"_events":{}} 
[GINX][ERROR][uncaughtException] Error: Unknown encoding 
[GINX-DEBUG] Exiting - 0 {file:cursor} record(s) stored in /Users/akhoury/code/rk/ginx/tmp/stored.cursors 

/Users/akhoury/code/rk/ginx/lib/ginx.js:453 
throw err; 
    ^
Error: Unknown encoding 
at Buffer.write (buffer.js:382:13) 
at new Buffer (buffer.js:261:26) 
at WriteStream.write (fs.js:1548:12) 
at Object.writer.append (/Users/akhoury/code/rk/ginx/bin/ginx.js:95:38) 
at /Users/akhoury/code/rk/ginx/bin/ginx.js:152:16 
at Ginx.eval [as hardParseLine] (eval at generateParseLine (/Users/akhoury/code/rk/ginx/lib/ginx.js:59:21)) 
at streamData (/Users/akhoury/code/rk/ginx/lib/ginx.js:179:13) 
at Ginx.parseFile.fs.stat.stream.on.streamEnd.cursor (/Users/akhoury/code/rk/ginx/lib/ginx.js:346:28) 
at EventEmitter.emit (events.js:93:17) 
at ReadStream._emitData (fs.js:1365:10)

我甚至JSON.stringify流，看看裏面有什麼，它看起來罰款。

我看着buffer.js的來源，它沒有任何意義，當編碼是沒有允許列表中應該出現的錯誤 https://github.com/joyent/node/blob/master/lib/buffer.js：50的

然後，我有一個循環，將讀的目錄，如果目錄，然後write.addStream（OUTPUTFILE，inputfile中）

if (stats.isDirectory()) { 
fs.mkdir(output, function() { 
    fs.readdir(input, function (err, files) { 
     if (err) error(err); 
     files.forEach(function (wfile) { 
      wfile = path.join(output, file); 
      rfile = path.join(input, file); 
      console.log("W:"+ wfile + " R: " + rfile); 
      //prepend the JSON openings for each new file before we go on. 
      if (isNewFile(rfile)) { 
       fs.writeFileSync(wfile, "{[", 'utf8'); 
      } 
      writer.addStream(wfile, rfile); // <-- adding the stream to writer here 
     }); 
     processDirectory(input, output); 
    }); 
}); 
} else if (stats.isFile()) { 
if (isNewFile(input)) { 
    fs.writeFile(output, "{[", 'utf8', function() { 
     writer.addStream(output, input); 
     processFile(input, output); 
    }); 
} else { 
    writer.addStream(output, input); 
    processFile(input, output); 
    } 
}

然後在processFile和processDirectory，每次我接收rowCallback，這意味着行被解析，我使用writer.append

// process file parsing to JSON output 
function processFile(input, ouput) { 
parser.parseFile(input, 

function (err, row) { 
    if (err) error(err); 
    writer.append(ifLastRow(row), output, row.__file); 
}, 

function (err, rfile) { 
    if (err) error(err); 
    //close the JSON array 
    writer.append("]}", output, file); 
});

}

// process directory parsing to JSON outputs 
function processDirectory(input, output) { 
parser.parseDir(input, 

function (err, row) { 
    if (err) error(err); 
    var fname = row.__fname; 
    writer.append(ifLastRow(row), path.join(output, fname), row.__file); 
}, 

function (err, rfile) { 
    if (err) error(err); 
    var wfile = path.join(output, rfile.substring(rfile.lastIndexOf(path.sep) + 1)); 
    //close the JSON array 
    writer.append("]}", wfile, rfile); 
}, 

function (err, filesCount) { 
    if (err) error(err); 
}); 
}

有人能看到我在做什麼錯在這裏？我是以錯誤的方式創建流嗎？

我知道這有很多需要閱讀的內容，但我不想過於籠統。謝謝。

來源

2013-03-05 bentael

這是很多的代碼來讀取。如果你能投入最少量的代碼來重現你的問題，那將是非常好的。 – Floby 2013-03-05 17:18:03

哦，對不起，我只是不想曖昧，崩潰的部分是在第一個代碼塊。尋找這一行：'&&（this.wstreams [rfile]。寫（數據，wfile）== false）// < - 這裏崩潰了' – bentael 2013-03-05 18:03:01

你究竟在這裏做什麼？它看起來像一些複雜的機器，基本上只是實現'rfile.pipe（wfile）'。 – isaacs 2013-03-05 18:48:34

問題是你正在傳遞一個文件名作爲第二個參數到stream.write()，但.write()的第二個參數是一個可選的編碼（參見上一個鏈接）。

錯誤是因爲它試圖使用文件名作爲編碼，這是一個Unknown encoding。如果data是一個緩衝區，那麼讓它根據緩衝區確定編碼。

寫入流綁定到一個文件，所以您不需要在每次寫入時都傳遞文件名。嘗試改變：

&& (this.wstreams[rfile].write(data, wfile) == false)

要：

&& (this.wstreams[rfile].write(data) == false)

來源

2013-03-05 18:15:13 Chad

Node.js WriteStream未知編碼錯誤

回答

相關問題