NodeJS。處理 字符編碼

Question

我在處理字符編碼時遇到困難。我想湊以下網址：

http://www.google.com/movies?near=Montreal&date=0 

我的代碼如下所示：

var http = require('http'); 
var url = require('url'); 
var Iconv = require('iconv').Iconv; 

var location = 'montreal'; 

var googleMovies = url.parse("http://www.google.com/movies?near=" + location); 

var req = http.request(googleMovies, function(response) { 
    var str = ''; 
    response.on('data', function(chunk) { 
     str += chunk; 
    }); 
    response.on('end', function() { 

     var iconv = new Iconv('latin1', 'UTF-8'); 
     str = iconv.convert(str).toString(); 

     console.log(str); 
    }); 
}); 
req.end() 

我第一次嘗試沒有：

var iconv = new Iconv('latin1', 'UTF-8'); 
    str = iconv.convert(str).toString(); 

但這是造成字符。

我測試過此頁上面列出的來源：

http://nlp.fi.muni.cz/projects/chared/

，它似乎將其檢測爲latin1的，但事情可能是錯誤的。

Answer 1

字符來自級聯：

response.on('data', function(chunk) { 
    str += chunk; 
}); 

此將每個chunk到String與default encoding of utf8。 Buffer中的任何無效的UTF-8序列都將丟失，並在此處由replaced代替。

你要離開chunk S作爲Buffer s，至該convert()後。它們可以在Array中收集，並與Buffer.concat()合併。

var chunks = []; 

response.on('data', function (chunk) { 
    chunks.push(chunk); 
}); 

response.on('end', function() { 
    var iconv = new Iconv('latin1', 'UTF-8'); 
    var str = iconv.convert(Buffer.concat(chunks)).toString(); 
    console.log(str); 
}); 

Answer 2

如果您將User-Agent設置爲桌面瀏覽器的HTML，則HTML中的元標記和響應標頭中的Content-Type將將charset設置爲UTF-8而不是latin1。例如：

var dest = url.parse('http://www.google.com/movies?near=montreal'); 
dest.headers = { 
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36', 
}; 

http.get(dest, function(response) { 
    var str = ''; 

    response.on('data', function(chunk) { 
    str += chunk; 
    }).on('end', function() { 
    console.log(str); 
    }).setEncoding('utf8'); 
}); 

Answer 3

A Buffer的默認編碼是UTF-8，它是一種可變寬度編碼系統。 ASCII範圍後的字符使用多個字節進行編碼。如果您接收到latin1特定的字符（codepoints> 127），它們將設置第一個位，UTF-8解碼器會將其視爲多字節字符，最終導致未映射的代碼點（顯示爲 ） 。

iconv有一個流媒體解碼器，您可以將您的響應流管道。

http.request(googleMovies, function (response) { 
    var iconv = new Iconv('latin1', 'UTF-8'); 
    response.pipe(iconv).pipe(process.stdout); 
    //or response.pipe(iconv).on('data', console.log); 
}).end();