warc.gz文件的兩個記錄之間的分隔符

Question

我想解析從常見爬網下載的warc.gz文件。我有一個要求，我必須手動解析新聞warc.gz文件。兩個記錄之間的分隔符是什麼？

Answer 1

我不認爲你可以手動解析gzip文件。您最好的選擇是使用the index找出每條記錄的偏移量和長度。有關更多信息，請參見api documentation和the guides。

如果您手動解析WARC文件，請首先解壓縮.gz文件。

WARC records are separated by two newlines：

一個WARC格式的文件是一個或多個WARC 記錄的簡單拼接。一條記錄由一條記錄標題和一條記錄 內容塊和兩條換行符組成。 （換行符是其他 Internet標準的CRLF。）

Answer 2

WARC文件中沒有明確的記錄分隔符。記錄始終以'\ r \ n \ r \ n'結尾，但這也用於將記錄標頭與記錄正文分開，並可能發生在HTML文檔中的任何位置。 WARC記錄的長度由記錄標題中的Content-Length定義。

要使用PySpark處理常見爬網WARC文件，請參閱cc-pyspark。