分隔二進制數據塊

Question

我將大塊日誌數據存儲在memcache中，以便稍後將其扔入數據庫。在對服務器的每個請求中，我使用memcached :: append（）保存一組數據，使用換行符來分隔塊。一個簡化的版本是這樣的：

$myCache->append('log', serialize($myArray)."\n"); 

後來，當我要建立可查詢我拉所有行從數據庫中和反序列化每一個：

$dataToInsert = explode("\n", $myCache->get('log')); 
$dataToInsert = array_map(function($row) { 
    return unserialize($row); 
}, $dataToInsert); 

也能正常工作與構建在serialize（）和unserialize（）中，但我想利用igbinary的明顯優勢 - 大小和速度。不幸的是，當我替換函數的igbinary版本時，出現錯誤。

看來，igbinary-序列化的數據可以包含「\ n」字符，所以當我爆炸存儲的數據時，它會創建部分行，當然會失敗。

除了換行符以外，我還可以使用分隔符來區分igbinary數據塊，還是igbinary和append（）從根本上不兼容？

Answer 1

由於igbinary存儲binary data as-is，因此不能保證任何字符可供使用：您可以序列化包含任何字節的字符串或整數，任何字符。

memcached支持添加，刪除和替換數據以及更新字符串。

兩種方式，以保持記錄的數據出來的記憶和memcached的，直到SQL查詢浮現在腦海中：

• 使用多個鍵：'log1'，...，'logN'並跟蹤N。
• 通過轉義序列化的二進制輸出（並在反序列化之前消除）保留一個字符。

預約可以做這樣的：

str_replace("\n", "\n1", $data) . "\n0" 

這將確保有每一次的輸出\n， 它後跟一個0或1。

我不跟\n\n更換\n，因爲這將無法正常工作，如果$data的開始或結束\n。

所以：

$myCache->append('log', str_replace("\n", "\n1", igbinary_serialize($myArray)."\n0"); 

拆分然後將數據使用\n0做的，而\n1被轉義回\n：

$dataToInsert = explode("\n0", $myCache->get('log')); 
$dataToInsert = array_map(function($row) { 
    return igbinary_unserialize(str_replace("\n1", "\n", $row)); 
}, $dataToInsert);