從Scala文件中提取字節的範圍

Question

我有一個二進制文件，我需要從start: Long - end: Long中提取一些字節範圍。我需要Long，因爲有幾個gigagbytes。我的應用程序需要將結果返回爲ByteString。我試圖

val content: Array[Byte] = Array() 
val stream: FileInputStream = new FileInputStream(file: File) 
stream.skip(start) 
stream.read(content, 0, end-start) 

，但我已經不能在read使用Long，只有Int（這是一個錯誤？skip是確定與Long ......）。此外，我需要將結果轉換爲ByteString。我也很想做到這一點：

val stream: FileInputStream = new FileInputStream(file: File) 
stream.skip(start) 
org.apache.commons.io.IOUtils.toByteArray(stream) 

但我該如何告訴它在哪裏結束？ stream沒有方法takeWhile或take。然後我試圖

val source = scala.io.Source.fromFile(file: File) 
source.drop(start).take(end-start) 

同樣，只有在dropInt ...

我怎麼能這樣做？

Answer 1

使用IOUtils.toByteArray(InputStream input, long size)

val stream = new FileInputStream(file) 
stream.skip(start) 
val bytesICareAbout = IOUtils.toByteArray(stream, end-start) 
// form the ByteString from bytesICareAbout 

注意，這將拋出如果end - start比Integer.MAX_VALUE更大的一個很好的理由！您不希望將2GB陣列分配到內存中。

如果由於某種原因你的end - start > Integer.MAX_VALUE，你應該避免分配一個ByteString來表示數據。相反，你應該這樣做：

import org.apache.commons.io.input.BoundedInputStream 

val stream = new FileInputStream(file) 
stream.skip(start) 
val boundedStream = new BoundedInputStream(stream, start - end)