avro

0熱度

1回答

實際上，我正在使用AVRO驗證json有效內容。我試圖聲明一個字段（定義爲記錄）可選，但它不起作用。模式 ... { "name" : "buildarea", "type" : "com.data.Area", "type" : ["null","com.data.Area"], "default": null } ...

1熱度

2回答

包含多個陣列的Avro工會

我試圖在我們的軟件中使用C++ avro庫，並且遇到了重大障礙。我有一個「Value」類來包裝一系列類型，我想用avro來讀/寫它。這不僅包括簡單類型，而且包括類型，任意類和更多的std :: vectors。我想爲我的「Value」類指定一個avro模式。在我的例子中，我將它限制爲空，int，long，int整數和long數組。我的模式是一個記錄，它有兩個字段，一個標識包含的類型和一個聯合來

1熱度

1回答

HDFS小文件設計

我希望能夠在HDFS上存儲數百萬個小文件（二進制文件 - 圖像，exe等）（〜1Mb），我的要求基本上是能夠查詢隨機文件而不是運行MapReduce作業。我的主要問題是Namenode內存問題，而不是MapReduce映射問題。所以我的選擇是： HAR文件 - 骨料小文件，只比他們的HAR他們節省：//路徑在另一個地方序列文件 - 添加他們，因爲他們進來，這更適合於MapReduce作業，所

0熱度

1回答

是否可以忽略或跳過未知字段？

解碼記錄時，是否可以忽略或跳過未知字段？到目前爲止，我找不到關於此的任何信息。

0熱度

1回答

Avro的模式：泛型類型

的名單下面的Java相當於什麼，我試圖寫一個模式，在Avro中： abstract class Vehicle {} class Bike extends Vehicle {} class Car extends Vehicle {} class Bus extends Vehicle {} 現在，我想有一個文件，車輛List，如： List<Vehicle> vehicles = ;

0熱度

1回答

將avpr文件轉換爲avdl文件的工具

Avro的IDL page文件avro-tools.jar有一個idl命令將avdl文件轉換爲avpr文件。從avpr文件到avdl文件有沒有辦法在另一個方向去？我無法找到關於此問題的任何文檔，但鑑於兩種格式似乎包含具有不同語法的相同數據，應該可以同時進行轉換。

0熱度

2回答

如何把「org.apache.avro.generic.GenericRecord」轉換爲「java.util.Map」？

轉換「org.apache.avro.generic.GenericRecord」到「java.util.Map」

3熱度

1回答

將十進制數據加載到BigQuery中？

我有AVRO配置單元表中有一些十進制的列。我知道Avro如何存儲邏輯類型格式的小數數據。但是當我將這些數據加載到BigQuery中時，BigQuery不能解析這些十進制數據把它們當作垃圾值。我不知道把這些十進制數據加載到BigQuery中。任何幫助將不勝感激。

0熱度

2回答

星火/蜂巢 - 組數據爲「樞軸表」格式

我有一個很煩人的文件集結構，像這樣： userId string, eventType string, source string, errorCode string, startDate timestamp, endDate timestamp 每個文件可能包含的每EVENTID記錄的任意數，用不同eventTypes和來源，以及不同的代碼和每個的開始/結束日期。是否有蜂巢的方式

0熱度

1回答

什麼是Jro的不適合Avro的scenerio

我正在使用Avro餵養Kafka系統，我想知道爲什麼Avro已經創建好了，對於哪種情況我們應該選擇Avro給Json。 Json更適合互聯網溝通，比如RESTful請求，Avro更適合Hadoop生態系統嗎？我搜索了一些答案，他們比較了壓縮的數據大小和效率，但我不確定這足以創建新的東西。