avro

2熱度

1回答

我使用import avro等來編譯python中的avro模式。有時，我的avro模式將如下所示： { name: "Message1" ..... } { name: "Message2", "fields": [ { "type": "Message1", "name": "previous_avro_schema" } ] } ... 請忽略拼寫錯誤。我只是想傳達信息。要點是我有兩

3熱度

1回答

如何使用Netty與Avro異步回調

我試圖通過使用NettyServer實現實現異步Avro調用。在挖掘源代碼之後，我發現了一個關於如何使用TestNettyServerWithCallbacks.java中的NettyServer的例子。當運行一些測試時，我意識到NettyServer從不調用hello（Callback）方法，而是一直調用同步hello（）方法。客戶端程序打印出「Hello」，但我期待「Hello-ASYNC」

1熱度

1回答

Avro json解碼器：忽略命名空間

我試圖在項目上使用Apache Avro ...並且遇到了一些困難 avro序列化/反序列化工作就像一個魅力......但我得到解碼器異常..像未知的聯盟分支blah-blah-blah ...萬一JSON不包含名片紀錄... eg "user":{"demo.avro.User":{"age":1000... //that's ok "user":{"age":1000... //org.a

1熱度

2回答

Apache的avro是否有cat實用程序？

我想知道是否有Apache的二進制avro文件格式的「貓」實用程序？分別沿着zcat或bzcat分別表示gzip和bzip2。感謝您的幫助！

10熱度

1回答

avro架構中的可選陣列

我想知道是否有可能有一個可選的數組。讓我們假設一個架構是這樣的： { "type": "record", "name": "test_avro", "fields" : [ {"name": "test_field_1", "type": "long"}, {"name": "subrecord", "type": [{ "typ

2熱度

1回答

使用avro-maven-plugin版本1.6.1時的棄用代碼

我正在使用Apache Avro運行java代碼。一些代碼在java文件中被棄用，我不知道爲什麼。我正在使用Maven來運行我的Java程序。這是java文件 public class AvroAddressTest { public int tempRand; static String[] NAMES = { "Karthik", "Sam", "Joe", "Jess", "Tom

2熱度

2回答

您可以將數據追加到現有的Avro數據文件嗎？

好像沒有辦法將數據追加到現有的Avro序列化文件。我想要將多個進程寫入單個avro文件，但每次打開時看起來都像是從頭開始。我不想讀入所有數據，然後再將其寫回。使用ruby示例代碼我嘗試過「ab」和「ab +」作爲各種設置，但沒有喜悅。 file = File.open('data.avr', 'wb') schema = Avro::Schema.parse(SCHEMA) writer =

21熱度

5回答

如何使用Avro二進制編碼器對Kafka消息進行編碼/解碼？

我試圖用Avro來讀取/寫入Kafka的消息。有沒有人有過使用Avro二進制編碼器編碼/解碼將放在消息隊列中的數據的例子？我需要比卡夫卡部分更多的Avro部分。或者，也許我應該看看不同的解決方案？基本上，我試圖找到一個更有效的JSON空間解決方案。剛剛提到Avro，因爲它比JSON更緊湊。

1熱度

1回答

在Hadoop中使用DBInputFormat的MultipleInputs

在我的數據庫中，我有多個表，其中每個表是不同的實體類型。我有一個在hadoop中使用的Avro模式，它是這些不同實體類型的所有字段的聯合，還有一個實體類型字段。我想要做的是沿用DBWritable爲實體類型映射到組合Avro類型的每個實體類型設置DBInputFormat。然後給每個DBInputFormat類似MultipleInputs，這樣我就可以創建一個複合輸入格式。然後可以將複合輸入格

1熱度

1回答

用Pig中的AvroStorage逗號分隔的列表

我試圖用逗號分隔的列表在Pig中用AvroStorage加載幾個文件。我使用的說法是： test_data= LOAD 'repo_1/part-r-00000.avro,repo_2/part-r-00000.avro' USING org.apache.pig.piggybank.storage.avro.AvroStorage(); Pig指出沒有在作業中指定輸入路徑。請參閱下面的堆棧跟