avro

1熱度

2回答

我正在使用Python avro library。我想通過http發送一個avro文件，但我並不特別想先將這個文件保存到磁盤，所以我想用StringIO來存放文件內容直到我準備好發送。但是，avro.datafile.DataFileWriter會爲我處理關閉文件句柄，這使我很難將數據從StringIO中取出。這裏是我的意思代碼： from StringIO import StringIO fr

1熱度

1回答

使用MRUnit和AVRO一起

我創建了使用AVRO輸入，地圖輸出連接減少輸出映射&減速。當創建一個MRUnit測試中，我得到以下堆棧跟蹤： java.lang.NullPointerException at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73) at org.apach

0熱度

1回答

avro中的地圖和記錄有什麼區別？

我爲一個項目使用Apache Avro，但我似乎無法理解它所稱的地圖。我一直沒能找到使用地圖的任何實例，並在規範的例子是相當裸：地圖地圖使用的類型名稱"map"和支持一個屬性： values:地圖值的模式。映射鍵被假定爲字符串。例如，從字符串的地圖長都被定義爲： {"type": "map", "values": "long"} 什麼可能適合該模式的樣子作爲JSON數據？地圖有什麼用途，記

0熱度

1回答

創建SpecificDatumWriter時出現NullPointerException <T>

在Tom White的書「Hadoop：權威指南」中學習Apache Avro時，出現錯誤。的示例具有3個步驟：創建阿夫羅模式文件（Pair.avsc） { "type":"record", "name":"Pair", "doc":"A pair of strings.", "fields":[ { "name":"left", "type

1熱度

3回答

Avro Map-Reduce on oozie

我一直在嘗試在oozie上運行Avro map-reduce。我在workflow.xml中指定了mapper和reducer類，並提供了其他配置。但是它給出了一個 java.lang.RunTime Exception - class mr.sales.avro.etl.SalesMapper not org.apache.hadoop.mapred.Mapper 在Hadoop集羣上直接運

0熱度

2回答

Avro替代Writables

我對Hadoop非常陌生，不得不深入研究它的序列化。我知道Hadoop帶有自己的序列化程序，名爲Writables。我很想知道Avro（或protobuf，thrift）是否取代了Writables接口，或者Avro只是用於序列化MR客戶端數據，而不是說namenode和datanode之間的內部通信。

6熱度

2回答

使用純文本輸入和avro輸出的mapreduce作業

我對使用Avro和map reduce非常困惑，無法找到好的教程。似乎像AvroJob和AvroMapper這樣的類在輸入和輸出都是Avro數據文件時都會遇到問題。什麼時候你的輸入只是純文本？具體來說：我的映射器將LongWritable鍵和Text值作爲輸入。它發出文本鍵和MyAvroRecord值。我的reducer將MyAvroRecords的Text鍵和Iterator作爲輸入，並

2熱度

1回答

協議緩衝區和Hadoop

我是Hadoop世界的新手。我知道Hadoop有它自己的稱爲Writables的序列化機制。而AVRO是另一個這樣的圖書館。我想知道我們是否可以使用Google的協議緩衝區序列化來編寫map-reduce作業？如果是，那麼有人可以指出一個很好的例子，讓我開始。

1熱度

1回答

Firebase runTransaction不能正常工作

我正在嘗試爲Firebase數據庫使用runTransaction，但它不起作用。這是我正在使用的代碼。 numQuestionRef.runTransaction(new Transaction.Handler() { @Override public Transaction.Result doTransaction(MutableData mutableData) {

4熱度

3回答

Apache AVRO如何序列化（大）數據結構

我正在使用AVO在hadoop上。但我關心的是大數據結構的序列化以及如何向（數據）類添加方法。該示例（取自http://blog.voidsearch.com/bigdata/apache-avro-in-practice/）顯示了facebook用戶的模型。 { "namespace": "test.avro", "name": "FacebookUser", "