2017-04-21 133 views
0

org.apache.hadoop.mapred.MapTask:地圖輸出的啓動沖洗映射器無法讀取gz.parquet文件

2017年4月20日20:53:20101 WARN [主要] org.apache。 hadoop.mapred.YarnChild:異常正在運行child:java.lang.NullPointerException at org.apache.parquet.avro.AvroSchemaConverter.convertField(AvroSchemaConverter.java:294) at org.apache.parquet.avro.AvroSchemaConverter.convertFields(AvroSchemaConverter .java:204) at org.apache.parquet.avro.AvroSchemaConverter.convert(AvroSchemaConverter.java:198) at org.apache.parquet.avro.AvroReadSupport.prepareForRead(AvroReadSupport.java:105) at org.apache.parquet.hadoop.InternalParquetRecordReader.initialize(InternalParquetRecordReader.java:174) at org.apache.parquet.hadoop.ParquetRecordReader.initializeInternalReader(ParquetRecordReader.java:192) at org.apache.parquet.hadoop。 ParqueRecordReader.initialize(ParquetRecordReader.java:140) at org.apache.hadoop.mapreduce.lib.input.DelegatingRecordReader.initialize(DelegatingRecordReader.java:84) at org.apache.hadoop.mapred.MapTask $ NewTrackingRecordReader.initialize( MapTask.java:548) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:786) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org。 apache.hadoop.mapred.YarnChild $ 2.run(YarnChild.java:163) at java.security.AccessControlle r.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657) at org.apache .hadoop.mapred.YarnChild.main(YarnChild.java:158)

我想讀的映射器filename.gz.paquet,用相同的MapReduce工作,我能讀filename.snappy.parquet文件。

回答

0

我可以解決這個問題。 那麼,我已經更新到avroVersion 1.8.1, parquetVersion 1.9.0,parquetFormatVersion 2.3.1和 hiveVersion 1.2.2的新罐子。