DataProc MapReduce停止工作

我運行標準hbase類來計算BigTable表中的行（RowCounter）。使用Google Console中的DataProc gui。它工作正常，但幾周後，我試圖運行類似的jar和工作失敗，原因很難解釋。這看起來不像連接參數問題，因爲如果我使用不存在的Hbase表名，就可以理解這一點。DataProc MapReduce停止工作

對於1.1.2和1.0.1.1的Hbase客戶端，結果是一樣的。 1.0.1.1來自示例。我發現1.1.2版本是由bdutils設置的羣集使用的。

6/02/08 14:35:34 INFO mapreduce.Job: map 100% reduce 0% 
16/02/08 14:35:34 INFO mapreduce.Job: Task Id : attempt_1454940934781_0001_m_000000_0, Status : FAILED 
Error: java.io.IOException: Cannot create a record reader because of a previous error. Please look at the previous logs lines from the task's full log for more details. 
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRecordReader(TableInputFormatBase.java:174) 
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:515) 
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:758) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657) 
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) 
Caused by: java.lang.IllegalStateException: The input format instance has not been properly initialized. Ensure you call initializeTable either in your constructor or initialize method 
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getTable(TableInputFormatBase.java:585) 
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRecordReader(TableInputFormatBase.java:169) 
    ... 8 more

來源

2016-02-19 Daneel S. Yaitskov

在〜現在創建的Dataproc羣集每週啓用JVM自動更新。其中一個更新打破了Bigtable客戶端庫使用的ALPN-boot jar的兼容性。

已完成部署，將更新JVM和ALPN jar的默認版本以再次兼容。爲了使用固定的圖像，您需要啓動一個新的羣集。

如果您需要執行就地修復，則可以在羣集中位於/ usr/local/share/google/alpn下的所有節點上更新ALPN-boot.jar的副本。請參閱此表以瞭解版本兼容性http://www.eclipse.org/jetty/documentation/current/alpn-chapter.html#alpn-versions

來源

2016-02-19 22:08:00

DataProc MapReduce停止工作

回答

相關問題