kryo

1熱度

1回答

我是Spark & Scala新手。我需要閱讀和分析星火，它寫在KRYO我的Scala代碼文件系列化： import com.esotericsoftware.kryo.Kryo import com.esotericsoftware.kryo.io.Output val kryo:Kryo = new Kryo() val output:Output = new Output(new

2熱度

1回答

Spark with Cassandra：無法註冊spark.kryo.registrator

目前，我在嘗試在獨立模式下運行Cassandra時遇到一些問題。最初，我用「本地[4]」在SparkContext參數腦膜=成功運行。然後，我嘗試移動到獨立模式。我使用的是：的Ubuntu：12.04 卡桑德拉：1.2.11 星火：0.8.0 斯卡拉：2.9.3 JDK：甲骨文1.6.0_35 KRYO：2.21 起初，我得到了「未讀塊」錯誤。作爲其他主題的建議，我更改爲使用Kryo序列

0熱度

1回答

KryoNet：連接後立即斷開連接

這似乎是一個流行的問題，但即使花費大量時間進行故障排除，我仍然無法找到解決方案。我希望有一個更新的解決方案。我設置了一個簡單的服務器和客戶端與KryoNet Java網絡庫。我的問題是，我的客戶端在連接到服務器後立即斷開連接。這裏是我的代碼：服務器 public class TheServer extends Listener { static Server server;

7熱度

1回答

KRYO系列化不予登記

類我試圖使用KRYO系列化搭配： kryo.setRegistrationRequired(true); 我不斷收到以下錯誤，指出某個類沒有註冊： java.lang.IllegalArgumentException: Class is not registered: com.my.package.MyClass[] Note: To register this class use: kr

1熱度

1回答

Kryo序列化類型檢測

我正在使用Kryo IO直接執行我自己的字符串，長整數和雙精度的低級原始序列化。我想知道的是，如果有任何方式讓Kryo IO在讀取它們時自動檢測序列化字節中的基本數據類型？如果我有一個10個序列化值的字節數組，我不知道它們是字符串，長整數還是雙精度;有沒有辦法讓Kryo確定數據類型（如MsgPack可以）？

0熱度

1回答

Java進程在耗盡系統內存後死亡。爲什麼？

我在使用Oracle Java的Ubuntu 12.04.3 x64 VPS上運行Java應用程序。幾分鐘後該進程被操作系統殺死：控制檯中出現「殺死」。在崩潰之前，使用TOP（幾千兆字節的虛擬內存）可以看到過多的內存使用情況。爲了檢查泄漏，我安裝了Java VisualVM並通過jstatd遠程連接到它。泄漏的跡象可以看出：堆大小：10 MB PermGen的空間大小：20 MB 主題：5 類

4熱度

1回答

kryo序列化apache中的類（任務對象）在解序列化時返回null

我正在使用java的spark API來編寫一些測試應用程序。我正在使用不擴展可序列化接口的類。所以爲了使應用程序能夠工作，我使用kryo序列化器來序列化類。但是我在調試過程中觀察到的問題是在反序列化期間返回的類對象變爲空，並且反過來拋出空指針異常。這似乎是關閉的問題，事情出錯了，但不確定。因爲我對這種序列化不熟悉，所以我不知道從哪裏開始挖掘。這裏是我的測試代碼： package org.a

3熱度

1回答

的NoSuchMethodError：DefaultKryoFactory - 試圖運行一個風暴啓動項目的拓撲結構

您試用風暴啓動的例子，我按照說明按本頁面 - https://github.com/apache/incubator-storm/tree/master/examples/storm-starter 下面的說明後，默認的設置與 mvn compile exec:java -Dstorm.topology=storm.starter.ExclamationTopology 這給了一個錯誤 - - j

1熱度

1回答

如何將Kryo設置爲HDFS/Hadoop中的序列化框架的Writable替代

如何將Kryo設置爲我的序列化框架來代替Writable？ Sub問題：我如何設置我的對象被序列化/反序列化，就像我們爲Writable做的那樣？

3熱度

1回答

KRYO在Apache的星火

星火文檔指出，所有你需要做的就是註冊類，並添加兩個變量對conf： import com.esotericsoftware.kryo.Kryo import org.apache.spark.serializer.KryoRegistrator class MyRegistrator extends KryoRegistrator { override def registerCl