如何使用Cygnus將Orion與公共cosmos.lab.fi-ware.org實例連接

我正在嘗試使用Cygnus將我的Orion數據存入公衆cosmos.lab.fi-ware.org實例。天鵝啓動並運行和我/usr/cygnus/conf/agent_1.conf的HDFSSink部分看起來是這樣的：如何使用Cygnus將Orion與公共cosmos.lab.fi-ware.org實例連接

# OrionHDFSSink configuration cygnusagent.sinks.hdfs-sink.channel = hdfs-channel cygnusagent.sinks.hdfs-sink.type = com.telefonica.iot.cygnus.sinks.OrionHDFSSink cygnusagent.sinks.hdfs-sink.enable_grouping = false cygnusagent.sinks.hdfs-sink.backend_impl = rest cygnusagent.sinks.hdfs-sink.hdfs_host = cosmos.lab.fi-ware.org cygnusagent.sinks.hdfs-sink.hdfs_port = 14000 cygnusagent.sinks.hdfs-sink.hdfs_username = myUsernameInCosmosLabInstance cygnusagent.sinks.hdfs-sink.hdfs_password = myPasswordInCosmosLabInstance cygnusagent.sinks.hdfs-sink.oauth2_token = myTokenForCosmosLabInstance cygnusagent.sinks.hdfs-sink.hive = true cygnusagent.sinks.hdfs-sink.hive.server_version = 2 cygnusagent.sinks.hdfs-sink.hive.host = cosmos.lablfi-ware.org cygnusagent.sinks.hdfs-sink.hive.port = 10000 cygnusagent.sinks.hdfs-sink.hive.db_type = default-db

我添加一個新的訂閱與天鵝作爲參考端點我發送了一個更新到先前創建的NGSIEntity，但沒有出現在我的cosmos.lab.fi-ware.org實例中。當在/var/log/cygnus/cygnus.log我找不到任何有用的，我發現一些Java錯誤。

我使用Orion v。0.28和Cygnus v。0.13。

來源

2016-03-01 José Castillo Lema

由於日誌說：

Could not open connection to jdbc:hive2://cosmos.lablfi-ware.org:10000/default: java.net.UnknownHostException: cosmos.lablfi-ware.org

您必須配置正確的蜂巢端點：

cygnusagent.sinks.hdfs-sink.hive.host = cosmos.lab.fiware.org

相反的：

cygnusagent.sinks.hdfs-sink.hive.host = cosmos.lablfi-ware.org

注：Youy可能已經注意到我已經使用cosmos.lab.fiware.org。 cosmos.lab.fiware.org和cosmos.lab.fi-ware.org都是有效的，第一位是首選。

來源

2016-03-04 08:25:57 frb

Thanks @frb！在cosmos.lab.fi-ware.org實例中，數據已成功創建爲配置單元中的表。我想知道，它不應該被創建爲一個文件嗎？我在日誌中看到這一行，但沒有在我的用戶文件夾中創建文件：'function = persistAggregation |在OrionHDFSSink中持久保存數據。 HDFS文件（def_serv/def_servpath/Room1_Room/Room1_Room.txt）'，我無法在任何地方找到這個** Room1_Room.txt **文件。 –

這樣的文件應該在您的Cosmos用戶空間下，即在'hdfs：// user/josecastillolema /'下。事實上，是在那裏（我看到它是超級用戶）：'＃hadoop fs -ls /user/josecastillolema/def_serv/def_servpath/Room1_Room/Room1_Room.txt 找到1項 -rw-r - r- - 3 josecastillolema josecastillolema 6098 2016-03-06 21:51/user/josecastillolema/def_serv/def_servpath/Room1_Room/Room1_Room.txt' – frb

要找到獵戶座在我的宇宙全局實例持久化數據：

從的Hadoop：

# hive hive> select * from myUsernameInCosmosLabInstance_def_serv_def_servpath_room1_room_column;

替代方法：

# hadoop fs -ls /user/myUsernameInCosmosInstance/def_serv/def_servpath/Room1_Room/Room1_Room.txt

來源

2016-03-17 20:23:03

如何使用Cygnus將Orion與公共cosmos.lab.fi-ware.org實例連接

回答

相關問題