2013-02-18 72 views
1

我正在尋找一個工具或流程來導出facebook頁面和Facebook應用的facebook洞察數據。目前我只是從他們的Insights界面手動下載csv文件,但理想情況下,我想自動執行此過程並將數據加載到Pentaho Kettle中,以便對數據執行一些操作。自動下載facebook洞察數據

有什麼方法可以自動下載和輸入CSV文件?或者我將不得不使用Facebook圖形API的資源管理器?我目前正在查看一個設置,我使用NetBeans和RestFB來提取我想要的數據,然後使用Pentaho Kettle訪問這些數據。我不確定這是否會起作用,或者如果這是最好的方法。

+0

不確定接口是如何工作的,但我曾經認爲Pentaho Kettle可以直接獲得它。如果它不能,你總是可以寫一個插件,這可能最終會使用RestFB?編寫插件有很多好的doco,如果你回饋社區,你可能也會得到很多幫助。 – Codek 2013-02-19 16:25:45

回答

0

正如Codek所說,Kettle插件是一個非常好的主意,對Kettle項目非常有用。不過,這也是一項認真的努力。

如果您不想付出這種努力,只要通過標準傳輸方法(FTP,SFTP,SSH等)提供文件,就可以使用Kettle作業下載文件。我從來沒有使用RestFB,所以我不知道有什麼可用的。您可能可以直接從Web服務中獲取REST客戶端轉換步驟。

下載文件後,您可以將它們發送到要加載的轉換。你可以用執行每個輸入行來做到這一點?「選項,或者您可以從從結果中獲取文件,從變換中的作業結果集中獲取文件名。

然後,您可以在加載複製或移動結果文件名後歸檔文件。在一份工作中,我發現只有文件不在我的檔案中使用獲取文件名合併加入,然後設置文件中的結果步進一個轉換,這樣如果需要也可以完成。

要使其自動化,您可以使用Kitchen.bat/Kitchen.sh從調度程序運行作業。由於我使用PostgreSQL很多,我使用PGAgent作爲我的調度程序,但Windows調度程序或cron也是如此。

希望有所幫助。

+0

寫一個水壺插件是一塊蛋糕,有很多的例子。鑑於原始的海報已經在談論編碼這個特定的部分無論如何,我確信他們可以處理它! – Codek 2013-02-24 18:53:57

+0

我相信他們也可以。我只是想說一個插件比一個轉換/作業更有效。我同意,雖然有一個步驟將是水壺的一個很好的補充。 – 2013-02-27 23:43:41