data-harvest

1熱度

1回答

我正在使用pycsw擴展來生成CSW文件。我從一個CKAN例如收集到的數據[1]，到另一個[2]，和我現在正在運行pycsw「貼紙load命令： paster ckan-pycsw load -p /etc/ckan/default/pycsw.cfg -u [CKAN INSTANCE] 我得到的錯誤： Could not pass xml doc from [ID], Error: Sta

0熱度

1回答

嵌套函數用於檢索R中的多個URL（帶身份驗證）中的數據

我的代碼如下設計用於通過API端點驗證數據（及其元數據），並將所有元數據返回到數據框。我想要創建一個嵌套的函數，爲另一個具有相同身份驗證的API端點重複這個相同的過程，並將第二個端點的結果附加到第一個端點，並將其結果添加到一個數據框中（它們都具有相同的數據結構和標頭）。我不知道在這個過程中，我應該把link_to_endpoint2，怎麼辦嵌套，結果追加等 get_data <- function

0熱度

1回答

使用DCAT擴展的收割機得到困難

我們一直在使用ckanext-dcat從遠程JSON源收穫，有時一些收穫工作沒有完成，必須從該源刪除所有數據集，這不是很方便但是一切都恢復正常，我不知道是否有辦法刪除一份工作。但現在我得到這個在收集消費者日誌： Traceback (most recent call last): File "/usr/lib/ckan/default/bin/paster", line 9, in <

0熱度

3回答

抓取新聞文章

有誰知道是否有標準/ API來抓取來自大多數最大新聞來源的新聞文章。我正在使用rss爲它們編制索引，但我想用更多的數據對它們進行分類，而不僅僅是它們的標題。

0熱度

1回答

數據收集在R：獲取嵌套的列表，選擇不公開，進行編輯，再窩回

下面的代碼收穫從網站的數據。我檢索列表列表，我想列出其中一個列表，然後編輯它，然後將其重新嵌入到數據中，然後將其嵌入到數據收到的表單中。下面是我的代碼，它沒有重新嵌套。 library(jsonlite) library(plyr) library(ckanr) library(purrr) library(dplyr) ckanr_setup(url = "https://energ

0熱度

2回答

使用PHP/JavaScript鏈接獲取有關網站訪問者的信息

有人試圖欺騙我，他們假裝成爲我的親密朋友之一，以羞辱我們兩個人。這個人創建了一個虛假的電子郵件帳戶，冒充這個人，並試圖從我身上獲取個人信息。我確信我的朋友，這不是他，現在我們試圖找出它是誰。我想給他們發送一個鏈接到某種PHP或JS頁面，至少收集關於他們的客戶端（瀏覽器，操作系統，可能是ISP位置？）的一些信息，然後將它們轉發給一個實際的網站（如YouTube視頻或其他）。對PHP有非常基本的了

0熱度

1回答

CKAN收割機「nav_named_link」錯誤

在CKAN，當我嘗試創建一個新的收穫來源我得到這個錯誤： Error - <class 'jinja2.exceptions.UndefinedError'>: 'ckan.lib.helpers.HelperAttributeDict object' has no attribute 'nav_named_link URL: https://127.0.0.1:5000/harvest/new

1熱度

3回答

使用python自動按下「提交」按鈕

我使用的巴士公司運行一個糟糕的網站（Hebrew,English），它使一個簡單的「從今天的A到B時間表」查詢惡夢。我懷疑他們正試圖鼓勵使用昂貴的SMS查詢系統。我試圖從網站收穫整個時間表，通過提交查詢每個可能的點到每個可能的點，這將總計約10K查詢。查詢結果出現在一個彈出窗口中。我對網絡編程頗爲陌生，但熟悉python的基本方面。什麼是最優雅的方式來解析頁面，從下拉菜單中選擇一個值，並按下「

-1熱度

1回答

學習數據採集

我想建立一個網站，將收穫來自數據： * *其它網站 Unfortenatly朋友的Facebook狀態，我不知道怎樣去採集數據。有人可以推薦一本書\教程嗎？如何接近這個領域？

0熱度

2回答

從單個單元格查找多個值

我有一個數據集，其中很多不同的類別和數據被塞進一個單元格。例如，我有個人的名字和百分比一個單元： Jess 15%, Frank 20%, Allan 50%, Steve 15% 我想找到可以查找並收穫一個人的名稱和相關百分比功能那個人來自那個單人牢房。