web-scraping

1熱度

1回答

我是編程新手，我需要幫助。試圖在golang上編寫gitlab scraper。當我試圖在多線程模式下獲取有關項目的信息時，出現了一些問題。下面是代碼： func (g *Gitlab) getAPIResponce(url string, structure interface{}) error { responce, responce_error := http.Get(url)

-1熱度

1回答

獲取...書面方式刮刀腳本

時yelp_soup沒有定義，我發現了錯誤： yelp_soup is not defined when writting scraper script 我不知道爲什麼，這是代碼從udemy過程中複製，但它爲他們工作。這是爲什麼？這是鏈接，從那裏我複製它作爲最後的手段GitHub的，但不工作： https://github.com/codingforentrepreneurs/30-Days-o

1熱度

2回答

歐元符號（Scrapy-Python）後刮的價值

我需要一個選擇器刮歐元符號（\ u20ac）後的值。 <Selector xpath='//*[@class="col-sm-4"]/text()' data=u'\r\n\t\t \u20ac 30.000,00'> 我嘗試了幾十個變種，我在這裏找到了stackoverflow和elsewere，但我不能得到它。邊像https://regexr.com/告訴我這樣的事情： respon

1熱度

1回答

夢魘）調用立即評估後（）

考慮下面的代碼片斷： nightmare .evaluate(function (resolve){ setTimeout(function() { resolve(null, 1234); }, 1500) }) .then(function (result) { console.log('SUCCESS', res

0熱度

1回答

非常簡單的Scrapy +飛濺項目

我正在開發一個非常簡單的Scrapy +飛濺項目來抓取JavaScript網站。這是我的代碼： splashtest.py： import scrapy from scrapy_splash import SplashRequest class SplashSpider(scrapy.Spider): name = 'splash_spider' def start_r

1熱度

2回答

從網站獲取國家/地區ISO代碼

我試圖以CSV或JSON格式檢索國家/地區的ISO代碼。我的代碼是如下： # ############################ $logFile = "$env:USERPROFILE\desktop\ISOCountry.log" Start-Transcript -Path $logFile -Append ####################################

0熱度

1回答

如何將html表數據解析爲swift中的字符串數組？

我正在開發一個iOS應用程序，我需要從swiftsoup庫鏈接中解析html。我已經做了。但它將所有表格數據顯示爲一個字符串。我需要獲取單獨的數據，這些數據應該存儲在單獨的數組中。下面是表： <table width="880" border="1" cellspacing="0" cellpadding="0"> <tr> <td width="81"><strong

0熱度

1回答

自動化谷歌播放音樂播放列表滾動與Python中的硒

因此，我試圖自動滾動我的谷歌播放音樂播放列表，但它沒有拿起，我什麼都沒有使用其他解決方案。正常滾動就像堆棧溢出一樣，但我認爲Google Music webapp使用了不同的東西。所以這是我到目前爲止我的代碼 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.

0熱度

1回答

R網絡掃描數據集

我想從聯合國糧農組織網站（http://www.fao.org/countryprofiles/en/）建立一個數據集。在此頁面中包含一組指向國家的鏈接。點擊此鏈接的任何一個鏈接將導致包含國家/地區新聞的特定國家/地區的頁面。這個想法是在數據集包括： Country name Country url (e.g. <http://www.fao.org/countryprofiles/ind

0熱度

1回答

Scrapy下面的鏈接沒有獲取數據

我想要遵循鏈接列表和每個鏈接的廢料數據與一個簡單的scrapy蜘蛛，但我有麻煩。在scrapy shell中，當我重新創建腳本時，它發送新url的get請求，但是當我運行爬網時，我沒有從鏈接中獲取任何數據。我找回的唯一數據來自在鏈接前被抓到的起始網址。如何從鏈接中抓取數據？ import scrapy class QuotesSpider(scrapy.Spider):