谷歌履帶或刮刀與所有搜索參數

我有一個100萬網站的網址列表，我有一個關鍵詞列表。我想用Google在這些網站上逐一搜索這些關鍵字;如果我發現一些意思是對我來說這是一個有效的URL。谷歌履帶或刮刀與所有搜索參數

我是谷歌搜索找到一些工具來做到這一點，我找到了兩個。

https://github.com/NikolaiT/GoogleScraper安裝完所有東西后，我發現這個刮板不支持「as_sitesearch」作爲搜索參數，所以我無法通過網站搜索。

是否有良好的工具來做到這一點？

你能解釋一下'as_sitesearch'的用法嗎？如果您想針對特定域運行Google查詢，則通常只需執行下列操作：'domain：stackoverflow.com php'。我認爲'site：'關鍵字也有特殊的含義。 – halfer 2014-12-03 12:05:04

@halfer在谷歌高級搜索頁面，你可以添加一個網站或域名，然後你會發現該鏈接是一個得到解決的名字＆as_sitesearch = – 2014-12-03 12:10:57

聽起來像我上面的替代方案將工作，然後。只需將這些子句中的一個添加到搜索字符串中即可。 – halfer 2014-12-03 12:11:40

我是程序員GoogleScraper。當您爲一百萬個關鍵字使用關鍵字文件時，您可以使用'as_sitesearch'參數。

只需使用GoogleScraper是這樣的：

GoogleScraper --mode selenium --keyword-file you-keyword.txt --proxy-file your-proxies

該文件你-keyword.txt樣子：

site:yourdomain.com some sneaky words site:yourdomain2.com some other words ...

要查看所有幫助：

GoogleScraper --help

乾杯

2014-12-23 13:09:46

回答