2012-07-09 78 views
3

我的項目中有多個蜘蛛,因此決定通過上傳到scrapyd服務器來運行它們。 我已經上傳了我的項目成功地,我可以看到所有的蜘蛛當我運行命令使用scrapyd運行多個蜘蛛

當我運行以下命令給出的,因爲只有一個蜘蛛的

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2 

只有一個蜘蛛運行

curl http://localhost:6800/listspiders.json?project=myproject 

,但我想在這裏運行多個蜘蛛,所以下面的命令適合在scrapyd中運行多個蜘蛛?

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider1,spider2,spider3........ 

,我稍後會運行使用cron作業我的意思是如果你想運行使用scrapyd多種蜘蛛,安排他們一個接一個,我會安排此運行頻繁

回答

2

此命令。瑞德將以相同的順序運行它們,但不能同時運行它們。

參見:Scrapy 's Scrapyd too slow with scheduling spiders

+0

是我的意思是,用一個命令,不是所有同時運行所有的蜘蛛。在使用多個蜘蛛程序部署項目後,如何使用scrapyd來安排它們,上述命令是否有用? – 2012-07-09 08:37:33

+0

你的命令無效。 http://doc.scrapy.org/en/latest/topics/scrapyd.html#sdudu-json表示'spider'參數應該包含蜘蛛名稱,但是您提供了一個由逗號分隔的蜘蛛名稱列表。而不是執行'http:// localhost:6800/schedule.json -d project = myproject -d spider = spider1,spider2' do'http:// localhost:6800/schedule.json -d project = myproject -d spider =如果我們這樣做,我預計這將是「scrapy crawl spider_name」命令,然後是「http:// localhost:6800/schedule.json -d project = myproject -d spider = spider2」等等 – warvariuc 2012-07-09 09:25:58

+0

然後爲什麼我們把這個上傳到了scrapyd服務器,假設如果想通過cron作業來運行所有這些,我需要將所有的命令寫入多於一行的權利? – 2012-07-09 10:36:40