2017-09-26 148 views

回答

0

的想法是以下幾點:

當您從cmd運行蜘蛛可以粘貼額外的參數,例如:scrapy crawl myspider -s JOBDIR=crawls/somespider-1

當您在端點schedule.json使用Scrapyd你也可以粘貼一些設置。如果您正在使用scrapyd-client這將是這樣的:

s = {'JOBDIR': 'crawls/somespider-1'} 
job = api.schedule(project_name, spider_name, settings=s) 

後,您可以取消作業。下一次,當你將運行同樣的工作--retrieyd恢復以前的工作

+0

對不起,我不明白在哪裏寫這個選項。如果我運行爬蟲:(curl http:// localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider)我應該在哪裏粘貼你的代碼? – Pachvarsh

+0

在這種情況下,你可以這樣撥打電話:'curl localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1' – AndMar

+0

不幸的是,不管工作。當我恢復這樣的工作:'curl localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1 jobid = 3123asds5f34141asdfesw324'新的解析從頭開始,只有一個日誌是相同的 – Pachvarsh