我試圖從一個函數傳遞一個值。scrapy從多個站點獲取值
我查了文檔,只是不明白。 REF:
def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] = item
yield request
def parse_page2(self, response):
item = response.meta['item']
item['other_url'] = response.url
yield item
這裏是什麼,我想才達到一個psudo代碼:
import scrapy
class GotoSpider(scrapy.Spider):
name = 'goto'
allowed_domains = ['first.com', 'second.com]
start_urls = ['http://first.com/']
def parse(self, response):
name = response.xpath(...)
price = scrapy.Request(second.com, callback = self.parse_check)
yield(name, price)
def parse_check(self, response):
price = response.xpath(...)
return price
你想要一個包含來自這兩個網站的信息的項目嗎?或每個網站一個項目? – eLRuLL
不,我不想要一個包含所有變量的對象,我想要不同的變量。如果這是不可能的,我必須,那麼一個對象。 – daniel