如何使用Python 2.7遵守robots.txt？

Question

我嘗試使用Python2.7抓取整個網站：

• 我使用robotparser
• 我打開每一個環節「a」到網站，並
• 我將它們添加到分析的robots.txt文件要檢索的頁面列表 關鍵是： 我試圖避免Robots.txt文件中的所有路徑，但它們仍然在要爬網的頁面列表中。

如何從我的爬網列表中刪除Robot.txt路徑？

我cound't找到任何幫助，通過計算器呢。

我的代碼波紋管：

import robotparser 
 
import urlparse 
 
import urllib 
 
import urllib2 
 
from BeautifulSoup import * 
 

 
AGENT_NAME = 'PYMOTW' 
 
URL_BASE = 'website' 
 
urls = [URL_BASE] 
 
visited = [URL_BASE] # Create a copy 
 
parser = robotparser.RobotFileParser() 
 
parser.set_url(urlparse.urljoin(URL_BASE, 'robot.txt')) 
 
parser.read() 
 
PATHS = [ 
 
    '/..../', 
 

 
    ] 
 
for path in PATHS: 
 
    print '%6s : %s' % (parser.can_fetch(AGENT_NAME, path), path) 
 
    url = urlparse.urljoin(URL_BASE, path) 
 
    print '%6s : %s' % (parser.can_fetch(AGENT_NAME, url), url) 
 
    robot = [url] 
 
while (len(urls) > 0 and robot != True): 
 
    html = urllib.urlopen(urls[0]).read() 
 
    soup = BeautifulSoup(html) # Parse All HTML using BeautifulSoup 
 
    urls.pop(0) 
 
# Retrieve all of Tags as a list 
 
    for tags in soup.findAll('a', href = True): 
 
     tags['href'] = urlparse.urljoin(URL_BASE, tags['href']) 
 
     if URL_BASE in tags['href'] and tags['href'] not in visited: 
 
      urls.append(tags['href']) 
 
      visited.append(tags['href']) 
 
     c = len(visited) 
 
print visited 
 
print 'page visited', c

Answer 1

你在你的腳本有幾個錯誤。

我重構了很多，並試圖解釋。

1. 首先，您使用的是循環，當你想要做遞歸（爲每個 頁，你得到的，你得到的鏈接和重做的過程）。
2. 然後出於某種原因，我不知道，urlparse.join失敗...（您的網址被截斷），所以我手動concat。
3. 美麗的湯是沉重的，所以我重構，只解析鏈接，而不是整個頁面。一個頁面可以有相對和絕對的鏈接，所以你需要處理兩者。
4. robotparser似乎很蠢，路徑必須準確（/test和/test/對他來說是不一樣的）。他同時如果在robots.txt中沒有指定他們（測試http://example.com/test比賽*/test但不/test ...）
5. 編輯不明白完整的URL：我通過過濾匹配的URL取得腳本有點多強大。

這給我：

import robotparser 
import urlparse 
import urllib 
from BeautifulSoup import BeautifulSoup, SoupStrainer 

AGENT_NAME = 'PYMOTW' 
URL_BASE = 'http://www.dcs.bbk.ac.uk/~martin/sewn/ls3' 
DOMAIN = urlparse.urlparse(URL_BASE).hostname 
visited = ['/'] # Create a copy 

parser = robotparser.RobotFileParser() 
parser.set_url(URL_BASE + '/robots.txt') 
parser.read() 


def process_url(url): 
    # transform relative paths 
    parsed_path = urlparse.urlparse(url) 
    if not parsed_path.hostname: 
     url = URL_BASE + url 

    # check domain 
    if parsed_path.hostname != DOMAIN: 
     print 'External domain ignored: %s' % parsed_path.hostname 

    # ensure we are allowed to fetch url 
    if not parser.can_fetch(AGENT_NAME, parsed_path.path): 
     print 'Not allowed to fetch %s' % parsed_path.path 
     return 

    # ensure we did not already visit it 
    if url in visited: 
     print 'Ignoring already visited %s' % url 
     return 

    print 'Visiting: %s' % url 
    html = urllib.urlopen(url).read() 
    visited.append(url) 
    links = BeautifulSoup(html, parseOnlyThese=SoupStrainer('a', href=True)) 

    # Retrieve all of Tags as a list 
    for link in links: 
     parsed_link = urlparse.urlparse(link['href']) 
     if len(link['href']) is 0: 
      print 'Ignoring empty link' 
     elif link['href'][0] == '#': 
      print 'Ignoring hash link %s' % link['href'] 
     elif parsed_path.hostname and parsed_link.scheme not in [None, 'http', 'https']: 
      print 'Ignoring non http(s) links %s' % link['href'] 
     else: 
      process_url(link['href']) 

PATHS = [ 
    '/testpage.html', 
    '/files/', 
    '/images/', 
    '/private/' 
] 
for path in PATHS: 
    process_url(path)