4
我對一個網站感到好奇,並且想要在/s
路徑上執行一些網絡爬行。 Its robots.txt:美元符號在robots.txt中的含義
User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki/
Allow: /cgi-bin/loginpage
Disallow:/
我的問題是:
什麼是美元符號在這種情況下,是什麼意思?
是否適合抓取URL
/s
?關於robots.txt文件?