用C++

2010-09-20 38 views
1

解析robots.txt文件有任何庫檢查的robots.txt要不怎麼能我的權利在C++與提升的正則表達式,請用一些例子說明....用C++

+0

需要更多細節:robots.txt的格式和佈局是什麼?你在質疑如何使用正則表達式或如何閱讀? – 2010-09-20 17:16:28

+1

「Robots.txt」是網絡爬蟲的排除機制。見例如http://www.robotstxt.org/robotstxt.html。這是一個簡單的格式。 – MSalters 2010-09-21 07:10:58

+0

不確定爲什麼人們投票結束這個不是真正的問題。不過,它可能是http://stackoverflow.com/questions/3751387/what-is-wrong-with-this-boost-c-regex-code的重複。 – Brian 2010-09-22 20:26:51

回答

2

檢查出examples在Boost正則表達式庫。如果您編輯問題以更好地瞭解您在robots.txt文件中查找的內容,則可以使用Regex語法來幫助您。

例如,如果您正在嘗試查找文件中所有用戶代理的名稱,則可以使用類似這樣的表達式。

boost::regex expression("^User-agent:\s*(.*)");