爲什麼我們必須在網站應用程序中寫入robots.txt？

Question

我不知道爲什麼robots.txt文件使用很多網站。

任何人都可以解釋我如何幫助我們的網站或網頁。

讓我知道如何寫（語法和什麼關鍵字）robots.txt文件。

感謝你

Answer 1

它列出了你不想機器人打的網址，這樣可以保持頁面進行搜索索引和被反覆打擊通過自動化的流程停止CPU密集型腳本。

的語法在robotstxt.org描述並基本上是一系列的：

User-agent: $PATTERN 

每個

後跟任意數量的

Disallow: $PATH_PREFIX 

Answer 2

請參DOC用於與robots.txt的所有信息。它基本上用於網頁的搜索引擎索引。