Django應用程序中robots.txt的推薦指令是什麼？

Question

目前我的django項目有以下結構。

./ 
../ 
app1/ 
app2/ 
django_project 
manage.py 
media 
static 
secret_stuff 

和我robots.txt看起來是這樣的：

User-agent: * 
Allow:/
Sitemap: mysite.com/sitemaps.xml 

我想知道以下事情：

1. 有哪些建議指示我應該添加到我的robots.txt 文件，因爲django文檔沒有提到這個話題。

2. 如何阻止機器人到達（索引）內容 secret_stuff和mysite.com/admin/目錄？

   Disallow: /secret_stuff  (Is that okay ?) 
       Disallow: /admin   (Is that okay ?) 
   

Answer 1

機器人的指令是不相關的Django框架，這就是爲什麼你不會找到它在Django文檔的任何信息。通常，由您決定允許什麼以及不允許在您的網站上進行搜索。

將robots.txt包含到Django項目中有不同的方法。我親自使用django-robots應用程序，它可以簡化您可以將robots.txt嵌入到您的項目中的方式。

沒有必要在每個項目中使用它。如果你發現它更簡單，你可以自己渲染txt文件。

我簡化了Django項目的robots.txt的樣子：

User-agent: * 
Disallow: /*.pdf 
Disallow: /*.ppt 
Disallow: /*.doc 
Disallow: /*.xls 
Disallow: /*.txt 

User-agent: Yandex 
Allow: /events 
Allow: /contests 
Allow: /schools 
Disallow: /admin 
Crawl-delay: 3 

User-agent: Googlebot 
Allow: /events 
Allow: /contests 
Allow: /schools 
Disallow: /admin 
Crawl-delay: 3 

Host: https://mysite.ru 
Sitemap: https://mysite.ru/sitemap.xml