今天看了下网站的流量，发现大部分的流量都是用户登录所致，那么请问这种不做排名的登录页面用不用做robots?我看了网站日志没有发现爬虫抓取这个登录页面的记录，但是用百度抓取诊断这个链接也能抓通。
回答1:没啥影响吧，我看自己网站的登录页面也收录了。
回答2:针对这个Robots可以做两点:a、robots不要屏蔽这个页面的文件及文件夹；b、确保robots里面的Sitemap地址中有这个登录页面的地址。
回答3:这个不用Robots封禁掉，不影响。
回答4:a、首先没有爬虫抓取去抓取这个登录页面，及时抓取收录了，也不影响你其他的页面的抓取爬行，所以刻意去屏蔽他没有必要；2、这些流量来源，可能是用户的直接搜索导致，这很常见的，例如我们登录百度推广，就必须先登录百度推广的页面，输入账户密码，同理，你的是需要输入账户密码的页面，出现这种情况正常。ps:抓取诊断正常，如果返回码异常，意味着就打不开页面，用户也无法登录，正常200没问题。
回答5:可以做，我的注册登录页面都做了，对排名没有影响。我觉得，凡是不参与排名的，或者垃圾页面，都可以做Robots。
提供域名被墙检测、DNS污染查询和域名301跳转。发布者：admin，转转请注明出处：https://www.jiupaicom.com/wangzhanyunying/4937.html
