如何查看网站被百度抓取的情况?

百度用于抓取网页的程序叫做Baiduspider – 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

如何查看网站被百度抓取的情况?

查看日志的方式:

通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。

因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

如何查看网站被百度抓取的情况?

日志内容如下:

61.135.168.22 – – [11/Jan/2009:04:02:45 +0800] “GET /bbs/thread-7303-1-1.html HTTP/1.1” 200 8450 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
分析:

GET /bbs/thread-7303-1-1.html 代表,抓取/bbs/thread-7303-1-1.html 这个页面。

200 代表成功抓取。

8450 代表抓取了8450个字节。

如果你的日志里格式不是如此,则代表日志格式设置不同。

很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。

在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常。

提供域名被墙检测、DNS污染查询和域名301跳转。发布者:admin,转转请注明出处:https://www.jiupaicom.com/wangzhanyunying/5924.html

(0)
上一篇 2023年10月27日 上午9:26
下一篇 2023年10月27日 上午9:28

相关推荐

  • 网站被挂马该怎么处理?

    我有一个新闻网站,做了半年多,前几天发现被挂马了,现在已经出现风险了,应该怎么处理呢? 回答1:如果有备份的话直接拿备份替换,如果没有备份的话就找技术帮忙修改找到挂马的页面。 回答2:1、网站被黑,建议找程序,可以写代码,将不存在的URL,返回码变成404,这样,就能提交删除这些垃圾链接;2、目前网站被黑,生产的垃圾页面,域名/?xxxx这种返回码200,备…

    2023年11月19日
    00
  • 使用CDN怎么防止被攻击巨额欠费怎么办?

    目前打算使用阿里云或者腾讯云的CDN,但是一直担心网站被攻击导致短时间内巨额的欠费。有没有大佬介绍一下经验,怎么设置是比较安全的。欠费可以,一晚上给你欠费几百上千就太蛋疼了。大家有没有好的解决办法? 回答1:打开cc防御,现在每ip,没秒,访问次数,缩小页面大小,购买多个流量包,流量包用完会有短信提醒(发现被攻击直接回源,或者关闭站点)。 回答2:图文分离啊…

    2023年9月20日
    00
  • 新网站上线几天后更换新域名,搜索结果百度一直展示老域名

    这个月初上线了新网站,最初用的是a.com这个域名,上线后发现这个域名有黑历史,在搜外网友的建议下我们更换了新域名b.com,目前网站在日常更新。然后现在过去半个月了,百度搜索我们公司品牌词“七猫网络”还是展示的a.com这个域名结果,新网站通过品牌词“七猫网络”一直搜索不到,很急。投诉快照也没有找到入口,我就通过用户反馈提交过后也没有回应。 回答1:既然有…

    2023年11月19日
    00
  • 写文章关键词时候一般布局在哪里?

    我们都知道在网站SEO优化中内容建设很重要,其中内容建设就包括了SEO文章,目前来说,无论是资讯网站还是电商网站,都会通过SEO文章来做长尾关键词的排名进而获取流量。笔者曾经跟大家详细的说过SEO文章规范,本文就具体给大家讲解下写文章关键词时候一般布局在哪里。 如果大家在网上了解过一些资料,应该会看到四处一词这个说法,这其实说的就是文章关键词布局知识。那么到…

    2023年10月20日
    00
  • 现在还有必要做seo吗?

    在搜外问答看到有人建议没有绝对技术优势的情况下不要玩SEO,理由是SEO的成本高、见效的时间长、不确定因素多!不得不说,这些情况都是客观存在的,但这不意味着就不能玩SEO了。 SEO技术问题 从某个方面来说,SEO其实没有太多的技术可言,除了搭建网站时要做的那些页面结构、前端设计等,后续更加重要的是生产内容。而生产内容需要的SEO技术不多,掌握基本的SEO文…

    2023年10月14日
    00
  • 修改首页的description会不会被惩罚?会降权吗?

    感觉网站首页的description没有写好,所以想修改下这个页面描述,所以想知道修改首页的description会不会被惩罚? 回答:关于修改首页的description会不会被惩罚的问题,我们先来看看百度搜索官方怎么回答:这肯定是多想了,我们鼓励大家通过meta description来撰写网站的简介。只是过于频繁的修改,未必能及时反馈在摘要中。 笔者来…

    2023年10月30日
    00

发表回复

登录后才能评论