百度网站抓取异常的原因有哪些 有什么影响和解决方法

这是白杨SEO在微信官方账号的第220篇原创文章。经常有朋友在我的SEO付费交流群或者私底下说,网站怎么又掉了,百度好像抓到了一个问题,是什么原因,怎么做的,今天就来分享一下。

大纲如下:

1.什么是抓取例外?百度变态爬行是什么?

2.百度异常爬行的原因是什么?

3.网站爬行异常的原因有哪些?

4.百度的异常抓取对网站有什么影响?

5.网站异常爬行的解决方案

抓取异常是什么?百度变态爬行是什么?

所谓爬行异常是指搜索引擎蜘蛛无法对网站页面进行爬行,网站的爬行异常就是爬行异常。具体原因如下。

百度的爬行异常是什么?简单理解就是baiduspider不能正常抓取,或者百度抓取不正常。如上图,来源在线。9月3日,百度蜘蛛来爬的时候,连接两次超时。

百度异常爬行的原因是什么?

百度异常抓取的原始原因可以分为两类,一类是网站异常,一类是链接异常。去哪里找,在百度搜索资源平台(https://ziyuan.baidu.com)上添加数据统计后& mdash抓取异常,如下图。

网站异常原因:

1.dns异常

当Baiduspider无法解析您网站的IP时,会出现DNS异常。可能你的网站IP地址不对,或者域名服务商已经封杀了Baiduspider。

你可以用WHOIS或者主机查询你网站的IP地址是否正确,是否可以解析。如果不正确或无法解决,请联系域名注册机构更新您网站的IP地址。

2.连接超时

获取请求的连接超时,可能是由于服务器过载或网络不稳定。

3.抓取超时

抓取请求的连接建立后,页面下载速度太慢,导致超时。可能原因:服务器过载,带宽不足。

4.连接误差

连接建立后无法连接或被对方服务器拒绝。

链接异常原因:

1.访问被拒绝

爬虫开始爬行,httpcode的返回代码是403。

2.找不到该页面

爬虫开始爬行,httpcode的返回代码是404。

3.服务器错误

爬虫开始爬行,httpcode的返回代码是5XX

4.其他错误

爬虫发起爬行,httpcode返回代码为4XX,不包括403和404。

上述403、404、4XX、5XX等。其实是网站的HTTP状态码。如果不太了解学生,可以看看这篇文章:白杨SEO:SEO初学者学习搜索引擎(百度)蜘蛛和网站的HTTP状态码,然后再学习。

网站爬行异常的原因有哪些?

网站爬行异常主要有五个原因:

1.服务器不正常

服务器连接异常最大的可能是网站服务器过大,过载。检查浏览器输入的域名是否被正常访问。服务器异常会导致蜘蛛无法连接到网站服务器,导致抓取失败。

2.域名过期

如果域名过期的网站无法访问,域名解析将无效。如果出现这种情况,可以联系你的域名注册商解决,看是不是蹲着,或者可以续费。

3.网络运营商异常

电信和联通都是属于网络运营商的网站,不能被蜘蛛访问。

如果电信或联通网络运营商有问题,请联系网络服务运营商或购买CDN服务。

3.设置robots.txt文件时出现的问题

robots.txt的主要功能是屏蔽一些不重要的文件,告诉搜索引擎这些页面不需要抓取,但是可能有重要的页面也屏蔽了,可以查看robots文件设置。

关于ROBOTS。TXT,你可以看到我之前写的这篇文章已经写了:

白杨SEO:新人学习SEO经常遇到的15个SEO术语。建议收藏

4.死链因素

原来正常链接是死链接。当死链接发送请求时,服务器返回404错误页面。死链的处理方案可以通过百度站长平台提交死链文件。

5.网站被挂了

网站被挂机了,你要查询挂机文件在哪里,删除。恢复网站,更改登录名和密码,重新设置安全密码,防止下次被挂机。如果找不到,建议直接更换整个建站程序,换成另一个程序。

百度的异常抓取对网站有什么影响?

如果网站上有大量蜘蛛无法正常抓取的内容,百度搜索引擎会认为网站在给用户的体验上存在缺陷(访问网站的用户得不到想要的,用户体验下降),从而降低对网站的评价。

而且网站的抓取、索引、权重都会受到一定程度的负面影响,更严重的是网站从百度获得的流量会直接受到影响。所以百度网站抓取异常非常严重,一旦发现,尽量解决。

怎么解决,继续往下看。

网站异常爬行的解决方案

1.出现5XX类型错误

在这些情况下,不是网站本身告诉搜索引擎它的5XX问题,有时候打开也很正常,那么为什么站长会在后台显示这个错误呢?

如果出现这种问题,100%是你的网站服务器造成的,某个状态码的含义,比如503,直接参考技术解决。如果技术还是解决不了,建议换个服务器。

2.爬行时出现域名系统错误

很多SEO新人发现网站打不开,会马上找网站服务商。但是域名DNS服务器也可能有问题。当网站出现问题,比如打不开,要马上确定是什么问题。

如果是域名的DNS问题,白杨SEO建议更换DSN。因为有些DSN有这个问题,以后可能会出现。

想换,就得换大一点的DNS服务商。比如阿里巴巴云收购王湾就不错。毕竟大公司稳定还是可以的。

3.存在爬行超时的问题

现在SEO排名已经到了用户为王的时代。如果用户不能在第一时间打开你网站的页面,他们会跳转到其他网站。和搜索引擎蜘蛛是一样的。如果第一时间抓不到,就会出现超时问题。

如上所述,这种爬行超时大多是由于带宽不足或网站页面过大造成的,因此建议如下解决方案:

(1)压缩大图片,不影响图片质量。

(2)减少使用网站等JS脚本文件类型,或者合并一些JS;把技术讲清楚。

(3)控制整个网站的页面长度,尤其是你的主页。很多人在自己网站的首页上做了十个屏幕,一般用户最多可以下拉三到五个屏幕。时间越长,整个负载需要的时间就越长。

(4)网页内部链接的数量。一般建议页面之间的内部链接数量不要超过500个。其实越多,蜘蛛就会爬下来。小网站基本没有这个问题。

总之,百度抓取网站异常的问题。建议找一个成熟的方案建一个网站,同时找一个像阿里巴巴云这样的大服务商。不要总想着省钱。淘宝可以建一个几百人的站,找一个不知名的服务商。其实不会花你什么钱。

为您推荐

发表评论

电子邮件地址不会被公开。