SEO蜘蛛只抓取首页,是什么原因,怎么解决?

现在让seoer挠头的不是排名问题,而是收录问题。一年来,百度调整了收录机制,很多网站都没有收录,更别说排名了。不过百度虽然不愿意收录,但总会收录的。如果只是首页而不是内页,那不仅仅是百度的问题。那么,百度爬虫只抓取第一页,是什么原因,如何解决?

1 .机器人协议

首先你要检查robots.txt文件的规则是否有问题。您可以通过输入:您的域名/robots.txt打开此文件,其中允许:哪些页面稍后发布,我们一般不会填写,而不允许:哪些页面禁止爬网。如果你不小心填写了网站的网址,就会导致蜘蛛不爬行。要解决这个问题,可以参考各大机器人。[分区][/分区][分区][/分区]

然后通过FTP或者服务器下载这个文件,一般放在后台根目录,修改后上传到根目录。[分区][/分区][分区][/分区]

2.网站内容

一般来说,机器人没有太多问题。如果不能,可以不设置,但是很多都是因为这个原因不包含,比如内页因为内容不包含。[分区][/分区][分区][/分区]

你可以通过查看网站日志来判断蜘蛛是否抓取了内页。如果它抓取了内页,但是没有收录,那么你要检查你网站的内容是否原创,对用户和搜索引擎是否有意义。如果是大量收集,不收录是对的,但不是没有爬行。你需要修改原创内容,提高原创性,提交网址,慢慢就收录了。[分区][/分区][分区][/分区]

3.新站沙盒

还有,如果是新站的话,只包括首页也是正常的。几乎每个新站百度都会给一个调查期。如果你是一个新域名,你逃脱不了沙盒期的命运,所以你不必感到太多的惊奇。保持内容更新,保持原始内容率就行了。一般一个多月后会有内页收录。当然,如果添加一定量的外链,沙盒周期会缩短。[分区][/分区][分区][/分区]

4.网站被黑了[区、[区、[区、[区

还有一个网站被黑,感染病毒或者恶意修改设置。一般我们可以通过ftp日志或者服务器杀毒找到并解决这个问题。所以要定期做网站备份,及时修补网站漏洞。还要注意密码的管理,防止密码的复杂性被穷尽破解。[分区][/分区][分区][/分区]

百度蜘蛛只抓取首页并不是特别常见,因为服务器被黑了。所以,如果遇到只包含首页,不包含内页的情况,首先要考虑前面的影响因素。[分区][/分区][分区][/分区]

总结:我们将讨论SEO蜘蛛只抓取首页的问题,为什么以及如何解决。以上内容仅供参考。[分区][/分区][分区][/分区]

蝙蝠侠IT https://www.batmanit.com/h/1871.html 转载需授权!

为您推荐

发表评论

邮箱地址不会被公开。