SEO养蜘蛛攻略,收录其实很简单

众所周知,只有搜索弓蜘蛛抓取并收录的页面才能参与搜索结果排名的竞争,因此如何建立网站与搜索引擎蜘蛛的关系是站长们最关心的问题。

搜索引擎蜘蛛(也称为web蜘蛛和web爬虫)使用极其复杂的爬行策略,在互联网中遍历尽可能多的网站,也在保证网站的用户体验不受影响的综合考虑下抓取更有价值的资源。各大搜索弓|引擎每天都会发大量蜘蛛,起点通常是权重高的网站或者访问量大的服务器。

搜索引擎蜘蛛会沿着内外链入口访问更多的网站页面,并将网页信息存储在数据库中。就像图书馆一样,它把不同的书分类,最后压缩加密成一种他们可以阅读的方式,放在硬盘上供搜索用户获取。我们搜索的互联网就是这个数据库。

从搜索弓|蜘蛛爬行的原理来看,SEO站长要想训练蜘蛛定期爬行网站,要做到以下三点:

-定期更新高质量网站文章的内容

首先,搜索引擎蜘蛛喜欢抓取定期更新的网站。从某种意义上说,一个网站的更新频率与抓取频率成正比。即使网站前期没有蜘蛛抓取文章,也要定期更新。这样蜘蛛就可以获取并统计这个网站的更新规则,定期抓取新的内容,让更新后的网站文章能够尽快被抓取。

其次,原创性和新鲜感较高的文章更容易被蜘蛛捕捉和收录。如果网站中有大量重复的内容,会让蜘蛛觉得爬得太多没有意义,也会让搜索弓质疑网站的质量,甚至导致惩罚。& ldquo新鲜度& rdquo主要是指内容的知名度和有效性,最近的“大事件& rdquo,hot[gate event & rdquo;很容易被用户注意到,被蜘蛛抓取。

除了以上两点,关键词的分布对蜘蛛抓取也有重要影响。因为区分页面内容的一个重要因素是关键词,但是太多的关键词会被认为是& ldquo作弊& rdquo行为,所以关键词的分布应该控制在2%-8%左右的密度。

第二,保证服务器稳定运行

服务器的稳定性不仅关系到网站的用户体验,对蜘蛛爬行也有很大影响。站长要定期查看服务器状态,查看网站日志,查看是否有500状态码等标记,及时发现隐患。

如果网站遇到黑客攻击、服务器误删网站、服务器硬件瘫痪等问题,停机时间超过12小时,应立即开启百度站长平台的停机保护功能,防止百度误判网站上有大量无效和死链页面被抓取,及时修复网站和服务器。

服务器长期不稳定会导致蜘蛛有效抓取页面,降低搜索引擎的友好度,导致收录度和排名下降。所以网站一定要选择稳定的服务器。

第三,优化网站结构

如果网站内容不错,但页面很少收录,那多半是因为页面根本没有被蜘蛛抓取。这个时候网站要全面测试,包括Robots文件,页面层次,代码结构,网站链接等等。

1.机器人文件,全名& ldquo网络爬虫的排除标准& rdquo(机器人排除协议).该网站可以通过机器人协议告诉蜘蛛哪些页面可以抓取,哪些页面不能抓取。

2.页面层次表现在网站的物理层次和逻辑层次等多个方面。以逻辑层次的URL结构为例,内存方便、层次短、长度适中的静态URL受到搜索弓和蜘蛛的青睐。URL结构(用“/”标记)一般不超过4层。结构过于复杂不利于搜索|搜索,也影响用户体验。

3.网站代码类别和结构也会影响网页是否被蜘蛛抓取。比如IFRAME、JavaScript等代码,目前百度搜索弓蜘蛛无法有效理解和抓取,需要尽量少用这类代码。另外,代码过多会导致蜘蛛抓取不完整。

4.网站链接是网页之间的重量转移& ldquo入口& rdquo链接的数量和质量直接影响网页能否被蜘蛛抓取和记录。低质量的链接堆叠只会给网站带来毁灭性的灾难,并及时消除错误链接和死链接,从而减少蜘蛛对死链接的抓取时间。尽量从正规的和相关的网站获取回链接,以增加网站的权重。

此外,网站还可以为蜘蛛提供一些快捷渠道,比如sitemap。-一个结构清晰的网站地图,可以让搜索引导蜘蛛清晰地了解网站结构,从而成功地抓取整个网站页面。

通过高质量的内容更新、高质量的链接交换和合理的网站结构,搜索弓和蜘蛛可以更好地了解网站,抓取网站页面。但是不能发布一些与网站内容无关的页面,或者过度优化网站。因为只有真正用心去做,给用户带来价值的网站,才能被搜索引擎和用户喜欢。

转载自木易SEO博客,本文链接地址:http://www.muyiblog.com/2494.html

为您推荐

发表评论

电子邮件地址不会被公开。