华为移动搜索AspiegelBot爬虫被发现高频爬取

华为移动搜索AspiegelBot爬虫被发现高频爬取 华为 搜索引擎 微新闻 第1张

继上一次针对网站信息暴力抓取的标题搜索之后,华为移动搜索(Huawei Mobile Search AspiegelBot)爬虫最近被网站管理员发现,开始对网站信息进行高频抓取,这与网站管理员的标题相似。

华为移动搜索AspiegelBot爬虫被发现高频爬取 华为 搜索引擎 微新闻 第2张

据了解,AspiegelBot爬虫主要是模拟安卓进行爬行,而UA标识并不表示爬虫的公司信息。很明显,人们不想知道这个爬虫属于华为搜索的子公司阿斯皮格尔伯特公司。此外,AspiegelBot的爬行器的超高频爬行甚至可以与标题爬行器的最后一次猛烈爬行相媲美。许多被抓取的小网站被直接瘫痪,并开始阻止华为访问AspiegelBot爬虫。

一位网站管理员说:这一次,华为移动搜索网站AspiegelBot爬虫以与网站管理员标题相同的高频率爬行,它还爬行了大量网站信息。一般来说,搜索引擎只有在开始建立大量索引数据库时才会这样做。这是他们刚上线时的例行标题搜索。看来华为搜索也准备进入网站了!

为您推荐

发表评论

电子邮件地址不会被公开。