解读DuckDuckGo:另一个搜索引擎的故事

2018年有很多故事要写,但是在一天结束的时候,让我选择一件事来写。我想写关于搜索引擎duckduckgo。选择它是有原因的。这个搜索引擎成立于2008年,仅仅是第10年。

解读DuckDuckGo:另一个搜索引擎的故事 搜索引擎 好文分享 第1张

即使是今天,也没有多少人听说过这个搜索引擎。上个月(2018.11),其每日搜索量首次超过3000万次,许多科技媒体在很小的页面上报道了此事。也有中文报道,基本上是对“一句新闻”的处理。没人想太多。这不是意外。每天3000万次搜索听起来不小,但在整个搜索市场上却微不足道。相比之下,谷歌早就停止每天发布精确的搜索,但根据前几年发布的数字和增长率,它可以粗略计算,通常被认为是每秒40,000到80,000次搜索。即使预测最低,谷歌只需要750秒==12.5分钟就能超过duckduckgo的全天搜索量。

在搜索引擎市场,每天3000万次搜索太小,比人人都认为早已消失的雅虎搜索少几倍。然而,相比之下,这种只占搜索引擎市场0.x%的产品却存活了10年。这是一个有趣的故事。更有趣的是,它不属于任何大公司,是一个完全独立的搜索引擎。它是如何开始的,它是如何生存的,它的用户是谁?

十年够长了。2008年,苹果公司刚刚发布了iPhone 3G。接近年底时,安卓的第一款手机G1直到年底才上市。诺基亚仍然占据主导地位,移动互联网刚刚有了一点影子。回顾2018年是一个完全不同的时代。但当时,搜索引擎市场已经成熟,成为一个新的通用搜索引擎听起来像是一个笑话。你知道,搜索引擎市场最大的巨头谷歌已经存在了10年。即使对于其他语言的搜索,中国地区最大的百度也是在2000年成立的,而俄罗斯地区最大的yandex早于谷歌,自20世纪90年代初就存在了。甚至最年轻的中国搜索引擎搜狗,早在2004年就建立了。2006年,搜狗已经有了自己的拼音输入法。到2008年,没有人想再挑战这个市场了。

2008年的主流观点是不可能成为一个通用搜索引擎。一方面,竞争对手太强,所有上市公司都非常富有,都有忠诚的用户或由各种壁垒造成的基本垄断。另一方面,搜索引擎系统成本很高,人们普遍认为需要大量投资才能启动。2007年下半年,金融市场笼罩在“金融危机即将来临”的恐惧之中。金融危机终于在2008年下半年爆发。在这种市场情况下,没有一个投资者会在这种“一目了然,没有机会”的项目上投入大量资金。

但是世界上总有一些例外。鸭嘴兽就是这一例外的产物。(为了缩短长度,下面使用官方缩写ddg)

加布里埃尔·温伯格(Gabriel Weinberg)不是一名创业新人。在开始ddg项目之前,他已经开了很多公司,生产了几个产品。其中之一是成功的。他被另一家公司以1000万美元的价格收购,其他人都失败了。卖掉公司后,他希望下一个产品会是他喜欢的方向,并将继续这样做。你喜欢什么?他自己并不知道,所以他只是试着一次做一个区域,如果他不喜欢就放弃。就这样,他又尝试了将近两年,最后他走上了搜索引擎的道路。

此时,是2008年。如前所述,现在绝对不是成为搜索引擎的好时机。我很清楚这一点,因为当时我也在做一个搜索引擎,但是我们在做一个搜索云服务系统,而不是一个普通的搜索。尽管如此,这并不容易。这是另一个故事,我会再讲一遍。

加布里埃尔决定自己启动一个搜索引擎。根据谷歌的“索引全球信息”模式,这当然是不可能的。根据这一模型,他可能无法通过投入他出售给上一家公司的全部1000万美元来启动这个项目。因此,他决定从一个简单的模式开始,也就是说,使用提供搜索API的产品在网站中聚合他们的搜索结果,并重新排序它们以便在页面上显示。严格来说,这不是一个真正的搜索引擎。这种方法有很大的局限性。除了有限的内容来源,从每个服务API中检索数据镶嵌页面的过程很慢,产品体验也不好。然而,这终于是开始,之后他开始用一系列开源软件建立自己的爬虫系统,建立自己的索引,不再仅仅依赖他人搜索结果的拼接。这个过程并不复杂,开源工具Apache Solr可以很好地满足需求。特别是,ddg只针对英语市场,英语市场在搜索分词方面没有困难,并且只面临有限的搜索来源。不会遇到指数量大规模扩张的问题,整体投资可控。Ddg在这个时候似乎是一个拼接简单开源软件的工具。仔细分配各种结果和收集各种搜索来源需要大量的人力。至于搜索技术本身,在这个阶段不做任何改变的开源软件就足够了。

除了搜索页面,ddg还推出了即时答案的概念,即直接在搜索结果页面上显示答案。谷歌早在2007年就开始推广其搜索产品onebox,并开始在标准搜索结果页面上显示一些专有内容,如电影、书籍、购物等。今天,这些都是熟悉的搜索功能,但10年前,这还是一个新概念。如何准确命中用户的搜索结果,如onebox所示,需要复杂的算法和大量的历史搜索数据作为基础,这在数据积累和技术上都是一个挑战。与谷歌相比,Ddg的方法有点可笑。它只是抓取了一堆常用的内容和关键词,并直接保存到数据库中。这个解决方案和他们处理搜索本身是一样的。它不能被称为搜索引擎,但它几乎不能工作。

2008年9月,ddg正式发布。作为当时的第一批用户,我使用它后的感觉是:\”这个东西能工作吗?\”然后悄悄地关上了窗户。尽管在讨论黑客新闻时,创始人加布里埃尔一再表示,“如果你坚持一周,你肯定会喜欢它”。我不知道那时谁会坚持用它一周,至少我不能。

然而,加布里埃尔不在乎是否每个人都不能坚持下去。他继续优化他的产品。尽管他正走在谷歌的对立面。谷歌的方法是首先建立算法和框架,然后让机器尽可能地工作。例如,谷歌初步确定了根据链接关系确定页面权重的方式,设计了Pagerank算法,并实现了该算法。然后,程序根据页面之间的链接关系逐层抓取内容,建立索引,用户输入关键词,点击索引中的关键词,按照Pagerank算法排序,并将结果呈现给用户。人们不参与这个过程,他们的工作集中在优化算法和修补漏洞上。谷歌一直引以为豪的是,“算法决定搜索结果,人们不会干涉它们。”

Ddg走的是完全相反的道路。人们选择内容来源,人们决定哪些更重要,应该放在数据库中。甚至社区也可以贡献内容和即时回答结果……所有人都在做决定。大多数ddg代码是由perl和javascript完成的,这足以表明它们几乎没有触及开源搜索系统的核心部分。他们只需使用一系列脚本将他们认为重要的结果放入索引数据库,并将一些他们认为是垃圾邮件的内容场从索引数据库中移出。毕竟,ddg从未有过如此宏大的“索引全球信息”的梦想。

2009年,ddg提出了一个重要的概念,叫做“尊重隐私的搜索”。更专业的说法是“不跟踪用户行为,不存储用户搜索历史”。这个概念在2009年听起来并不重要,当时每个人都认为“我爱互联网,我愿意出卖我的隐私”。但是在接下来的几年里,世界变得越来越快,现在它已经成为ddg的核心竞争力之一。

截至2010年底,ddg的日搜索量在4万至5万之间波动,而谷歌的日搜索量在2009年超过10亿次。2011年1月,加布里埃尔在旧金山租了一个高速公路广告牌一个月,只有一个月。它说,“谷歌追随你,我们不会。”广告牌引发了一轮奇怪的媒体报道。广告效果明显地反映在搜索量上,ddg的每日搜索量翻了一番,超过了10万。当时,科技行业的一些人已经开始思考谷歌隐私策略的问题。旧金山这个主要科技城市的广告牌影响了这些人。

解读DuckDuckGo:另一个搜索引擎的故事 搜索引擎 好文分享 第2张

在这一轮媒体报道之后,我开始再次尝试ddg。这一次给了我一个好印象。我通常的搜索,比如github/stackoverflow/wikipedia,已经被完全编入索引。虽然它的搜索范围仍然局限于有限的网站,但有些问题是可以解决的。这是由于加布里埃尔在过去两年的辛勤工作。到这个时候,这仍然是一个人的公司,只有创始人加布里埃尔一个人。办公室和服务器仍在加布里埃尔的地下室。

此时,我开始将其设置为浏览器的默认搜索引擎。我知道这不容易使用,但我希望我能为他贡献一点流量,并希望这种流量能帮助产品生存下来,这样就有了选择。这种选择不一定要在功能上完全击败竞争对手,只要它能满足超越通过线的使用需求,就比没有好得多。

2011年底,坚持不融资的加布里埃尔最终向ddg Finance进行了第一笔天使投资,并雇佣了第一名员工。这应该是十年发展中唯一的融资。然而,ddg真正快速增长的时代是在接下来的两年才逐渐开始的。2013年,美国国家安全局外包员工斯诺登逃到香港,向世界宣布美国政府正在监控互联网的棱镜计划。人们终于第一次开始意识到,有证据表明隐私不再无关紧要。对于同样的问题,为了用隐私来换取更好的搜索质量,在2008年,大多数人会回答“没问题”,但在斯诺登事件后,至少有一小部分人会回答“不可接受”。Ddg符合他们的想法。怎样才能不泄露隐私?只有当根本不存储不必要的私有数据时,才能做到这一点。五年后的今天,欧盟的《GDPR隐私数据保护[违规条款》已经生效,越来越多的人同意这一观点。逃离谷歌/脸书已经逐渐成为一种新时尚。ddg已经成为最好的搜索引擎替代品之一,并逐渐被各种浏览器构建成默认搜索引擎之一。

到目前为止,这还不是一个“成功创业”的故事。到目前为止,ddg只有50名员工,在搜索引擎市场上的市场份额几乎可以忽略不计,但它能够生存到今天本身就是一件有意义的事情。

加布里埃尔3.5年不计划筹资的习惯仍然主导着公司,并使其更加顽强。直到今天,ddg的主服务器已经转移到了亚马逊云服务,但许多组件仍然在Gabriel的地下室里——那些不需要立即响应的服务,例如捕获一些数据并将其加载到数据库,仍然比在地下室里使用云服务便宜得多。虽然公司有50人,但他们都分布在世界各地。他们在地图上标出了所有人的位置。几乎没有两个人在同一个城市,而且都在远程工作。这可能是实施远程办公最彻底的互联网公司。

解读DuckDuckGo:另一个搜索引擎的故事 搜索引擎 好文分享 第3张

它所谓的“总部”只是宾夕法尼亚州一个小镇主要街道上的一栋普通房子,与另一家公司共用。根据我的经验,每月租金不会超过1000美元。如果你想有一个直观的印象,你可以看看街景照片:

解读DuckDuckGo:另一个搜索引擎的故事 搜索引擎 好文分享 第4张

除了ddg,我想这个镇上最接近“技术”的公司是修理手机和电脑的商店。至于为什么选择它?从地图上我可以看到,这是离创始人加布里埃尔家最近的城镇,大约5英里远。

这些完全不同于其他科技公司的非常规措施是卓有成效的,这使得ddg一直是一家盈利的公司。利润的来源很简单,他们只依靠关键词广告来获得良好的收入。他们没有公布具体的收入数字,但据推测,他们应该被视为富有的公司。除了支持数十名员工和支付各种云服务,ddg还每年为各种开源项目和维护互联网自由的相关组织捐款,2018年其捐款总额达到50万美元。Ddg成功地将自己置于一个微妙的位置。它有一定的市场份额,拥有越来越多的忠实用户。然而,其坚定的隐私政策使得这个市场的主要参与者不可能通过竞争来消除它,遵循它,甚至更不可能获得它。这一美妙的头寸使它能够按照最初的信念生存,没有融资,没有销售增长率原则,也没有上市。似乎事情又回到了“你只需要做好产品,用户自然会来”的老路。至于2018年发生的事情,比如数不清的、耗费金钱的共享自行车大战,它们似乎发生在两个平行的世界。

在一个互联网已经被资本游戏主宰的时代,ddg的存在给了许多人勇气,给了他们做不同事情的机会,而理性似乎没有获胜的机会。回顾这10年的历史,最困难的应该是创始人加布里埃尔独自度过的前3年或更长时间。那时,他独自一人在大雾中沿着一条路走着,不知道前方有多远,不知道周围有什么,只看到汽车呼啸而过。是的,他刚刚以1000万美元卖掉了公司,他对生活没有任何担忧。然而,大多数已经达到这种成功水平的人会把他们的下一个目标定为“成为另一家上市公司”,以筹集更多的资金和进行更艰苦的战斗,他们绝对不愿意选择一条未知和孤独的道路自己走下去。

在ddg发展后的几年里,越来越多的人开始尝试制作一个“在一定程度上取代谷歌”的搜索系统。例如,法国的Q Wang和塞浦路斯的searchencrypt都是概念相似的搜索引擎。回到搜索本身,7年来我作为ddg用户的感受是什么?确切地说,随着ddg搜索范围的扩大,它在今天已经得到了很好的应用。Ddg提供了一项名为!Bang的功能是给搜索词添加一个前缀,以切换到其他搜索引擎。比如”!电影”将直接跳转到谷歌搜索关键词“电影”。\”!一个开关”,就会跳到Amazon.com的搜索开关上。这个功能非常简单,但它有效地降低了尝试新搜索引擎的成本。每个关键词用户都可以先尝试ddg搜索,如果他们对搜索结果不满意,可以求助于谷歌。我更直观的经验是,这些年来,我已经习惯了!g的比例越来越低。更有趣的是,谷歌倾向于根据用户数据向不同用户显示不同的搜索结果。因此,ddg的搜索结果总是不同于谷歌的,一些在谷歌上找不到的结果也可以获得。这使得ddg更具竞争力,它总是可以成为谷歌搜索结果的有效补充,其使用价值也越来越高。2016年美国总统大选后,人们将DDG作为突破“信息同温层”的重要工具。

与10年前相比,互联网世界发生了巨大的变化。互联网普及率比10年前高得多,但大公司的垄断和资本实力也强得多。高互联网渗透率意味着即使很少一部分人也能找到足够的用户,低成本团队通过满足这些用户来生存并不困难。只有资本对你没有兴趣。这种事情没有人想在市场热的时候做,每个人都有上市的梦想。但当市场进入冬季时,这种项目很有吸引力。

看看2008年纳斯达克指数,你可能会对这一说法有更多的感受。

解读DuckDuckGo:另一个搜索引擎的故事 搜索引擎 好文分享 第5张

有人说2019年将是未来十年中最好的一年。即便如此,这对整个世界来说也不一定是件坏事。也许它会给我们更多的选择。

说到这种小而有用的能养活自己的搜索引擎,即使是拥有一百万人口的塞浦路斯,也很遗憾在中文领域没有这种产品。我的一个朋友曾经想成为一名中国医学搜索引擎。每个人都抱怨没有可靠的医疗信息搜索,这显然是一种需求。然而,前公司以不竞争诉讼推迟了该案,从而使该项目长期无法进行。我希望他能在2019年摆脱这些麻烦,真正制造出这款产品。

资料来源:霍举& # 39;s BLOG

为您推荐

发表评论

电子邮件地址不会被公开。