【创业资讯】解读DuckDuckGo：另一个搜索引擎的故事

2018年有很多故事要写，但是到了最后一天，让我选一件事情来写，我想写的是duckduckgo这个搜索引擎。 选择它是有原因的。 这个搜索引擎成立于2008年，今年正好是它的第十个年头。

即使在今天，也没有多少人听说过这个搜索引擎。 上个月（2018.11），其日搜索量首次突破3000万次，多家科技媒体都在很小的篇幅内对此进行了报道。 还有中文报道，基本被当作“一句话新闻”对待，没有人多想。 这并不奇怪。 每天3000万次搜索听起来很大，但与整个搜索市场相比却微不足道。 作为对比，谷歌不再公布准确的每日搜索量，但根据前几年公布的数字和增长率，可以大致计算出来。 一般认为每秒有 40,000 到 80,000 次搜索。 即使使用最低的预测，Google也只需要750秒==12.5分钟就可以超过duckduckgo一整天的搜索量。

在搜索引擎市场，每天3000万次搜索量太小了，比雅虎的搜索量还要少几倍，大家都以为雅虎早就死了。 但相比之下，这款仅占搜索引擎市场0.x%的产品却存活了10年。 这是一个有趣的故事。 当你考虑到它不属于任何大公司并且是一个完全独立的搜索引擎时，这就更有趣了。 它是如何开始的、如何生存以及它的用户是谁？

10年已经足够长了。 2008年，苹果刚刚发布了iPhone 3G。 到了年底，第一款Android手机G1才刚刚在年底推出。 诺基亚仍然占据主导地位，而移动互联网才刚刚开始显现出它的影子。 回望2018年，这是一个完全不同的时代。 但当时搜索引擎市场已经成熟，建立一个新的通用搜索引擎听起来就像一个笑话。 要知道，搜索引擎市场最大的巨头谷歌已经成立10年了。 即使是其他语言的搜索，中文地区最大的百度成立于2000年，而俄语地区最大的Yandex则早于Google，早在20世纪90年代初就已存在。 就连最年轻的中文搜索引擎搜狗也早在2004年就成立了。2006年，搜狗就已经凭借拼音输入法占据了自己的一席之地。 到了 2008 年，没有人愿意再挑战这个市场了。

2008年的主流观点是不可能建立一个通用的搜索引擎。 一方面，竞争对手太强大。 它们都是上市公司，都非常富有，并且拥有忠实的用户或由于各种壁垒造成的基本垄断。 另一方面，竞争对手也太强大了。 一方面，搜索引擎系统需要花费大量资金，并且普遍认为需要筹集大量投资才能启动。 2007年下半年，金融市场笼罩在“金融危机即将来临”的恐惧之中，而金融危机终于在2008年下半年爆发。在那种市场情况下，没有哪个投资者会大量投入资金。在这样一个“乍一看什么也看不见”的项目中，钱。

但世界上总有一些例外。 Duckduckgo 就是这种例外的产物。 （为了缩短篇幅，下面使用官方缩写ddg）

加布里埃尔·温伯格并不是一名创业者。 在开始 ddg 项目之前，他开设了多家公司并生产了多种产品。 其中一家被认为是成功的，被另一家公司以 1000 万美元收购，而其他则失败了。 卖掉公司后，他希望下一个产品是他喜欢的方向，他可以继续这样做。 你喜欢什么？ 他不了解自己，所以他只是尝试一件一件地去做，不喜欢就放弃。 就这样，他尝试了近两年，终于来到了搜索引擎之路。

此时，2008年已经到来。 正如前面所说，现在绝对不是做搜索引擎的好时机。 我很清楚这一点，因为我当时也在做搜索引擎，但我们做的是搜索云服务系统，而不是一般的搜索。 即使这也不容易，当我有机会时，那是另一个故事了。

加布里埃尔决定自己创办一个搜索引擎。 按照Google“索引全球信息”的模式，这肯定是不可能的。 根据该模型，即使他出售前一家公司花费的 1000 万美元也可能不足以启动该项目。 于是他决定从一个简单的模式入手，即使用提供搜索API的产品，聚合其现场搜索结果，然后重新排序并在一个页面上呈现。 严格来说，这不是一个真正的搜索引擎。 这种方法有很大的局限性。 除了内容来源有限之外，从各个服务API取回数据拼接页面的过程非常慢，产品体验不佳。 但这终于是一个开始。 后来，他开始使用一系列开源软件来构建自己的爬虫系统并建立自己的索引，而不是仅仅依赖别人的搜索结果。 这个过程并没有那么复杂，开源工具Apache Solr就可以很好的满足需求。 特别是，ddg只针对英文市场，不存在搜索分词的难度，只面对有限的搜索源。 不会遇到指数体量大规模扩张的问题，整体投资可控。 此时的DDG就像是由简单的开源软件拼接而成的工具。 需要大量的人力来仔细部署各种结果并收集各种搜索源。 至于搜索技术本身，现阶段无需任何修改的开源软件就足够了。 用过的。

除了搜索页面之外，DDG还推了Instant Answers的概念，即直接在搜索结果页面上显示答案。 Google早在2007年就开始推广搜索产品onebox，并开始在标准搜索结果页面上显示一些独家内容，例如电影、书籍、购物等。 这些都是今天熟悉的搜索功能，但在 10 年前，这还是一个新概念。 如何精准命中用户搜索结果并展示在onebox中，需要复杂的算法和大量的历史搜索数据作为基础。 这对于数据积累和技术来说都是一个挑战。 与Google相比，ddg的做法就有点可笑了。 它只是抓取一堆常用的内容和关键字并将它们直接存储在数据库中。 这个解决方案与他们处理搜索本身相同，它不能称为搜索引擎，但它工作得很好。

2008年9月，DDG正式发布。 作为当时第一批用户，我使用后的感受是：“这东西能用吗？” 然后我默默地关上了窗户。 尽管在黑客新闻的讨论中，创始人Gabriel一次又一次表示“如果你坚持使用一周，你一定会喜欢它”。 我不知道当时谁会坚持使用一周，至少我没有。

不过，加百列并不在意大家没能坚持使用，他继续优化自己的产品。 尽管他走了与Google完全相反的路。 谷歌的做法是先定义算法和框架，然后让机器尽可能地完成它的工作。 例如，Google从一开始就确定了根据链接关系确定页面权重的模型，设计了Pagerank算法，然后实现了该算法。 之后程序根据算法，沿着页面之间的链接关系逐层抓取内容并建立索引。 ，用户输入关键词，点击索引中的关键词，根据Pagerank算法排序，并将结果呈现给用户。 人类不参与这个过程，他们的工作重点是优化算法和修补漏洞。 谷歌一直以“算法决定搜索结果，人们不干预”为荣。

DDG走的是完全相反的道路。 人们选择内容源，并决定哪些内容更重要并且应该放置在数据库中。 社区甚至可以贡献内容和即时答案结果……一切都是由人创造的。 DDG最多的代码是Perl和JavaScript，这足以说明他们几乎没有触及开源搜索系统的核心部分，而是使用一系列脚本将他们认为重要的结果塞到索引库中，并且放置一些他们认为是垃圾邮件的内容。 农场已从索引库中删除。 毕竟ddg从来没有过“索引全球信息”这样的宏伟梦想。

2009年，DDG提出了一个重要的概念，叫做“尊重隐私的搜索”。 更技术化的表达是“不跟踪用户行为，不存储用户搜索历史”。 这个概念在2009年听起来根本不重要。那还是一个每个人都认为“我热爱互联网，我愿意出卖我的隐私”的时代。 但在接下来的几年里，世界变得越来越快，现在已经成为ddg的核心竞争力之一。

到2010年底，ddg的日搜索量一直在4万、5万的水平上波动。 2009年，谷歌日搜索量已突破10亿次。 2011年1月，加布里埃尔只在旧金山租了一个高速公路广告牌一个月。 它说“谷歌跟踪你，我们不会。” 该广告牌引发了一轮好奇的媒体报道，广告效果明显体现在搜索量上，使ddg的日搜索量翻了一番，初步突破10万。 当时，科技行业的一些人士已经开始思考谷歌隐私政策的问题。 科技重镇旧金山的这块广告牌影响了这些人。

经过这一轮媒体报道，我又开始尝试DDG。 这次给我留下了很好的印象。 我常用的搜索，比如github/stackoverflow/wikipedia等网站，都已经索引得比较完整了。 虽然它的搜索范围仍然局限于有限的站点，但它已经可以解决一些问题。 这得益于加百列前两年的努力。 此时，这仍然是一家一人公司，只有创始人加布里埃尔一个人。 办公室和服务器仍然在加布里埃尔家的地下室。

这时候我开始将其设置为浏览器的默认搜索引擎。 我知道它不好用，但是我希望能为它贡献一点流量，希望这个流量能够帮助这个产品存在，这样就有了选择。 这种替代方案不必在功能上完全击败竞争对手，只要满足超出及格线的使用需求，就比没有好。

2011年底，坚持不融资的加布里埃尔终于为DDG筹集到了第一笔天使投资，并聘请了其第一位员工。 ddg发展的10年里，这应该是唯一的融资了。 不过，DDG真正快速增长的时代是在接下来的两年里逐渐开始的。 2013年，美国国家安全局外包雇员斯诺登逃亡香港，并向全世界宣布了美国政府监控互联网的棱镜计划。 人们终于开始第一次意识到，有证据表明，隐私问题不再无关紧要。 同样的问题，关于用隐​​私换取更好的搜索质量，在2008年，大多数人会回答“没问题”，但在斯诺登事件之后，至少有少部分人会回答“无法接受”。 DDG符合他们的理念。 怎样才能不泄露隐私呢？ 只是根本不存储不必要的私人数据。 5年后的今天，欧盟GDPR隐私数据保护【违规词】正式生效，更多人认同这一观点。 如今，逃离Google/Facebook已逐渐成为一种新时尚，而ddg已成为最好的搜索引擎替代品之一，并逐渐被内置为各种浏览器中的默认搜索引擎之一。

时至今日，这仍然不是一个“创业成功”的故事。 到目前为止，DDG只有50名员工，在搜索引擎市场上的市场份额几乎可以忽略不计。 不过它能存活至今，本身就是一件有意义的事情。

加布里埃尔在不打算筹集资金的3.5年里养成的习惯仍然主导着公司，并使其更加顽强地生存下去。 时至今日，ddg的主服务器已经转移到了亚马逊云服务上，但仍有许多组件仍然躺在Gabriel的地下室里——不需要立即响应的服务，比如抓取某些数据并将其加载到数据库中。 ，在自己的地下室完成这样的任务仍然比使用云服务便宜得多。 公司虽然有50人，但都分布在世界各地。 他们在地图上标记了每个人的位置。 几乎没有两个人在同一个城市，每个人都远程工作。 这可能是远程办公落实得最彻底的互联网公司了。

它的所谓“总部”只是宾夕法尼亚州一个小镇主街道上的一栋普通房屋，与另一家公司合用。 根据我的经验，每月租金不会超过1000美元。 如果想要更直观的印象，可以看一下街景照片：

除了DDG之外，我猜这个小镇最接近“科技”的公司就是一家维修手机、电脑的店。 至于为什么会被选中呢？ 从地图上看，这是距离创始人加布里埃尔家最近的小镇，​​大约有5英里远。

与任何其他科技公司不同，这些离经叛道的举动已经得到了回报，并使 DDG 成为一家盈利的公司。 利润来源很简单，他们只需通过关键词广告就能获得不错的收入。 他们还没有公布具体的收入数据，但他们推测自己应该算作富有的公司。 这些利润除了支持数十名员工并支付各种云服务费用外，还每年向各种开源项目和维护互联网自由的相关组织进行捐赠。 2018年，他们的捐款总额达到50万美元。 Ddg成功地将自己置于一个微妙的位置。 它拥有一定的市场份额和越来越多的忠实用户，但其坚定的隐私政策使得这个市场的大玩家不可能通过竞争将其淘汰，也不可能跟随它，更不用说收购它。 这种美妙的地位让它能够基于最初的信念继续存在，而不需要融资，不需要为了增长率而出售原则，也不需要上市。 一切似乎又回到了“只要做出好产品，自然就有用户”的老话。 对于2018年发生的事情，比如烧钱无数的共享单车大战，它们似乎发生在两个平行的世界。

在互联网已经成为资本游戏主导的时代，DDG的存在让很多人有勇气去做一些不一样的事情，一些在理性上似乎没有胜算的事情。 回顾这10年的历程，最艰难的应该是创始人Gabriel独自承担的最早的3年。 那时的他就像一个人走在大雾中的路上。 他不知道前方有多远，也不知道周围有什么。 只见一辆汽车呼啸而去。 没错，他刚刚把公司卖了，就有了1000万美元，生活也很安逸。 但大多数取得这种程度成功的人，都会把下一个目标定为“再次上市”，筹集更多的资金，更加努力地奋斗，绝对不愿意选择一条未知而孤独的道路。 你自己继续吧。

在ddg发展起来之后的几年里，更多的人开始尝试构建一个“在某种程度上取代Google”的搜索系统，比如法国的qwant和塞浦路斯的searchcrypt，都是类似概念的搜索引擎。 回到搜索本身，作为一个使用ddg 7年的用户，我的感受是什么？ 准确的说，随着ddg搜索范围的扩大，今天使用起来已经是很好的体验了。 DDD从2012年开始提供了一个名为!bang的功能。通过在搜索词前面添加前缀，您可以切换到其他搜索引擎。 例如“!g movie”会直接跳转到Google搜索关键字“movie”。 “!a switch”，会跳转到amazon.com搜索switch。 这个功能虽然简单，但却有效降低了尝试新搜索引擎的成本。 每个关键词用户可以先在DDG中尝试搜索，如果对搜索结果不满意，再转向Google。 我更直观的感受是，这些年来，我使用!g的比例已经越来越低了。 更有趣的是，谷歌越来越多地根据用户数据向不同用户展示不同的搜索结果。 结果就是ddg的搜索结果总是会和Google的不一样，并且你能得到一些Google上搜不到的结果。 。 这使得DDG更具竞争力。 它始终能够成为Google搜索结果的有效补充，而且它的使用价值越来越高。 2016年美国总统大选后，人们将其作为突破“信息平流层”的重要工具。

今天与10年前相比，互联网世界已经发生了翻天覆地的变化。 互联网普及率比10年前高很多，但大公司的垄断和资本力量也强大很多。 互联网的高普及率意味着无论需求多么小众，都可以找到足够的用户。 对于一个维持低成本运营的团队来说，通过满足这些用户来生存并不是那么困难的事情。 只是资本不会对你感兴趣。 市场火热的时候没有人愿意做这种事情，每个人都有一个上市的梦想。 但当市场进入冬季时，此类项目就变得非常有吸引力。

看看2008年的纳斯达克指数，你可能会对这个说法有更好的理解。

有人说，2019年将是未来十年最好的一年。 即便如此，对于整个世界来说也不一定是坏事。 或许它会给我们更多的选择？

说起这么一个小而实用、能自给自足、能生存下去的搜索引擎，连百万人口的塞浦路斯也有。 遗憾的是，中国地区还没有这样的产品。 我的一个朋友曾经想建立一个中文医疗搜索引擎。 每个人都抱怨没有可靠的医疗信息搜索，但显然有这种需要。 但原公司以竞业禁止诉讼的方式拖延了此事，导致该项目长期无法实际开展。 希望他在2019年能够摆脱这些烦恼，真正做好这个产品。