分布式网络中的搜索引擎

本文由IPFS原力区收集译制

虽然搜索中立性可能值得商榷，但很明显，谷歌的市场份额超过90%、季度收益超过300亿美元的集中式搜索引擎远非理想。垄断不仅在经济上效率低下，而且增加了审查和搜索偏见的机会。

如果要在分布式web上查找信息，集中式搜索引擎似乎有违直觉，因为它违背了分布式web的基本原则。这就是为什么我们目前正在努力为我们的project Dweb.page创建第一个功能齐全、完全分布式的搜索引擎。

问题

尽管前面提到了当前搜索引擎的缺点，但我们相信，多种原因导致了改变现有模式的困难。与此同时，分布式和完全透明的Dweb搜索引擎也面临着一系列挑战:

1.速度:分布式搜索引擎的速度至少要和现有的解决方案一样快，基于分布式账本的交易时间存在很多问题。

2.设备独立性:如今越来越多的人使用手机;分布式搜索引擎需要在pc和移动电话上运行，而不需要任何集中式后端。

3.索引:如何收集、解析和存储数据，以方便以分布式方式进行快速而准确的信息检索，并确保人们不会创建虚假的搜索条目?

4.可用性:如何确保分布式数据在请求时仍然可用?特别是因为数据可以本地托管，因此只能在某些时间段可用。

5.货币化和激励:如何为工具的存储和持续开发提供资金?如果不解决这个货币化部分，分散的解决方案将很难与现有的集中解决方案竞争，例如在人才或合作/集成等方面。

潜在的解决方案

为了确保交易的高速和流畅，很明显，分布式分类技术从一开始就不受这两种性能问题之一的限制。因此，我们选择了IPFS与IOTA的结合。IPFS正在以一种快速和分布式的方式来共享和托管文件，而IOTA提供了必要的分布式数据库层。这里需要注意的是，数据库只使用了IOTA技术的一部分，该技术已经完全发挥了功能，并且独立于未来的研究工作(例如关于协调器)。

这种结合使我们能够提供一种在各种设备上工作的体验。我们甚至在Internet Explorer中运行了一个原型。其独特之处在于，我们可以在不安装任何软件的情况下提供完全分布式的体验，因为所有的代码都运行在一个简单的、完全开放源代码的web页面中，该页面本身就分布在IPFS上。这也意味着每个用户都将运行自己的搜索引擎，这是最终的发行版。

受这个分布式界面的启发，我们正在研究分布式搜索引擎的概念:

分布式和个性化的搜索引

我们假设有两种类型的用户，即我们称为作者和使用者的用户(但是一个人可以同时扮演这两种角色)。

作者通过Dweb.page在分布式web上上传内容。如果他们希望自己的内容被其他人公开发现，那么由作者签名的元数据就会上传到IOTA上。这样任何人都可以创建自己的元数据，而不是一个集中的索引系统。最重要的是，这种签名系统会让你无法伪装成别人，就像今天新闻报道或银行网站上发生的那样。

当消费者第一次打开Dweb时。页面，它们将开始在后台加载最新的元数据。基于此元数据，本地运行的搜索引擎为用户提供初始的和完全透明的搜索结果。用户首先进行的这些搜索将自动用于订阅可能感兴趣的作者，并通过这种方式加载额外的元数据。这可以看作是元数据的社交网络，消费者可以在这里“追随”作者。这种方法的优点包括，一方面用户不必加载整个web的完整元数据，另一方面，他们可以很容易地阻止恶意元数据的提供者(例如，标记错误的内容)。此外，如果没有这种订阅/块模型，人们可能会开始向搜索引擎发送垃圾信息。

此外，每个使用Dweb搜索引擎的人。页面将生成关于内容可用性的信息。这意味着，如果有人试图在分布式web上下载一些不再可用的内容，这些信息将传递给其他用户。如果多个作者告诉您一个文件不再可用，它将自动从搜索结果中删除。如果只有一个人告诉你，这个文件仍然会出现在你的搜索结果中，让你可以选择检查，如果作者没有试图阻止你通过撒谎来访问某些内容的可用性。

对于每个分布式项目来说，最后一个关键、具有挑战性且常常被忽视的部分是如何盈利，以及如何为分布式web的存储提供商和开发人员提供激励。在没有任何集中化的分布式和开源解决方案中，可以绕过任何激励模型。这就是为什么许多分散的项目最终都有一个集中的层。此外，基于捐赠的系统似乎不适用于订阅或长期的业务模型。这就是为什么我们正在考虑创建一个模型，使所有参与者受益，同时保持完全透明。下图说明了这个潜在的解决方案是如何工作的:

擎分布式搜索引擎的商业模式

搜索市场对于广告的定位很好，因为即使不放弃任何隐私，基于搜索词显示广告也是可能的。这样一来，广告收入可以分成两部分，一方面为作者提供一定的免费存储空间，另一方面支持开发者进一步改进工具。例如，如果您考虑谷歌为您提供15 GB的免费云存储，并且每个季度仍能获得数十亿美元的收益，那么您就会想到，上面的模型可能会为作者提供一个完全免费的web !此外，重要的是要指出，很大一部分人并不反对广告本身，而是反对滥用他们的个人数据，基于这种模式，这是不可能的。

当然，这个模型需要在分布式账本上完全透明地建立。如果是这样，那么一开始所有参与者之间的正常契约可能就足够了，因为您可以很容易地起诉恶意方(例如，如果资金被滥用而不是投资于基础设施)。然而，该合同还应该从一开始就包含基于投票系统的随时间变化的选项。否则，这样的模式将无法适应未来的发展，例如，存储价格可能会变得非常便宜，因此有必要将这些钱用于其他用途。这一点和系统的其他方面，如提供的存储或广告的质量，可能很难集成到智能合同中。然而，在稍后的阶段，这种设置应该被完全自动化的智能契约所替代。

本文提供了我们当前研究的观点，并不构成成品。我们相信，只有从一开始就保持透明，我们才能实现这一愿景，我们感谢任何反馈或贡献。

【IPFS相关】由IPFS原力区译制整理，收集外网中各领域人士在使用或开发IPFS及其相关应用时所分享的文章内容。

IPFS原力区官网：http://ipfsforce.com

IPFSER社区： http://ipfser.org

微博：http://weibo.com/ipfsforce