信息量越来越大，但什么是有效的？目前来看，比较好的解决方案是人工干预。我们以目前最能体现信息量的搜索引擎来讨论这个问题。
尽管搜索引擎公司Google，坚持“不作恶”的原则，不对搜索结果进行人工干预。但在中国，当用户搜索一些中文的疑难问题时，却经常会搜索到竞争对手百度的一款产品：百度知道。然后用户会从Google的搜索结果页面引导至百度页面。
在今天，当我们使用搜索引擎进行搜索的时候，在搜索的结果中，你会发现绝大部分都是重复内容，想要从中找到一篇不同的内容却似大海捞针。这是因为搜索引擎几乎收录了互联网上的所有网页内容，却没有剔除掉相同的信息。
如果搜索引擎剔除掉这些相似或者重复内容，将会面临一系列复杂的问题难以解决，甚至可能面临诉讼。例如，同样一条新闻，可能多个互联网站都进行了转载，内容完全一样，只是标题不同。这种情况下，搜索引擎应该剔除掉哪个网站的内容？无论剔除掉谁的内容，都不会愿意。
但也不是完全不可能，Google和百度几乎在同一时间推出了新闻搜索，它首先人工圈定了一些新闻网站，然后按照这些新闻网站发布消息的时间排序，将最新发布的消息放在第一条，再将相似或者相同的内容作为相关新闻放在下面，供用户需要的时候进行查看。
虽然Google和百度的新闻的来源是由人工确定的，但是在新闻重要性的排序上，缺少人工干预，导致新闻的重要性排列无法达到专业新闻网站的程度。Google的理由是，他们遵循最基本的原则：不作恶。Google认为，一旦人工干预，就很难保证公正性，他们担心会有商业的利益在其中干扰了新闻的排序。
我曾经给Google建议，让他们的机器去对比专业网站的内容排序，然后根据对比的数据结果来确定自己的排序，不知道Google最终有没采纳我的建议。
新闻搜索是相似内容剔除的一种尝试，但也未能彻底解决问题所在。因为除了“不作恶”的因素存在，中间还存在着庞大的计算任务，几乎是不可能完成的任务。我们已经知道搜索引擎目前已经收录了几乎所有网页，如果想要将相似或者相通的内容剔除掉，那便要对已经收录的所有的网页进行一次对比计算。这个计算任务量你能想象的出来有多大吗？
但也并非完全没有解决方案，很多细分领域的专业垂直搜索引擎开始快速发展，弥补了综合搜索的这一缺憾。例如百度公司前CTO刘建国在离职后，便创办了一家垂直搜索引擎：爱帮网(aibang.com)。这个网站主要是帮助用户解决生活服务的问题，爱帮的搜索结果每一条都有所不同，并且是有效的信息。刘建国认为自己的爱帮网解决了一个难题：搜索内容不是简单的网上资料的汇总，而是经过找寻、核实、分类、筛选的结果，而这种特定性和有效性是以往搜索引擎所没有做到的。
除此之外，一些专业细分领域的在线百科全书也是很好的解决方案。例如流行已久的在线百科全书维基百科（wikipedia.org），他的内容就全部是由人工干预编辑出来的一套最全的大百科全书，虽然它不是一个搜索引擎，但同样网站本身同样具有搜索功能。
最近百度所谓的凤巢计划也是细分搜索和人工干预的一种较好尝试。
我们已经谈到在细分领域将会有较好的前景，但这并不代表就一定会有较好的商业前景。
Powered By