当文字变成数据，数字化与数据化的差异是什么？

大数据观察

了解大数据，关注大数据观察吧！

每个想了解最新大数据资讯的人，都关注了我

文 / 数据君

数字化和数据化的差异是什么？回答这个问题很容易，我们来看一个两者同时存在并且起作用的领域就可以理解了，这个领域就是书籍。

2004年，谷歌发布了一个野心勃勃的计划：它试图把所有版权条例允许的书本内容进行数字化，让世界上所有的人都能通过网络免费阅读这些书籍。

为了完成这个伟大的计划，谷歌与全球最大和最著名的图书馆进行了合作，并且还发明了一个能自动翻页的扫描仪，这样对上百万书籍的扫描工作才切实可行且不至于太过昂贵。

刚开始，谷歌所做的是数字化文本，每一页都被扫描然后存入谷歌服务器的一个高分辨率数字图像文件中。书本上的内容变成了网络上的数字文本，所以任何地方的任何人都可以方便地进行查阅了。

然而，这还是需要用户要么知道自己要找的内容在哪本书上，要么必须在浩瀚的内容中寻觅自己需要的片段。因为这些数字文本没有被数据化，所以它们不能通过搜索词被查找到，也不能被分析。

谷歌所拥有的只是一些图像，这些图像只有依靠人的阅读才能转化为有用的信息。虽然这是一个现代的、数字化的亚历山大图书馆，比历史上任何一个图书馆都要强大，但谷歌依然希望它能做得更多。

谷歌知道，这些信息只有被数据化，它的巨大潜在价值才会被释放出来。因此谷歌使用了能识别数字图像的光学字符识别软件来识别文本的字、词、句和段落，如此一来，书页的数字化图像就转化成了数据化文本。

如今，不仅人类可以使用这些文本信息，计算机也可以处理和分析这些文本数据了。通过检索和查询，我们可以对它进行无穷无尽的文本分析；也可以揭示一个词以及词组第一次出现的时间及其成为流行词的时间，据此发现几百年来人类思维发展和思想传播的轨迹。这种分析支持好几种语言。

你可以自己试一试。输入网址http：//books.google.com/ngrams，打开Google Ngram Viewer，它利用谷歌所拥有的所有图书作为数据资源，为你提供单词和短语历年使用次数的展示图表。眨眼之间，我们就能发现“causality”（因果关系）这个词在1900年之前的使用频率比“correlation”（相关关系）高；

而在1900年之后，情况就与之前相反了。对于作者存在争议的书籍，我们自己也可以进行作品风格鉴定。数据化的实现让抄袭学术作品的行为越来越无处藏身，因此，很多欧洲政客（包括一名德国国防部长）的抄袭行为被曝光，最终不得不引咎辞职。15世纪中叶，人类发明了印刷机，在这之后大约出版了1.3亿册图书。

到2010年为止，也就是谷歌的数字化图书计划实行7年之后，大约有2000万图书被扫描成了数字图书，这几乎相当于人类所有书写文明的15%，这是多么惊人的数字！这诱发了一个新的学术方向——文化组学。“文化组学”是一个计算机专业词汇，指的就是通过文本的定量分析来揭示人类行为和文化发展的趋势。

在一项研究中，哈佛大学的研究员们对几百万册书籍和超过5000亿个单词进行了深入研究，发现这些书中出现过的单词有一半以上在字典中是无法找到的。他们写道，这些因为不够规范而没有录入正规词典中的词汇如此之多，是一个巨大的宝藏。通过系统分析人们如何提及纳粹德国时期的犹太画家马克·夏加尔（Marc Chagall），他们发现对于思想或是个人的审查和压制会留下“可量化的痕迹”。词语就像是藏于书中而非沉积岩中的化石；

信奉“文化组学”的人可以像考古学家一般，挖掘它们所蕴藏的财富。当然，这可能会导致一些可能的偏差，比如图书馆的书籍是不是真实地反映了现实呢？还是反映的只是作者和图书管理员看到的世界？

尽管如此，“文化组学”还是会为人们带来很多惊喜的发现。当文字变成数据，它就大显神通了——人可以用之阅读，机器也可用之分析。但是作为典型的大数据公司，谷歌自然知道收集信息并进行数据化的价值，因为这些数据有非常多的潜在用途。所以，谷歌精明地利用这些数据化了的文本来改进它的机器翻译服务。就像第3章介绍过的一样，这个系统会自动扫描译本，然后找出译语的单词和词组在源语中的对应词和词组是什么。

一旦得到答案，系统就可以把翻译看成是一个简单的数学问题，只需要用电脑找出两种语言之间最恰当的对等词和词组。当然，谷歌并不是第一个梦想在计算机时代唤醒书写文明所蕴含的财富的公司，它也不是第一个吃螃蟹的人。

1971年，一个志愿者提出倡议把公共领域的书籍放上网络，制成电子书，方便更多的人阅读，这就是古登堡计划（Project Gutenburg）。这是非常有意义的，但是这个计划没有把书籍数据化，也没有开发出书籍的其他功能；它关注的是阅读，而不是扩充书籍用途。

同样地，出版社多年来也一直致力于电子书领域的开发，但是他们都只是把书籍内容作为核心价值，而没有把书籍看作一种数据并纳入自己的商业模式中。因此，他们没有做到把书籍的数据价值挖掘出来，也不允许别人这样做。他们没有看到数据化的需求，也意识不到书籍的数据化潜力。

主题 |数据化与数字化

插图 | 网络来源

作 者 介 绍

数据君：）

了解大数据，关注大数据观察

部分图文来自网络，侵权则删

我想给你一个理由 继续面对这操蛋的生活