* 首页 * 科学人 * 小组 * 问答 * MOOC * 在行 * 科学与生活 * 十五言 * 更多 + 知性 + 果壳精选 + 流言百科 + 任意门 ____________________ 搜索 登录 | 注册 科学人 * 热点 * 前沿 * 评论 * 专访 * 视觉 * 速读 * 谣言粉碎机 * 商业科技 * 学科 评论 电子 数据之舞：大数据与数据挖掘 斯诺登泄露了什么秘密？大数据会暴露隐私吗？什么是数据挖掘？ 秦鹏 发表于 2013-08-25 19:40 （文/David J. TenenBaum）泄密者爱德华·斯诺登（Edward Snowden）还在寻求容身之所的时候，美国国家安全局（NSA）全方位收集电话和电子邮件记录之事经过他的披露，已经引发了不安和愤怒。 奥巴马当局声称，监听数据带来了安全，然而左翼和右翼都在谴责这种窥探行为是对隐私的侵犯。 数据不是信息，而是有待理解的原材料。但有一件事是确定无疑的：当NSA为了从其海量数据中“挖掘”出信息，耗资数十亿改善新手段时，它正受益于陡然降 落的计算机存储和处理价格。 ​麻省理工学院的研究者约翰·古塔格（John Guttag）和柯林·斯塔尔兹（Collin Stultz）创建了一个计算机模型来分析之心脏病病患丢弃的心电图数据。他们利用数据挖掘和机器学习在海量的数据中筛选，发现心电图中出现三类异常 一年内死于第二次心脏病发作的机率比未出现者高一至二倍。这种新方法能够识别出更多的，无法通过现有的风险筛查被探查出的高危病人。 图片来源：Jason Grow 2012/Human Face of Big Data 数据挖掘这一术语含义广泛，指代一些通常由软件实现的机制，目的是从巨量数据中提取出信息。数据挖掘往往又被称作算法。 威斯康星探索学院主任大卫·克拉考尔（David Krakauer）说，数据量的增长——以及提取信息的能力的提高——也在影响着科学。“计算机的处理能力和存储空间在呈指数增长，成本却在指数级下降 。从这个意义上来讲，很多科学研究如今也遵循摩尔定律。” 在2005年，一块1TB的硬盘价格大约为1,000美元，“但是现在一枚不到100美元的U盘就有那么大的容量。”研究智能演化的克拉考尔说。现下关 于大数据和数据挖掘的讨论“之所以发生是因为我们正处于惊天动地的变革当中，而且我们正以前所未有的方式感知它。”克拉劳尔说。 随着我们通过电话、信用卡、电子商务、互联网和电子邮件留下更多的生活痕迹，大数据不断增长的商业影响也在如下时刻表现出来： * 你搜索一条飞往塔斯卡鲁萨的航班，然后便看到网站上出现了塔斯卡鲁萨的宾馆打折信息 * 你观赏的电影采用了以几十万G数据为基础的计算机图形图像技术 * 你光顾的商店在对顾客行为进行数据挖掘的基础上获取最大化的利润 * 用算法预测人们购票需求，航空公司以不可预知的方式调整价格 * 智能手机的应用识别到你的位置，因此你收到附近餐厅的服务信息 大数据在看着你吗？ 除了安全和商业，大数据和数据挖掘在科研领域也正在风起云涌。越来越多的设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益强大的 分析能力。在气象学、石油勘探和天文学等领域，数据量的井喷式增长对更高层次的分析和洞察提供了支持，甚至提出了要求。 2005年6月至2007年12月海洋表面洋流示意图。数据源：海面高度数据来自美国航空航天局（NASA）的Topex/Poseidon卫星、Ja son-1卫星，以及海形图任务/Jason-2卫星测高仪；重力数据来自NASA/德国航空航天中心的重力恢复及气候实验任务；表面风压数据来自NA SA的QuikScat任务；海平面温度数据来自NASA/日本宇宙航空研究开发机构的先进微波扫描辐射计-地球观测系统；海冰浓度和速度数据来自被动 微波辐射计；温度和咸度分布来自船载、系泊式测量仪器，以及国际Argo海洋观测系统。 这幅2005年6月至2007年12月海洋表面洋流的示意图集成了带有数值模型的卫星数据。漩涡和窄洋流在海洋中传送热量和碳。海洋环流和气候评估项目 提供了所有深度的洋流，但这里仅仅使用了表层洋流。这些示意图用来测量海洋在全球碳循环中的作用，并监测地球系统的不同部分内部及之间的热量、水和化学 交换。 在医学领域，2003年算是大数据涌现过程中的一个里程碑。那一年第一例人类基因组完成了测序。那次突破性的进展之后，数以千计人类、灵长类、老鼠和细 菌的基因组扩充着人们所掌握的数据。每个基因组上有几十亿个“字母”，计算时出现纰漏的危险，催生了生物信息学。这一学科借助软件、硬件以及复杂算法之 力，支撑着新的科学类型。 精神障碍通常是具体病例具体分析，但是一项对150万名病人病例的研究表明，相当多的病人患有超过同一种疾病。芝加哥大学的西尔维奥·康特中心利用数 据挖掘理解神经精神障碍的成因以及之间的关系。“好几个（研究）团队都在致力于这个问题的解决。”中心主任安德烈·柴斯基（Andrey Rzhetsky）说，“我们正试图把它们全部纳入模型，统一分析那些数据类型……寻找可能的环境因素。” 图片来源：Andrey Rzhetsky，芝加哥大学 另一例生物信息学的应用来自美国国家癌症研究所。该所的苏珊·霍尔贝克（Susan Holbeck）在60种细胞系上测试了5000对美国食品和药品管理局批准的抗癌药品。经过30万次试验之后，霍尔贝克说：“我们知道每种细胞系里面 每一条基因的RNA表达水平。我们掌握了序列数据、蛋白质数据，以及微观RNA表达的数据。我们可以取用所有这些数据进行数据挖掘，看一看为什么一种细 胞系对混合药剂有良好的反应，而另一种没有。我们可以抽取一对观察结果，开发出合适的靶向药品，并在临床测试。” 互联网上的火眼金睛 当医学家忙于应对癌症、细菌和病毒之时，互联网上的政治言论已呈燎原之势。整个推特圈上每天要出现超过5亿条推文，其政治影响力与日俱增，使廉洁政府团 体面临着数据挖掘技术带来的巨大挑战。 印第安纳大学Truthy（意：可信）项目的目标是从这种每日的信息泛滥中发掘出深层意义，博士后研究员埃米利奥·费拉拉（Emilio Ferrara）说。“Truthy是一种能让研究者研究推特上信息扩散的工具。通过识别关键词以及追踪在线用户的活动，我们研究正在进行的讨论。” Truthy是由印第安纳研究者菲尔·孟泽（Fil Menczer）和亚力桑德罗·弗拉米尼（Alessandro Flammini）开发的。每一天，该项目的计算机过滤多达5千万条推文，试图找出其中蕴含的模式。 大数据盯着“#bigdata”（意为大数据）。这些是在推特上发布过“bigdata”的用户之间的连接，用户图标的尺寸代表了其粉丝数多寡。蓝线表 示一次回复或者提及，绿线表示一个用户是另一个的粉丝。 图片来源：Marc Smith 一个主要的兴趣点是“水军”，费拉拉说：协调一致的造势运动本应来自草根阶层，但实际上是由“热衷传播虚假信息的个人和组织”发起的。 2012年美国大选期间，一系列推文声称共和党总统候选人米特·罗姆尼（Mitt Romney）在脸谱网上获得了可疑的大批粉丝。“调查者发现共和党人和民主党人皆与此事无关。”费拉拉说，“幕后另有主使。这是一次旨在令人们相信罗 姆尼在买粉从而抹黑他的造势运动。” 水军的造势运动通常很有特点，费拉拉说。“要想发起一场大规模的抹黑运动，你需要很多推特账号，”包括由程序自动运行、反复发布选定信息的假账号。“我 们通过分析推文的特征，能够辨别出这种自动行为。” 推文的数量年复一年地倍增，有什么能够保证线上政治的透明呢？“我们这个项目的目的是让技术掌握一点这样的信息。”费拉拉说，“找到一切是不可能的，但 哪怕我们能够发现一点，也比没有强。” 头脑里的大数据 人脑是终极的计算机器，也是终极的大数据困境，因为在独立的神经元之间有无数可能的连接。人类连接组项目是一项雄心勃勃地试图绘制出不同脑区之间相互作 用的计划。 除了连接组，还有很多充满数据的“组”： * 基因组：由DNA编码的，或者由RNA编码的（比如病毒）——全部基因信息 * 转录组：由一个有机体的DNA产生的全套RNA“读数” * 蛋白质组：所有可以用基因表达的蛋白质 * 代谢组：一个有机体新陈代谢过程中的所有小分子，包括中间产物和最终产物 连接组项目的目标是“从1,200位神经健康的人身上收集先进的神经影像数据，以及认知、行为和人口数据”，圣路易斯市华盛顿大学的连接组项目办事处的 信息学主任丹尼尔·马库斯（Daniel Marcus）说。 项目使用三种磁共振造影观察脑的结构、功能和连接。根据马库斯的预期，两年之后数据收集工作完成之时，连接组研究人员将埋首于大约100万G数据。 ​20名健康人类受试者处于休息状态下接受核磁共振扫描，得到的大脑皮层不同区域间新陈代谢活动的关联关系，并用不同的颜色表现出来。黄色和红色区域在 功能上与右半脑顶叶中的“种子”位置（右上角黄斑）相关。绿色和蓝色区域则与之关联较弱或者根本没有关联。图片来源：M.F.Glasser and S.M.Smith 绘制脑区分布图的“分区”是一项关键的任务，这些脑区最早于两到三世纪之前通过对少量大脑染色被识别出来。“我们将拥有1,200个人的数据，”马库斯 说，“因此我们可以观察个人之间脑区分布的差别，以及脑区之间是如何关联的。” 为了识别脑区之间的连接，马库斯说，“我们在受试者休息时获取的扫描图中，观察脑中的自发活动在不同区域之间有何关联。”比如，如果区域A和区域B自发 地以每秒18个周期的频率产生脑波，“这就说明它们处于同一网络中。”马库斯说。“我们将利用整个大脑中的这些关联数据创建一个表现出脑中的每一个点如 何与其他每一个点关联的矩阵。”（这些点将比磁共振成像无法“看到”的细胞大得多。） 星系动物园：把天空转包给大众 星系动物园项目打破了大数据的规矩：它没有对数据进行大规模的计算机数据挖掘，而是把图像交给活跃的志愿者，由他们对星系做基础性的分类。该项目200 7年启动于英国牛津，当时天文学家凯文·沙文斯基（Kevin Schawinski）刚刚蹬着眼睛瞧完了斯隆数字巡天计划拍摄的5万张图片。 阿拉巴马大学天文学教授、星系动物园科学团队成员威廉·基尔（William Keel）说，沙文斯基的导师建议他完成95万张图像。“他的眼睛累得快要掉出眼窝了，便去了一家酒馆。他在那里遇到了克里斯·林托特（Chris Lintott）。两人以经典的方式，在一张餐巾的背面画出了星系动物园的网络结构。” 星系是一个经典的大数据问题：一台最先进的望远镜扫描整个天空，可能会看到2000亿个这样的恒星世界。然而，“一系列与宇宙学和星系统计学相关的问题 可以通过让许多人做相当简单的分类工作得以解决。”基尔说，“五分钟的辅导过后，分类便是一项琐碎的工作，直到今日也并不适合以算法实现。” 星系动物园的启动相当成功，用户流量让一台服务器瘫痪了，基尔说。 斯隆巡天的全部95万张图片平均每张被看过60次之后，动物园的管理者们转向了更大规模的巡天数据。科学受益匪浅，基尔说。“我的很多重要成果都来自人 们发现的奇怪物体，”包括背光星系。 这是星系动物园志愿者们发现的差不多2000个背光星系之一。它被其后方的另一个星系照亮。来自背后的光令前景星系中的尘埃清晰可辨。星际尘埃在恒星的 形成中扮演了关键的角色，但它本身也是由恒星制造的，因此检测其数量和位置对于了解星系的历史至关重要。 图片来源：WIYN 望远镜, Anna Manning, Chris Lintott, William Keel 星系动物园依赖统计学、众多观察者以及处理、检查数据的逻辑。假如观察某个特定星系的人增加时，而认为它是椭圆星系的人数比例保持不变，这个星系就不 再被观察了。 然而，对一些稀有的物体，基尔说，“你可能需要40至50名观察者。” 大众科学正在发展自己的法则，基尔补充道。志愿者们的工作“已经对一个真实存在的重大问题做出了贡献，是现存的任何软件都无法实现的。鼠标的点击不该被 浪费。” 这种动物园方法在zooniverse.org 网站上得到了复制和优化。这是一个运行着大约20项目的机构，这些项目的处理对象包括热带气旋、火星表面和船只航行日志上的气象数据。 最终，软件可能会取代志愿者，基尔说。但是计算机和人类之间的界线是可互换的。比如说超新星动物园项目在软件学会了任务之后就关闭了。 我们惊讶地得知志愿者们积累的庞大数据是计算机学习分类的理想材料。“一些星系动物园用户真的很反感这一点。”基尔说，“他们对于自己的点击被用来训练 软件表达出明显的怨恨。但是我们说，不要浪费点击。如果某人带来了同样有效的新算法，人们就不必做那些事情了。” 学习的渴望 人们长久以来改进对图像和语音的模式识别的努力已经受益于更多的训练，威斯康星大学麦迪逊分校的克拉考尔说。“它不仅仅是有所改善，更是有了实际的效果 。5到10年之前，iPhone上的Siri是个想都不敢想的点子，语音识别一塌糊涂。现在我们拥有了这样一批庞大的数据来训练算法，忽然之间它们就管 用了。” 随着数据及通讯价格持续下跌，新的思路和方法应运而生。如果你想了解你家中每一件设备消耗了多少水和能量，麦克阿瑟奖获得者西瓦塔克·帕特尔（Shwe tak Patel）有个解决方案：用无线传感器识别每一台设备的唯一数字签名。帕特尔的智能算法配合外挂传感器，以低廉的成本找到耗电多的电器。位于加利福尼 亚州海沃德市的这个家庭惊讶地得知，录像机消耗了他们家11%的电力。 图片来源：Peter Menzel/ The Human Face of Big Data 等到处理能力一次相对较小的改变令结果出现突破性的进展，克拉考尔补充道，大数据的应用可能会经历一次“相变”。 “大数据”是一个相对的说法，不是绝对的，克拉考尔指出。“大数据可以被视作一种比率—我们能计算的数据比上我们必须计算的数据。大数据一直存在。如果 你想一下收集行星位置数据的丹麦天文学家第谷·布拉赫（Tycho Brahe，1546 - 1601），当时还没有解释行星运动的开普勒理论，因此这个比率是歪曲的。这是那个年代的大数据。” 大数据成为问题“是在技术允许我们收集和存储的数据超过了我们对系统精推细研的能力之后。”克拉考尔说。 我们好奇，当软件继续在大到无法想象的数据库上执行复杂计算，以此为基础在科学、商业和安全领域制定决策，我们是不是把过多的权力交给了机器。在我们 法觑探之处，决策在没人理解输入与输出、数据与决策之间的关系的情况下被自动做出。“这正是我所从事的领域，”克拉考尔回应道，“我的研究对象是宇宙中 的智能演化，从大爆炸到大脑。我毫不怀疑你说的。” 本文编译自：The Why Files，Data Dance, Big Data and Data Mining 原创人员：编辑/Terry Devitt; 设计制图/S.V. Medaris; 项目助理/Yilang Peng; 专题作者/David J. TenenBaum; 内容制作总监/Amy Toburen 本文由 Whyfiles.org 授权果壳网（guokr.com）编译发表，未经书面许可严禁转载。 THE WYE FILES © 2013 UNIVERSITY OF WISCONSIN BOARD OF REGENTS 相关的果壳网小组 * 数据江湖 * 分布式计算 * 怎样学编程 收藏 | 推荐 (16) 发表评论 你可能感兴趣 * “大数据”时代，什么是数据分析做不了的？ “大数据”时代，什么是数据分析做不了的？ * 数据是怎么被压缩的 数据是怎么被压缩的 * 用DNA实现无错数据存储 用DNA实现无错数据存储 * 大数据时代，我们还有隐私吗？ 大数据时代，我们还有隐私吗？ 热门评论 * [48] 2013-08-25 20:35 素食 在2005年，一块1TB的硬盘价格大约为1,000美元，“但是现在一枚不到100美元的U盘就有那么大的容量 真的吗？我还不知道1T的U盘出来了，真的600元一个？我要买几个。 顶 [4] 评论 显示所有评论 全部评论(31) * [48] 1楼 2013-08-25 19:45 路人浮云 最近出现很多关于“大数据”的文章.......... 顶 [0] 评论 * [48] 2楼 2013-08-25 19:47 银Ag 冇得杀 顶 [0] 评论 * [48] 3楼 2013-08-25 20:35 素食 在2005年，一块1TB的硬盘价格大约为1,000美元，“但是现在一枚不到100美元的U盘就有那么大的容量 真的吗？我还不知道1T的U盘出来了，真的600元一个？我要买几个。 顶 [4] 评论 * [48] 4楼 2013-08-25 21:42 bluesky365 Big data，how big？ 顶 [0] 评论 * [48] 5楼 2013-08-25 21:47 忧伤的尼姑 nodexl。。。有意思 来自 山寨果壳.wp 顶 [0] 评论 * [48] 6楼 2013-08-26 07:23 毛骡 金属材料在读博士生ψ 引用@素食者 的话：真的吗？我还不知道1T的U盘出来了，真的600元一个？我要买几个。 +1 我看到这我就跑来吐槽了。美帝的U盘不仅价格低廉，还突破了U盘的存储极限。吾等屁民用个250G的SSD还得花半个月工资，心疼的要死啊。 顶 [0] 评论 * [48] 7楼 2013-08-26 07:53 章鱼喵.时见疏星 理论物理专业，西夏文爱好者ψ 引用文章内容：数据挖掘往往又被称作算法 ?????? 顶 [0] 评论 * [48] 8楼 2013-08-26 09:40 四叶草的根 1T的U盘某电商不是不是9999的天价么…… 顶 [1] 评论 * [48] 9楼 2013-08-26 10:15 素食 引用@毛骡 的话：+1我看到这我就跑来吐槽了。美帝的U盘不仅价格低廉，还突破了U盘的存储极限。吾等屁民用个250G的SSD还得花半个月工资，心疼的要 死啊。 引用@四叶草的根 的话：1T的U盘某电商不是不是9999的天价么…… 我还以为是真的，刚一高兴，就被你们喊醒了。 唉，要等到啥时候呢。 顶 [0] 评论 * [48] 10楼 2013-08-26 11:38 毛骡 金属材料在读博士生ψ 引用@素食者 的话：我还以为是真的，刚一高兴，就被你们喊醒了。唉，要等到啥时候呢。 撸主不要伤心。我刚才淘宝了一下，发现淘宝上至少有两个商家销售超过1T的优盘，不仅价格只在200上线，容量甚至突破到了3TB。体积仍然那 么的苗条~~小巧玲珑惹人怜爱。 我是外行啦，不过据我所知闪存芯片遇到瓶颈，不可能依靠无限堆砌存储芯片实现无上限的容量增长。这也是为什么唯一的1T正品U盘卖出天价的原 。实际上它还很胖，一点也不像U盘。 顶 [0] 评论 * [48] 11楼 2013-08-26 11:50 素食 引用@毛骡 的话：撸主不要伤心。我刚才淘宝了一下，发现淘宝上至少有两个商家销售超过1T的优盘，不仅价格只在200上线，容量甚至突破到了3TB。体积仍 然那么的苗条~~小巧玲珑惹人怜爱。我是外行啦，不过据我所知闪存芯... 我上淘宝看了，2TB的U盘185元，说啥也不能信。 顶 [0] 评论 * [48] 12楼 2013-08-26 12:20 Neverrland 南望山？地大的？ 来自果壳精选 顶 [0] 评论 * [48] 13楼 2013-08-26 13:06 李东浩 引用文章内容：在我们无法觑探之处，决策在没人理解输入与输出、数据与决策之间的关系的情况下被自动做出。“ 不应该出现这种情况,人类要丧失了思考的能力? 顶 [0] 评论 * [48] 14楼 2013-08-26 14:26 FAMILYHXQ 引用@四叶草的根 的话：1T的U盘某电商不是不是9999的天价么…… 这种情况应该都是无货的时候把价格改成那个的，不过那下面的咨询却是火了 顶 [0] 评论 * [48] 15楼 2013-08-27 10:58 艾特君 引用@毛骡 的话：+1我看到这我就跑来吐槽了。美帝的U盘不仅价格低廉，还突破了U盘的存储极限。吾等屁民用个250G的SSD还得花半个月工资，心疼的要 死啊。 1T的ssd差不多500=_=U盘就………… 顶 [0] 评论 * [48] 16楼 2013-08-27 14:21 mgam1981 引用@FAMILYHXQ 的话：这种情况应该都是无货的时候把价格改成那个的，不过那下面的咨询却是火了 某电商的咨询回复已然快成一种广告了 顶 [0] 评论 * [48] 17楼 2013-08-27 14:39 雷公子 好pro啊 顶 [0] 评论 * [48] 18楼 2013-08-27 14:40 掏空 公司也在讨论医疗大数据怎么应用，能不能做出新的产品 顶 [0] 评论 * [48] 19楼 2013-08-27 15:38 曼吉可斯 曾看过一些大数据相关的研究。不过还是觉得在网络方向上的这类应用，真的尼玛很像曾经看过的一个科幻加玄幻的小说里的易脑！ 这样的升级产品，怎么都感觉有中回到曾经朴素唯物主义甚至唯心主义时代那些神秘主义的东东！我是中毒太深了吗？！！ 顶 [0] 评论 * [48] 20楼 2013-08-28 14:25 毛骡 金属材料在读博士生ψ 引用@艾特君 的话：1T的ssd差不多500=_=U盘就………… 500刀我信，500软妹币还是不可靠。1T的硬盘都还差不多这个价 顶 [0] 评论 * [48] 21楼 2013-08-28 17:25 莫德尔蒙 好困扰。。。。 顶 [0] 评论 * [48] 22楼 2013-09-03 22:41 zoey1991 数据越来越重要了。转行学统计吧。 顶 [0] 评论 * [48] 23楼 2013-09-11 18:10 嗨_裘德跪数学 把其中的一些项目应用在微博上，可以有效抑制水军和网络谣言。激进一点，甚至可以用来镇压网络暴民 顶 [2] 评论 * [48] 24楼 2013-09-16 21:31 purlin 现在都有专门的职业叫Data Scientist了~ 顶 [0] 评论 * [48] 25楼 2014-02-15 20:16 雾淡漪如 大数据，从业也两年了。从开始的大数据存储和分布式框架，到现在的大数据挖掘，BI，从简单的存放大数据到现在的理解应用数据。国人对数据的重 要性认知越来越强，但是对具体的业务模式还是没有很深的理解，作为解决方案，仍需努力。 顶 [0] 评论 * [48] 26楼 2014-02-15 22:32 嗨_裘德跪数学 最近豆瓣上一个“大数据”引发的吵架已经闹得不可开交了 顶 [0] 评论 * [48] 27楼 2014-02-16 08:42 卢瑟傅里叶 大脑的图片，我以为是两只草履虫 顶 [0] 评论 * [48] 28楼 2014-02-16 14:16 阿洪阿洪 时不时想起《三体》 顶 [0] 评论 * [48] 29楼 2014-02-28 14:38 NightFury潇 原来大伙儿都被美帝U盘价格吸引了。。。。不过大数据时代仍然很赞 顶 [0] 评论 * [48] 30楼 2014-07-23 15:06 彬彬GO135 & 顶 [0] 评论 * 1 * 2 * 下一页 * 末页 * 首页 * 上一页 * 1/2 * 下一页 * 末页 显示所有评论 你的评论 请 登录 发表评论 秦鹏 秦鹏 果壳译 作者的其他文 * 网络头像揭示了你的多少个性 * 在办公场所，病毒传播有多快？ * 喝茶降低死亡率，真的吗？ * “啤酒肚”更易患上高血压 * 可穿戴技术的前景与隐忧 [ZQkqB0rvqHNVBjPA4QQSM5sstYPtA0T3GnaY_b2vwgqyAAAAsgAAAEpQ.jpg] 更多科研事,扫码早知道 关于我们 加入果壳 媒体报道 帮助中心 果壳活动 免责声明 联系我们 移动版 移动应用 ©2015果壳网 京ICP备09043258号-2 京公网安备1101052730