#IT经理网 RSS Feed IT经理网 » Feed IT经理网 » 评论Feed IT经理网 » 忘记“大数据”，从“中数据”开始评论Feed 南大通用：行业大数据将超互联网大数据 用户数据泄漏事故调查：印象笔记真的安全吗？ * 关于我们 * 投稿 * 订 * 登录 [logo.svg] * [home.jpg] * 大数据 * 云计算 * 企业2.0 * 互联网 * 移 动 * 技 术 + 云计算 + 存储 + 网络 + 计算 + 软件 + 数据中心 + CTO库 * 应 用 + CRM + ERP + BI + 物联网 + SCM + BPM + 大数据 + 企业2.0 + CIO库 * 管 理 + 观点 + 领导力 + 人物 + 职场 + 公司 + 招聘 + 读书 + 报告 + 创业 * 安 全 + WEB安全 + 数据安全 + 安全管理 + 云安全 + 移动安全 + 通信安全 * 装 备 * 报 告 * 视 频 * 热门标签: * facebook IBM Android 大数据 微软 云安全 NSA app推荐 BYOD 网络安全 Hadoop 大数据应用 移动安全 移动开发 首页 » 大数据, 热点 忘记“大数据”，从“中数据”开始 * 作者：Cashcow * 星期一, 三月 11, 2013 * 大数据, 热点 * 无评论 big-data1 对于很多市场研究人员来说， “中数据”才是真正能够提供ROI价值回报的分析目标。 而所谓“大数据”分析， 则会呈现递减的ROI。 业界对“大数据”这一概念的质疑声从来就没有停止过，很多人认为它只是一个过度炒作的营销泡沫。确实，单就数据的体量而言，大多数企业并没有Googl e， Facebook那样的PB级数据。 那么， 大数据究竟有没有意义呢？ 数据分析专家Tom Anderson最近给出了一个概念叫“中数据”，根据他的划分， 数据集数据量在10万以下的称为“小数据”， 数据集在1000万以上的称为“大数据”，而在二者之间的称为“中”数据。 Tom Anderson认为， 企业进行数据分析的投资收益率在“中”数据范围内是最高的。 以下是IT经理网编译Tom Anderson的博文: 在我参加了这个星期的美国营销协会的第一届大数据的研讨会后，我更加坚信了我这几年与许多财富1000强企业的营销人员沟通后的一个看法。 那就是： 很少有公司能够分析到所谓“大”数据的量级，而事实上它们也并不需要。 其实， 大部分公司应该开始考虑如何从“中”数据开始。 大数据，大数据， 大数据， 人们到处在谈它， 其实我发现， 真正处理“大”数据的研究者其实很少。 我认为我们应该把“大数据”的概念范围缩小。 引入一个新的更有意义的名词：“中”数据来描述我们目前的大数据热潮。 要了解什么是“中”数据，进而理解大数据， 我们得先知道什么是“小”数据。 “小数据” clip_image002 上面的图简单地按照数据记录的规模或者说样本的规模对数据的“大”“中”“小”进行了划分 小数据可以包括从定性研究的某个访谈到几千个调查问卷的结果。在这个规模上， 定性分析和定量分析可以从技术上结合起来。 而这两者都不能称之为现在定义的“大数据”。 目前对大数据的定义随着企业对数据的处理水平的不同而不同。通常的的大数据定义指的是用现有普通软件很难分析的数据量。 而这个定义是从IT或者软件提供商的角度来说的。 它描述了企业无法利用现有能力， 必须进行大量硬件软件升级进行有价值的数据分析的情况。 中数据 那么，什么是中数据呢？ 进入大数据时代， 有些我们认为是小数据的数据集可能会迅速成长为大数据。 比如 3万到5万条用户满意度调查记录可以用类似IBM的SPSS软件分析。 可是， 如果把这些数据集中加入了用户的评论这样的文本数据， 同样的分析可能就会变得缓慢了。 这同样的数据集现在需要更长的时间来分析，甚至可能导致分析软件崩溃。 如果我们把同样的文本数据用文本挖掘的方式处理的话，新加入数据集的数据将会极大地增加数据量。 这常常就会被认为是大数据， 需要更加强大的软件来处理它。 不过， 我认为， 一个更准确的描述应该是“中”数据， 它其实只是真正大数据的起步阶段（这与IT经理网之前的文章“大数据需大处着眼，小处着手”中的观点不谋而合）。而且对于这个规模的数据量， 其实还是有很多简单的处理手段的。 大数据 好了，我们把大数据的一部分切出来叫做“中”数据。 现在， 我们可以重新定义“大”数据了。 为了理解“大”数据与“中”数据的区别， 我们需要考虑一些不同的维度。 Gartner的分析师Doug Laney曾经对大数据有一个著名的描述， 把大数据分为3个维度：规模（Volume）， 种类（Variety）和 速度（Velocity）， 通常叫做3V模型。 在理解“中”数据与“大”数据的区别时， 我们只需要考虑两个因素， 成本与价值。 成本（以时间计量或者按照金钱计量）与期望价值构成了所谓的投资收益率（ROI）。 这也可以应用于大数据项目的可行性研究。 我们知道， 有些数据天然的比其他数据具有更高的价值。 （100个客户投诉邮件可能比1000个微博上提到你的产品比起来， 对你的运营分析更有价值。） 当然， 有一点是肯定的： 没有经过分析的数据是没有价值的。 相对于“中”数据来说， “大”数据或者说“真正的大”数据量的分界点在于， 对于分析进行的投入， 相对成本（包括可能从中发现不了什么的风险）来说，并不具有吸引力。 比“中”数据更大的数据量来说， 大数据分析要么并不现实， 要么对企业来说ROI太低。 而“中”数据则是正好在数据分析的最佳范围内， 可以在相对可控的预算前提下进行有价值的分析。 对于很多市场研究人员来说， “中”数据才是一个真正能够提供有价值， 有足够ROI的分析目标。 而真正“大”数据分析， 则会呈现递减的ROI。 在最近我去德国的一次出差中， 我有幸遇到了一位在欧洲核子研究中心从事大型对撞机项目的科学家。 相对于大型核子对撞机来说， 普通的商业企业不需要像那样的软件和硬件来进行那个规模的大数据分析。 对撞机的1亿5千万个传感器每秒钟产生4000万条数据。 而实际上， 即使是欧洲核子研究中心的科学家们， 也不会去分析如此打规模的数据量。 他们在分析前过滤掉来99.999%的粒子对撞数据！ 对我们普通企业来说， 对消费者的分析相对简单得多。 对于数据或者文本挖掘， 我们不需要EB或者PB级别的处理能力或者在数以千计的服务器上跑大型并发软件， 目前其实有一些很好的软件能够处理我们一般企业的“中”数据需求。 一提到大数据， 媒体常常提到的是亚马逊， 谷歌或者Facebook。 就算是这些案例中（很多 听上去更像是IT销售鼓吹的科幻小说）， 也并没有提到这些公司在数据分析中实际使用的样本的量。 就像欧洲核子研究中心的科学家发现的那样， 相对一股脑处理全部数据的做法， 更重要的是能够正确的分析对研究相关的那部分重要数据。 那么， 读者可能会问“既然‘中’数据比‘大’数据更加具有吸引力， 为什么我们分析‘小’数据不是更好吗？” 这里的关键是， 随着数据量的增加， 我们不但可以对分析结果更加具有信心， 而且可能会发现一些传统的“小”数据所不能发现的现象。 对市场分析来说， 这可能意味着发现了一个新的细分产品市场或者竞争对手的新动向， 对药物研究来说， 可能意味着发现一些小的人群细分与某些癌症的高风险关联 （参考本站文章： 大数据“显影”：Ayasdi用拓扑数据分析癌症 ）从而拯救生命。 “中”数据应该被更加明确的定义， 而且也需要更多的最佳实践。 不幸的是， 经常有一些企业的CEO或者CIO会要求IT人员“采集所有的数据， 全面分析数据”。 这样的过程， 他们其实在制造真正的“大”数据， 这种数据量常常是超过需要的。 这就产生了我一直在提的ROI的问题。 追求真正的“大”数据常常不能给你带来任何优势。 经验丰富的“小”数据或者“中”数据的分析人员知道， 对于“大”数据的分析常常是没有满意结果的。 而相对投入的成本来说， 从ROI的角度是不值得的。 因此， 对于“大”数据分析而言， “中”数据才应该是我们真正需要瞄准的目标。 第一时间获取面向IT决策者的独家深度资讯，敬请关注IT经理网微信号：ctociocom [qrcode.jpg] 除非注明，本站文章均为原创或编译，转载请务必注明出处并保留原文链接： 文章来自IT经理网 相关文章： * 2015，我们错过了邮件营销的哪些爆点？ * 2016年数字营销技术的五大趋势 * 全球顶级汽车品牌邮件营销设计精选 * 谷歌2015热门关键词排行榜 * 社交媒体超搜索引擎成为热门新闻主要流量来源 * 有效率95%！个性化能显著提升邮件营销的打开率 * 营销大数据分析市场的十大产品模式 * 数字营销大爆炸：电子邮件营销的十大业务模式 标签： CMO, 中数据, 大数据方法 打印文章 打印文 关于作者Cashcow Cashcow 隐私已经死去，软件正在吃掉世界，数据即将爆炸 上一篇«南大通用：行业大数据将超互联网大数据 用户数据泄漏事故调查：印象笔记真的安全吗？»下一篇 写评论 姓名(*____________________________ ____________________________________ 您的观点 ______________________ ____________________________________________________________ ____________________________________________________________ ____________________________________________________________ 提交评论 ____________________ (BUTTON) 搜索 * 本周热门 * 本月热门 * 评论排行 * 最新评论 * 标签云 1. Gartner：2017年企业级SSD固态硬盘销售额将超过机械硬盘 2. 2015以色列物联网创业地图 3. 2016年十大科技创业机会 4. 2016年文本、语义、社交分析十大趋势 5. GoPro裁员股价暴跌，运动相机市场变数丛生 6. 微软正式开源浏览器JavaScript引擎Chakra 1. 2015十大新兴热门开源项目盘点 2. 卡巴斯基：2015年企业攻击数量翻倍 3. 2015最火爆的在线（技术）课程TOP10 4. 2015全球手游市场规模超300亿美元，中国超越美国日本 5. 2016年地理空间技术的五个开发热点 6. 2016年值得关注的五个深度学习创业公司 7. 2015年末值得期待的五个中国众筹硬件产品 8. 谷歌确认在新Android版本中放弃Oracle专有Java API 9. 2016年数字营销技术的五大趋势 10. 2016年中国数据安全五大发展趋势 1. 机器学习常见算法分类汇总 10 评 2. 二十大数据可视化工具点评 9 评 3. 成为数据科学家并不难 5 评 4. 未来的云计算语言？Go在Google内部崛起 4 评 5. 软件产业掀起投融资热潮 3 评 6. Skype推出全新扁平化设计的Android应用 3 评 7. 为什么我选择CentOS而不是Debian/Ubuntu 3 评 8. 扔掉KPI，跟Google学习OKR管理方法 3 评 9. 2014年值得关注的十个Hadoop大数据创业公司 3 评 10. 自动分析工具：数据科学家职业的终结者 3 评 1. 沽淡小剑: 哎，数学没学好啊... 2. Hyperencrypt: 试试AECall 可以加密手机电话 与 APP通话 ht... 3. angel126: 应该直接翻译出来呀... 4. 陈会端: 最重要是好的想法，而不是复杂的模型。... 5. 呵呵: 还是西方的这一套啊，怎么不说诺贝尔躺枪... 6. 有道理: 有道理有道理... 7. TS: 公司的，0起步安全计划好棒，很佩服，团队的胆量，改代码真的很... 8. differ: 现在做协同办公的很多，以上10款不是最的最好的。我们用的 1... 9. Joanna Teakle: Hurrah, that's what I was sear... 10. depthlink: 这几款APP各有各的优势，智商的提高是一个漫长而不明显的过程... Android app推荐 BYOD CIO CMO facebook google Hadoop HTML5 IBM LinkedIn NSA OpenStack twitter web安全 WiFi 云安全 云计算 云计算选型 人工智能 企业2.0 办公app 大数据 大数据人才 大数据创业 大数据工具 大数据市场 大数据应用 大数据案例 大数据趋势 安全意识 安全报告 微软 思科 数据中心 数据可视化 数据科学家 智能家居 移动安全 移动应用开发 移动开发 网络安全 苹果 软件开发 领导力 CTOCIO专栏 [andrewchen50.png] Andrew Chen [wangmeng50.png] 王萌 [songyan50.png] 宋妍 [guanzhigang50.png] 关志刚 [liuchaoyang50.png] 刘朝阳 [stevemushero50.png] Steve Mushero [rikferguson50.png] Rik Ferguson [Smets-Jean-Paul_avatar_1392577141-126x126.jpg] Jean-Paul Smets [zhanglin50.png] 张霖 [gooannedu2015.jpg] 下载 security-Fitbit 麻省理工智能手环安全分析报告 报告详细分析了FitBit智能手环的硬件、网络、APP、云服务四个攻击面的安全性和隐私保护问题，风风火火搞智能硬件的务必要抽空看下。 healthcare.jpg 麦肯锡：医疗行业的大数据革命 医疗大数据应用已经来到引爆点，可为美国节省数千亿美元医疗开支。 InQTel_Investment_bigdata-footprint-1.jpg 解读美国国家安全部NSA的大数据战略 棱镜门事件以来，NSA的全球监控行为遭到各国政府和人民的谴责，但美国情报部门所展现的大数据和信息安全技术实力也成为各国政府甚至一流IT 企业为之“艳羡”的对象。 body BYOD安全策略与工具指南 《BYOD安全策略与工具指南》为企业的信息安全主管和CIO们提供了一个详尽而系统的移动安全策略框架。 mailbox dropbox Gartner：企业文件分享市场三公司领跑 Box、Accellion和Citrix三家公司获得了Gartner的最高评分，并被认为是最安全和成熟的“企业级”解决方案。这三家公司 也代表着企业级文件分享与同步市场的最高水平。 VisionMobile APP经济的基石：2013年移动开发报告 最近VisionMobile发布的2013移动开发工具报告为我们揭示了移动开发平台和工具的流行趋势，以及不同开发策略的盈利模式等关键信 息，对移动应用开发企业和从业人员有较高的参考价值。 赞助内容 Nexedi-Ucloud-Storm-Lightning.png 中国首个开源防雷业务管理平台在Ucloud上部署运行 经过对中国防雷业务 审核为期9个月的学习和研究，世界十大开源ERP开发商之一，法国开源软件企业Nexedi 开发了首个开源防雷业务电子政务管理平台。 KTH-Royal-Institute-of-Technology-in-Stockholm_thumb.jpg Cray 赢得瑞典皇家理工大学超级计算机合同 Cray的这套系统将成为瑞典和斯堪地纳维亚地区首台千万亿次规模的超级计算机。瑞典研究人员和产业合作伙伴因此可以在气候模拟、流体动力学、 神经科学、等离子物理、材料科学和分子模拟等领域进行复杂的模拟。 cray xc30 Cray公司赢得韩国国家气象局（KMA）5400万美元超级计算机合同 CRAY公司赢得了韩国国家气象局（KMA）一项价值5400万美元的合同，未来将为该机构提供两台新一代Cray® XC™ 超级计算机和一套Cray Sonexion® 存储系统。 thumb.png 星图数据：电商大数据金矿的“国产挖掘机” 作为为数不多的本土大数据创业企业，星图数据在互联网大数据领域已经耕耘了将近3年,自主研发出了一套适合中国企业的大数据应用服务产品。 4G-LTE-wmc_thumb.jpg 4G LTE: 有史以来普及最快的无线通信技术 在全球，面对急速增长的移动数据需求，4G LTE成为目前最领先的移动宽带解决方案，也是有史以来普及最快的无线通信技术。 行业 * 制 * 零售 * 教育 * 医疗 * 能源 * 政府 * 电信 * 航空 * 媒体 * 汽车 * 服务 * 金融 * 旅游 应用 * CRM * ERP * BI * 物联网 * SCM * BPM * 大数据 * 企业2.0 * 移动 * CIO库 管理 * 观点 * 领导力 * 人物 * 职场 * 公司 * 招聘 * 读书 * 报告 * 创业 技术 * 云计算 * 存储 * 网络 * 计算 * 软件 * 数据中心 * CTO库 安全 * WEB安全 * 数据安全 * 安全管理 * 安全审计 * 入侵侦测 * 通信安全 装备 * 移动设备 * 苹果 * 家庭网络 * 应用程序 IT经理网 * 关于我们 * 我要投稿 * 文章RSS * 评论RSS * 隐私条款 友情链接 * 天涯IT * 51CTO * 中国教育在线 * 速途网企业IT * 开源中国 * Teambition * 安畅云 * 程序员客栈 * 更多连接 Copyright © 2011,ctocio.cc - IT经理网 京ICP备13032362号-1 | 加载中 加载中