#移动信息化那些事 » 2012盘点：大数据的前世今生评论Feed IDC:未来三年云端职位紧缺 关于APP不得不说的事儿 移动信息化那些事 RSS Feed * 登录 * 投稿 * 微博 * RSS 移动信息化那些事 [20151026151000_59500.png] 搜索__________________ [search.png]-Submit * 首页 * 动态 * 观点 * 报告 * 应用 * 方案 * 专题 * M视角 * M商桥 * 问答 * 商店 * 关于我们 2012/12/25 星期二 2012盘点：大数据的前世今生 暂无评论 Big Data是先知”关键报告”电影成真不远矣 最近一直在报章杂志上看到讨论有关《Big data》相关的应用，横跨金融交易、电子商务、决策制定、广告营销、医疗用药等。以前在几乎没有听闻这类型的技术，所以经过笔者调查把目前所知跟读 分享。《Big data》其实是巨大数据数据库加上处理方法的一个总称，其中包含信息领域的《Machine Learning机器学习》、《Data Mining数据分析》、《Artificial Intelligence人工智能》以及现在最火红的《Hadoop档案处理系统》，这些技术由于近年来计算器处理速度与存储装置的性能快速提升，使得 实时处理大量数据变成可能。 存在已久的各领域信息技术相互融合，在这个当下爆出应用火花，甚至世界各国的教育当局，都开始考虑是否要将海量数据的处理分析技术，成立科系或是学程来 因应未来数年极可能会因为此领域的急速成长而出现的人才缺口。 Big Data 名称的由来 海量数据（又称大数据、大数据）即《Big data》 ，名词在2010 年由IBM 所提出，而海量资料则的特性包含三种层面：巨量、实时性及多样性。 1. 巨量 – 海量资料的特色就在于： 庞大。 政府，企业以及及时敢测器等数据包罗万象，很容易便达到数TB（Tera Bytes），甚至上看PB（Peta Bytes）之谱。 2. 实时性 – 海量数据通常具有时效性，一旦串流到运算服务器就须立即使用，实时得结果才能发挥其最大价值。 3. 多样性 – 海量数据的范畴不仅止于结构化数据，还包含各类非结构化的数据：诸如文字、音频、视讯、点击串流、日志文件等等。引用来源－ＩＢＭ 而处理海量数据《Big data》的技术，现今最火红的则非《Hadoop》莫属了喔！ bigdata_chart 什么是Hadoop？ 根据《Hadoop》的创办人Doug Cutting所言“Hadoop”就只是帮一只黄色的填充大象取的名字而已，没有什么特别的意思纯粹只是好记而已。而《Hadoop》技术的诞生则是 因为因特网数据的爆炸性成长，传统的文件系统无法负荷储存跟分类，从而根据Google搜寻器的相关的学术论文为蓝图，演变成一套如何储存、处理、分析 TB（Tera Bytes）甚至PB（Peta Bytes）等级的数据处理方法。 Hadoop是百分之一百免费由Java程序语言所编写的Open Source，一种从根本结构上与现存技术不同且先进的储存、处理、分析海量数据的技术，执行Hadoop使用者无须仰赖昂贵的或是具有专利的软硬件平 台，Hadoop可以在便宜且工业规格化的服务器群上执行平行数据处理以及分析，有了Hadoop没有什么数据量是过大的，在现今资料量爆炸的时代企业 、学术、政府等组织可以利用从之前被认为是无用的资料找出从来没被发现的参考价值。 《Hadoop》基本上可以处理任何数据型态，不论是结构化或是非结构化，log纪录文件、照片、声音、通讯纪录或是电子邮件。不管是什么数据你都可以 汇入《Hadoop》Cluster并且不用作任何前处理，它就会帮你回答你从来不曾想过的问题！《Hadoop》把看似毫无关联的资料背后所隐含的讯 息呈现出来，用户便可以根据更多的参考资料做出对应决策了。 以下就几个实例来跟读者分享目前《Big data》现今的应用 IBM Watson医生诊断辅助系统 Big Data也可以当医生？IBM Watson机器人也可以利用来协助医生听诊，原因是这样，医生可能跟你讲五句话，就差不多确定你是生什么病了，接下来可能都是跟你闲话家常，而已经有 一些美国的医疗机构为了避免医生的疏失，开始与IBM合作，现在Watson会陪同医生听诊，听诊完它会透过病征列出可能病患可能患疾病是哪些，医生可 能问诊完想到的病征可能只有三、五个，可是Watson会跟从海量数据分析的角度帮他列出高达20个病征选项，这大大的可以减少医生疏忽的机会，医生看 了Watson的分析报告以后就可知道，可以再多问病人什么问题来缩小看诊判断误差。尤其是远距医疗时，这个服务特别受用。不过Watson机器人主要 还是做协助的工作，而不会告诉你，就是这个病，最后要把关、负责任的还是医生本人。 美国平价连锁零售业商场（Target）猜你怀孕了没？ Target从女性消费族群的购买行为，研发出一套领先同业的”怀孕预测模型”。Target的资料分析专家发现，当某些女性从购买有香味的乳液，转而 购买无香味的乳液，或是开始采购叶酸、钙片、镁与锌等营养补充品，他们就会大胆推测这名女性可能已经怀孕。塔吉特的专家将过去女性消费族群的数据进行串 流、分析，研发出怀孕预测模型。这个模型会列出25种孕妇最有可能购买的产品，并依据女性消费者的行为，计算出他们的怀孕预测分数。塔吉特一旦发现这名 女性消费者可能已经怀孕，就会立刻寄出相关商品的促销广告。塔吉特甚至还会分析这些女性通常在一星期中的哪一天出门购物，并且在前一天就抢先寄送广告函 给她。 不过根据从事电子商务的专家表示，目前应用Big Data在电子商务的实际例子还是属于稀有动物，购物网站所推荐的东西还只是根据公司的促销策略而已，并没有把消费者的消费模式、浏览纪录、以及个人资 料作差异化的推荐行机制。 Amazon以及Netflix 网络消费经验 我想台湾大多数人的网购经验都来自Yahoo!或是 PChome，如果你曾在Amazon购物过其经验绝对截然不同，一开始你一定会看到一些鬼打墙无厘头的推荐，他们会根据你现在浏览的商品跟你说曾经浏 览过这商品的人又看过了什么，或是买这个商品的人他们也会购买什么商品，然后给你一份推荐清单，其中还包括你自己的浏览以及购物纪录，这种推荐方式是根 据历史购买纪录计算的喔！根据统计资料这种推荐方式让Amazon在一秒钟能够卖出79.2样商品呢！ 根据2012年的数据，美国最大的在线影音出租服务的网站NETFLIX统计，每十部他推荐的影片大概有7.5部以上，使用者会选择接受这样的推荐，机 率非常之高。更神奇的是，你看完这个片子，你可以针对这个片子给几颗星的评价，在你下完评价之前，他已经对你做了预测说你上下不会超过半颗的误差。这些 计算是根据你收视这些片子的喜好，包含导演、明星的组合，当然他背后有个算法，他可能是Data Mining数据探勘的方式，或是加上一些Machine Learning机器学习的功能，其实这都是长期对户的行为做《Big data》分析之后淬炼出来的。 什么别闹了!? 《Big data》除了做电子商务还可以挤牛奶做《Big dairy》? Big Data 也可以用来挤牛奶 根据《彭博新闻周刊》报导，这是一家牛乳农场的故事，因为这个农场的两个帮手孩子要到城里上大学，挤牛奶人手会突然不够，这个牛乳农场决定率先使用最新 的《Big data》技术，来帮助他们，他们使用一个机器人来挤牛奶，这个机器人会自动找出乳牛乳头，装上挤奶装置，机器人可以记录每一头乳牛，长期分泌牛乳的统 计资料，找出优化的挤奶策略。以前他们要分析这些牛乳数据，都要先把样本送到有网络连接的地方，在把数据传送到可分析的实验室里面，可是现在只要用智能 型手机，他们还搭上智能型手机的APP还有外部传感器，连上云端系统，就可以直接分析这些牛乳资料，知道生菌数，或是乳牛是否健康，有没有感染乳腺炎。 他们这套仪器要价20万美金来挤牛奶，但是从2007年到2011年，一头牛可以多生产出1142磅的牛乳，因为Big Data挤牛奶也可以变的更有效率，也更不花人力了。 另外，不晓得大家有没有常常塞在车阵中动弹不得，看着导航预计抵达的时间一分一秒的往后推迟的经验，却又不行要求导航机转换道路的窘况，根据在卫星导航 业工作的朋友表示欧洲的卫星导航大厂早就已经把海量数据分析的概念导入路径规划的的算法里面了，可以替驾驶预知交通装况喔！只是台湾的用户可能还要再等 一阵子，荷兰商导航机厂TomTom中文版才会支持这么棒的功能。 TomTom 卫星导航HD Traffic TomTom利用实时监测超过八千万支匿名的移动电话，一百万台以上的TomTom Live卫星导航机在路面上的移动速度，搭配RDS-TMC的道路交通信息系统，建构一个完整而且实时的交通数据库，透过GPRS将实时的道路信息，例 如某路段的现在平均速度、红绿灯交换频率、路段在每星期不同日子的平均速度、道路施工状况以及事故状况的数据，以每两分钟一次的频率及时推播给卫星导航 机甚至装在Apple iphone或是Android phone上的TomTom导航app，路径规划算法便可以根据现在的路况做实时修改，提供驾驶人一条现在的优化路径，节省宝贵的时间，即便你身陷车阵 当中，用路人也可以精准的知道delay的时间，目前根据统计资料，使用此服务的驾驶平均可以节省15%的行车时间。 上图引用自 《TomTom Live Traffic》为纽约曼哈顿的实时路况数据，传统的最短或是最快速路径规划法，搭配Real-Time路况数据帮助驾驶避免进入壅塞或是施工路段。 左图为最短路径规划，右图为真实用路时间历史纪录，可以看到红绿灯的多寡频率以及真实行驶速度大大影响了路径规划的策略呢！引用自《TomTom》 此外这种运用实时数据运算建立的卫星导航路径规划，不仅仅可以用在一般开车的用路人身上，更可以帮助运输业建立车队管理系统，怎么样更有效率的规划车队 分配，最佳路径规划（多中继点路径规划）让运输业者可以用最小的车队规模，最少的油耗量，达到最佳的运输量以及最精准的递送时间，在全球一片减少节能减 少碳的声浪中，《Big data》的技术帮助TomTom宣称自己绿色企业，也帮助其其解决方案使用者加入绿色企业的一员。 而笔者没想到的是，用海量数据也可以成为赢得大选的利器之一！我们网友戏称”脸书治国马宗痛”（也许是另类Big Data），不知道有没有利用这种技术来打选战啊？美国的欧巴马倒是走在时代尖端喔！ Barack Obama用Big Data 打赢大选 “数据分析Data mining”在欧马巴竞选中发挥关键且重要的作用。欧巴马竞选阵营的数据分析团队为竞选活动搜集、储存和分析了大量数据，帮助其竞选团队成功“策划” 多场活动，为欧巴马竞选筹集到10亿美元资金。 上图为欧巴马在胜选后第一张分享到推特上的照片 今年春天欧巴马竞选阵营的数据分析团队注意到，影星乔治‧克鲁尼(George Clooney)对美国西海岸40岁至49岁的女性具有非常大的吸引力。她们是最有可能为了在好莱坞与乔治克隆尼和欧巴马共进晚餐而自掏腰包的族群。而 最终乔治克隆尼在自家豪宅举办的筹款宴会上，为欧巴马筹集到数百万美元的竞选资金。 不只在西岸竞选团队同样希望东海岸也能如法炮制”乔治克隆尼效应”的成功经验。最后《Big Data》数据分析把箭头指向了莎拉‧杰西卡帕克，于是一场在莎拉‧杰西卡·帕克的纽约West Village豪宅与欧巴马共进晚餐的募款竞争便诞生了。 对于普通民众而言，他们根本不知道这次活动的想法源于欧巴马数据分析团队对莎拉‧杰西卡帕克粉丝研究的重大发现：这些粉丝喜欢竞赛、小型宴会和名人。竞 选主管在此次选战中打造了一个规模五倍于2008年竞选时的数据分析部门，这个由几十人组成的数据分析团队的具体工作被严格保密，有关这个团队的更多细 节是不会对外透露的，因为欧巴马竞选阵营牢牢固守着他们自认为比罗姆尼竞选阵营有优势的地方：即“Data”。 上图为欧巴马的数据分析团队工作情况源自《时代杂志》 这种协助筹款的技术随后又被用于预测投票结果，使他们可以准确了解每一类人群和每一个地区选民在任何时刻的态度。这带来了巨大的优势。当第一次电视辩论 结束后，选民的投票倾向发生改变。而数据分析团队可以立即知道什么样的选民改变了态度，什么样的选民仍坚持原来的投票选择。再者，每天晚间高达6.6万 次大选结果被模拟以考虑多种不同情况，并于每天上午获得结果，了解在这各州胜出的可能性，从而针对性地分配资源。 这种由根据数据分析的决策方式在欧巴马成功连任的过程中发挥了重要作用，从前依赖预感和经验的华盛顿特区竞选专家地位正在迅速下降，并且被善于利用大批 量数据分析的专家和程序设计师所取代。在政治界《Big data》的时代已经到来。 Linkedin 等于职场版的脸书? 不知道各位读者有没有使用Linkedin的经验，笔者曾在海外工作过一段时间，发现老外常用专业工作上的社交软件叫做Linkedin，刚好也有机会 在此网站上面登录，Linkedin用户可以把自己的专长工作技能、学经历、论文专利发表等相关数据放在个人档案中与大家分享，就像脸书一样大家可以互 相连结，甚至连队朋友的专业技能类似“按赞”的〈Endorse/背书〉功能也有. Linkedin到底跟Big Data有什么关系呢？我们可以从页面观察到的数据分析包括： 1. 谁在浏览你的档案 2. 在过去15天中有多少人浏览过你的页面 3. 在过去20天中你的档案出现在关键词搜寻中的次数 4. 正在浏览的你自己数据页面的人，他们又浏览了哪些人的页面 5. 根据的你档案你可能会认识谁 6. 你的工作技巧在现今是当红还是退烧 各种统计数据的呈现，可以说是族繁不及备载，用户可以根据这些数据修改或是增进自己履历页面的丰富度，聊解你自己目前在就业市场的竞争力，或是比较跟 具有类似背景的人他们的学经历又是如何，甚至可以跟他们互相连结切磋职场心得，当然履历经验越是丰富的的人常常就会有猎人头公司的成员跟你联络或是推荐 职缺给你喔！Linkedin目前是国外相当火红的职场社交网站，国内目前的普及度还是不高，不过在外商圈的员工使用率算是比较活跃一点。 从上述的例子看来，Big Data的应用还真是包罗万象，我想不久的将来，很多六、七年级生小时候的回忆《闪电霹雳车》动画里面风见隼人的智能驾驶辅助系统“阿斯拉”出现在路上 ，或是《关键报告》里面的预测犯罪的先知也成为警方办案的利器我们应该也不会觉得奇怪，就让我们拭目以待吧！ 移动信息化交流QQ群：一号群:211029692 二号群:344692795 CIO交流群:316076815(需认证) 移动化问答社区:wenda.yidonghua.com 标签: big data, 大数据, 大数据分析, 大数据应用 posted on: 动态 1 星 2 星 3 星 4 星 5 星 (还没有打分，快来打分吧！) Loading... Loading... « IDC:未来三年云端职位紧缺 关于APP不得不说的事儿 » 快捷登录: * QQ * 新浪微博 * 腾讯微博 * 人人网 * 更多>> 亲爱的，您好！ 登出？ 取消回复 _____________________________________________ _____________________________________________ _____________________________________________ * 表 * 图片 * [ ] 新回复邮件提醒 * * 发表评论 已有 0 条评论 最新 最早 最佳 使用社交账号登录 * QQ * 新浪微博 * 腾讯微博 * 人人网 * 开心网 * 豆瓣 * 搜狐微博 * 百度 作为游客留言: 昵________________________ 邮________________________ 网________________________ 登录 支持用 Gravatar头像 技术支持: 水脉烟香 * 默认 * 阿狸 * 浪小花 连接微博 * 扫描二维码,加微信好友 关注微信 * 移动信息化大本营 * 移动化观点 + 微信应用号深度解读 对整个互联网产生哪些影响？ 2016/01/13 星期三 + 微信推工作版APP 会不会是腾讯的空城计？ 2015/12/23 星期三 + 2016年国内知名的EMM厂商推荐 2015/12/21 星期一 + ce9e780f3633cafcbda7e3579f5b680a.jpg_600x600 2016年9大企业技术趋势 2015/12/15 星期二 + 三大移动厂商当众撕逼 谁的压力的更大？ 2015/09/16 星期三 + 2015年全球13亿移动工作者 企业IT正进入全新时代 2015/09/16 星期三 * RSS 问答区动态 + 我下载了android的app，输入的普通服务器的地址是我们的什么地址。。还是说只要是服务器地址就行啊 + macana + 有什么原因导致HTML5网站必须在IE浏览器的”语言首选项“设简体才能显示页面 + 请问哪里可以找到移动应用安全检测基准？ + MobileArk的的功能有哪些，想了解齐全的功能方便购买使用 + 企业移动门户要具备哪些功能? + agile lite能否和ExMobi结合?相关功能是否能够正常调用? + 多页开发模式下烽火星空的agile lite如何工作?在开发模式上有什么建议？ * 最新评论 + 固执大叔叔: 微软现在又兼容苹果Objective-C语言了，操蛋不，现在苹果都出swift了，坑爹的微软[汗][晕][黑线] + bjBBy: 国内MASTUDIO移动平台在H5方面还是走的比较前沿的！ + 似梦，转身: 绝对的行业领先优势。。。 + IST灏智科技: 任何的实施都需要先设计好，再测试过才是正式落实方案 + 葛生蒙楚蔹蔓于野: 我是一个开发者，我就从开发者的角度说吧。jquery是一个js框架，而ExMobi是一个平台，ExMobi也支持js引擎，如 果一个开发者能在ExMobi里能写出一套类似jquery的框架，我相信没有一家公司会拒绝吧。说白了，编程注重的是思维，而不是 具体的技术本身。再说ExMobi有很强的集成能力，如果你用ExMobi跟微软、SAP服务或者跟微信、阿里云、百度这些开放平台 都有集成过，相信也不会有哪家公司会拒绝吧。工具是提高人的工作效率，并不会降低人的能力，技术本质都是一样的JS、JAVA之类的 ，学了也不会废掉。通过ExMobi，你可以在5年内快速了解并运用业内众多的优秀资源，这些就是你的优势。学习是无止尽的，ExM obi不是全部，这个在我刚使用第一年的时候就发现了，但是好在ExMobi可以跟众多技术融合，发挥各自的优势，至于能找到什么样 的工作还是看个人。 + 去去就来: 是一类东西吗？ * 行业动态 + 201511126536_7430 传Facebook正在开发自己的Android应用商店 2016/01/16 星期六 + IBM-UA IBM 和 Under Armour 将合作推出下一代健身App 2016/01/13 星期三 + 7382222669 2015年移动医疗领域十大关键词 2015/12/28 星期一 + 567a6dd2ea5c2 Android 2016预测：哪些美好的事情将会发生？ 2015/12/25 星期五 + Apple Pay 正式进入中国 2015/12/19 星期六 + 移动支付:Android Pay发布 2015/12/16 星期三 * 业内观点 + 企业移动信息化是否存在入口？ 2016/01/14 星期四 + 2013071710143975482 调查报告：移动应用远没有你想得那么安全 2016/01/13 星期三 + f288649981ff985a5bb078a26600b786.jpg_600x600 苹果、银联、支付宝：谁在为谁做嫁衣？ 2016/01/12 星期二 + webcam-watching-4e67995-intro_thumb 2016年六大移动安全威胁 2016/01/11 星期一 + 移动支付恩仇录（下） 2016/01/10 星期日 + 移动支付恩仇录（中）：对决 2016/01/09 星期六 * 移动办公方案 + TrustView：云计算下的信息防泄漏解决方案 + 工作记录仪——易华录转型升级的新利器 + 移动国检通解决方案 + 制造业移动应用解决方案 + 神州数码:移动CRM解决方案 + 嘉赛EMM平台 跨操作系统能力快速整合金融IT服务 * 移动化热词 APP BYOD CIO Gartner html5 MAM MDM 云计算 企业信息化 企业移动化 信息化 信息安全 大数据 手机安全 数据报告 无线城市 智慧城市 智能手机 移动APP 移动oa 移动业务 移动中间件 移动互联网 移动互联网发展趋势 移动互联网应用 移动互联网技术 移动信息化 移动办公 移动化 移动医疗 移动商务 移动安全 移动平台 移动广告 移动应用 移动开发 移动技术 移动支付 移动时代 移动终端 移动营销 移动设备 移动设备管理 苹果 解决方案 友情链接： CIO时代网 | 中国IT实验室 | 畅享网 | ENI经济和信息化 | 31会议网 | 华夏未来 | 云通讯平台 | OA | 推酷 | 猛科技 | 3W招聘 | 鲜蛋网 | 搜我们 | 尚网 | 泛微旗下云办公平台 | 数据安全 | 万户oa系统 | 威腾网 | 会议网 | © 2016 移动信息化那些事. All Rights Reserved. 站点地图 静态文件存储由 提供 返回顶部 无觅相关文章插件，快速提升流量