大数据 编辑 锁定 大数据 big data 指 无法 在 可 承受 的 时间 范围 内 用 常规 软件 工具 进行 捕捉 管理 和 处理 的 数据 集合 是 需要 新 处理 模式 才能 具有 更 强 的 决策 力 洞察 发现 力 和 流程 优化 能力 的 海量 高 增长率 和 多样化 的 信息 资产 1 2 在 维克托 迈尔 舍恩伯格 及 肯 尼斯 库克 耶 编写 的 大数据 时代 3 中 大数据 指 不用 随机 分析法 抽样调查 这样 的 捷径 而 采用 所有 数据 进行 分析 处理 大数据 的 5V 特点 IBM 提出 Volume 大量 Veloci ty 高速 Variety 多样 Value 价值 Veracity 真实性 4 5 中文名 大数据 外文 名 big data mega data 别称 Data Mining 提出 维克托 迈尔 舍恩伯格 及 肯 尼斯 库克 耶 提出 时间 2008 年 8 月 中旬 应用 学科 计算机 信息 科学 统计学 21 a 4462309 f 7905280 b 3505 f0ff 3d 7ca 7bcbd 526 jpg BUTTON 图集 大数据 图册 词条 视频 目录 1 1 定义 2 2 特征 3 3 意义 4 4 结构 1 5 应用 2 6 趋势 3 7 国务院 印发 行动 纲要 促进 大数据 加快 发展 1 8 大数据 的 IT 分析 工具 基本 信息 中文名 大数据 外文 名 big data mega data 别 称 Data Mining 提出 维克托 迈尔 舍恩伯格 及 肯 尼斯 库克 耶 提出 时间 2008 年 8 月 中旬 应用 学科 计算机 信息 科学 统计学 适用 领域 范围 BI 工业 4.0 云 计算 物 联网 互联网 适用 领域 范围 人工智能 v4 特点 大量 高速 多样 价值 定义 编辑 大数据 与 云 计算 的 关系 大数据 与 云 计算 的 关系 对于 大数据 Big data 研究机构 Gartner 给出 了 这样 的 定义 大数据 是 需要 新 处理 模式 才能 具有 更 强 的 决策 力 洞察 发现 力 和 流程 优化 能力 的 海量 高 增长率 和 多 样 化 的 信息 资产 2 麦肯锡 全球 研究所 给出 的 定义 是 一 种 规模大 到 在 获取 存储 管理 分析 方面 大大 超出 了 传统 数据库 软件 工具 能力 范围 的 数据 集合 具有 海量 的 数据 规模 快速 的 数据 流转 多样 的 数据 类型 和 价值 密度 低 四大 特征 6 大数据 技术 的 战略 意义 不 在于 掌握 庞大 的 数据 信息 而 在于 对 这些 含有 意义 的 数据 进行 专业化 处理 换 而言 之 如果 把 大数据 比作 一 种 产业 那么 这种 产业 实现 盈 利 的 关键 在于 提高 对 数据 的 加工 能力 通过 加工 实现 数据 的 增值 从 技术 上 看 大数据 与 云 计算 的 关系 就 像 一 枚 硬币 的 正反面 一样 密不可分 大数据 必然 无法 用 单 台 的 计算机 进行 处理 必须 采用 分布式 架构 它 的 特色 在于 对 海量 数据 进行 分布式 数据挖掘 但 它 必须 依托 云 计算 的 分布式 处理 分布式 数据库 和 云 存储 虚拟化 技术 3 随着 云 时代 的 来临 大数据 Big data 也 吸引 了 越来越 多 的 关注 著 云台 的 分析师 团队 认为 大数据 Big data 通常 用来 形容 一个 公司 创造 的 大量 非 结构化 数据 和 半 结构化 数据 这些 数据 在 下载 到 关系型 数据库 用于 分析 时 会 花费 过多 时间 和 金钱 大数据分析 常 和 云 计算 联系 到 一起 因为 实时 的 大型 数据 集 分析 需要 像 MapReduce 一样 的 框架 来 向 数 十 数 百 或 甚至 数千 的 电脑 分配 工作 大数据 需要 特殊 的 技术 以 有效 地 处理 大量 的 容忍 经过 时间 内 的 数据 适用 于 大数据 的 技术 包括 大规模 并行 处理 MPP 数据库 数据挖掘 电网 分布式 文件 系统 分布式 数据库 云 计算 平台 互联网 和 可 扩展 的 存储 系统 最小 的 基本 单位 是 bit 按 顺序 给出 所有 单位 bit Byte KB MB GB TB PB EB ZB YB BB NB DB 它们 按照 进 率 1024 2 的 十 次方 来 计算 1 Byte 8 bit 1 KB 1 024 Bytes 8192 bit 1 MB 1 024 KB 1 048 576 Bytes 1 GB 1 024 MB 1 048 576 KB 1 TB 1 024 GB 1 048 576 MB 1 PB 1 024 TB 1 048 576 GB 1 EB 1 024 PB 1 048 576 TB 1 ZB 1 024 EB 1 048 576 PB 1 YB 1 024 ZB 1 048 576 EB 1 BB 1 024 YB 1 048 576 ZB 1 NB 1 024 BB 1 048 576 YB 1 DB 1 024 NB 1 048 576 BB 全称 1 Bit 比特 Binary Digit 8 Bits 1 Byte 字节 1 000 Bytes 1 Kilobyte 1 000 Kilobytes 1 Megabyte 1 000 Megabytes 1 Gigabyte 1 000 Gigabytes 1Terabyte 1 000 Terabytes 1 Petabyte 1 000 Petabytes 1 Exabyte 1 000 Exabytes 1 Zettabyte 1 000 Zettabytes 1 Yottabyte 1 000 Yottabytes 1Brontobyte 1 000 Brontobytes 1 Geopbyte 1 特征 编辑 容量 Volume 数据 的 大小 决定 所 考虑 的 数据 的 价值 的 和 潜在 的 信息 7 种类 Variety 数据 类型 的 多样性 7 速度 Velocity 指 获得 数据 的 速度 7 可变性 Variability 妨碍 了 处理 和 有效 地 管理 数据 的 过程 7 真实性 Veracity 数据 的 质量 7 复杂性 Complexity 数据 量 巨大 来源 多渠道 7 意义 编辑 现在 的 社会 是 一个 高速 发展 的 社会 科技 发达 信息 流通 人们 之间 的 交流 越来越 密切 生活 也 越来越 方便 大数据 就是 这个 高科技 时代 的 产物 8 阿里巴巴 创办人 马云 来台 演讲 中 就 提到 未来 的 时代 将 不是 IT 时代 而是 DT 的 时代 DT 就是 Data Technology 数据 科技 显示 大数据 对于 阿里巴巴 集团 来说 举足轻重 9 有人 把 数据 比喻 为 蕴藏 能量 的 煤矿 煤炭 按照 性质 有 焦煤 无烟煤 肥煤 贫 煤 等 分类 而 露天 煤矿 深山 煤矿 的 挖掘 成本 又 不 一样 与 此 类似 大数据 并 不在 大 而 在于 有用 价值 含量 挖掘 成本 比 数量 更为 重要 对于 很多 行业 而言 如何 利用 这些 大规模 数据 是 成为 赢得 竞争 的 关键 10 大数据 的 价值 体现 在 以下 几 个 方面 1 对 大量 消费者 提供 产品 或 服务 的 企业 可以 利用 大数据 进行 精准 营销 2 做 小 而 美 模式 的 中长 尾 企业 可以 利用 大数据 做 服务 转型 3 面临 互联网 压力 之下 必须 转型 的 传统 企业 需要 与时俱进 充分 利用 大数据 的 价值 不过 大数据 在 经济发展 中 的 巨大 意义 并 不 代表 其 能 取代 一切 对于 社会问题 的 理性 思考 科学 发展 的 逻辑 不能 被 湮没 在 海量 数据 中 著名 经济学家 路德维希 冯 米 塞斯 曾 提醒 过 就 今日 言 有 很多 人 忙碌 于 资料 之 无益 累积 以致 对 问题 之 说明 与 解决 丧失 了 其 对 特殊 的 经济 意义 的 了解 11 这 确实 是 需要 警惕 的 企业 组织 利用 相关 数据 和 分析 可以 帮助 它们 降低 成本 提高 效率 开发 新产品 做出 更 明智 的 业务 决策 等等 例如 通过 结合 大数据 和 高性能 的 分析 下面 这些 对 企业 有益 的 情况 都 可能 会 发生 及时 解析 故障 问题 和 缺陷 的 根源 每年 可能 为 企业 节省 数 十 亿 美元 为 成千上万 的 快递 车辆 规划 实时 交通 路线 躲避 拥堵 分析 所有 SKU 以 利润 最大 化为 目标 来 定价 和 清理 库存 根据 客户 的 购买 习惯 为 其 推送 他 可能 感 兴趣 的 优惠 信息 从 大量 客户 中 快速 识 别出 金牌 客户 使用 点击 流 分析 和 数据挖掘 来 规避 欺诈 行为 12 结构 编辑 大数据 就是 互联网 发展 到 现今 阶段 的 一 种 表象 或 特征 而已 没有 必要 神话 它 或 对 它 保持 敬畏 之心 在 以 云 计 算 为 代表 的 技术创新 大幕 的 衬托 下 这些 原本 很 难 收集 和 使用 的 数据 开始 容易 被 利用 起来 了 通过 各行各业 的 不断 创新 大数据 会 逐步 为人 类 创造 更多 的 价值 13 其次 想要 系统 的 认知 大数据 必 须要 全面 而 细致 的 分解 它 我 着手 从 三个 层面 来 展开 第 一 层面 是 理论 理论 是 认知 的 必经 途径 也 是 被 广泛 认同 和 传播 的 基线 在 这里 从 大数据 的 特征 定义 理解 行业 对 大数据 的 整体 描绘 和 定性 从 对 大数据 价值 的 探 讨 来 深入 解析 大数据 的 珍贵 所在 洞悉 大数据 的 发展 趋势 从 大数据 隐私 这个 特别 而 重要 的 视角 审视 人和 数据 之间 的 长久 博弈 第 二 层面 是 技术 技术 是 大数据 价值 体现 的 手段 和 前进 的 基石 在 这里 分别 从 云 计算 分布式 处理 技术 存储 技术 和 感知 技术 的 发展 来 说明 大数据 从 采集 处理 存储 到 形成 结果 的 整个 过程 第 三 层面 是 实践 实践 是 大数据 的 最终 价值 体现 在 这里 分别 从 互联网 的 大数据 政府 的 大数据 企业 的 大数据 和 个人 的 大数据 四 个 方面 来 描绘 大数据 已经 展现 的 美好 景象 及 即将 实现 的 蓝图 13 应用 编辑 洛杉矶 警察局 和 加利福尼亚大学 合作 利用 大数据 预测 犯罪 的 发生 google 流感 趋势 Google Flu Trends 利用 搜索 关键词 预测 禽流感 的 散布 统计学家 内特 西尔弗 Nate Silver 利用 大数据 预测 2012 美国 选举 结果 麻省理工学院 利用 手机 定位 数据 和 交通 数据 建立 城市规划 梅西 百货 的 实时 定价 机制 根据 需求 和 库存 的 情况 该 公司 基于 SAS 的 系统 对 多 达 7300 万 种 货品 进行 实时 调价 14 医疗 行业 早就 遇到 了 海量 数据 和 非 结构化 数据 的 挑战 而 近年来 很多 国家 都 在 积极 推进 医疗 信息化 发展 这 使得 很多 医疗机构 有 资金 来 做 大数据分析 15 趋势 编辑 趋势 一 数据 的 资源化 何为 资源化 是 指 大数据 成为 企业 和 社会 关注 的 重要 战略 资源 并 已 成为 大家 争相 抢夺 的 新 焦点 因而 企业 必 须要 提前 制定 大数据 营销 战略 计划 抢占 市场 先机 趋势 二 与 云 计算 的 深度 结合 大数据 离不开 云 处理 云 处理 为 大数据 提供 了 弹性 可 拓展 的 基础 设备 是 产 生 大数据 的 平台 之一 自 2013 年 开始 大数据 技术 已 开始 和 云 计算 技术 紧密 结合 预计 未来 两者 关系 将 更为 密切 除此之外 物 联网 移动 互联网 等 新兴 计算 形态 也 将 一齐 助 力 大数据 革命 让 大数据 营销 发 挥出 更 大 的 影响力 趋势 三 科学 理论 的 突破 随着 大数据 的 快速 发展 就 像 计算机 和 互联网 一样 大数据 很 有 可能 是 新 一轮 的 技术 革命 随之 兴起 的 数据挖掘 机器 学习 和 人工智能 等 相关 技术 可能 会 改变 数 据 世界 里 的 很多 算法 和 基础理论 实现 科学技术 上 的 突破 趋势 四 数据 科学 和 数据 联盟 的 成立 未来 数据 科学 将 成为 一门 专门 的 学科 被 越来越 多 的 人 所 认知 各 大 高校 将 设立 专门 的 数据 科学 类 专业 也 会 催生 一 批 与 之 相关 的 新 的 就业 岗位 与此同时 基 于 数据 这个 基础 平台 也 将 建 立起 跨 领域 的 数据 共享 平台 之后 数据 共享 将 扩展 到 企业 层面 并且 成为 未来 产业 的 核心 一环 趋势 五 数据 泄露 泛滥 未来 几 年 数据 泄露 事件 的 增长率 也许 会 达到 100% 除非 数据 在 其 源头 就 能够 得到 安全 保障 可以 说 在 未来 每个 财富 500 强 企业 都 会 面临 数据 攻击 无论 他们 是否 已经 做好 安全防范 而 所有 企业 无论 规模 大小 都 需要 重新 审视 今天 的 安全 定义 在 财富 500 强 企业 中 超过 50% 将 会 设置 首席 信息 安全 官 这 一 职 位 企业 需要 从新 的 角度 来 确保 自身 以及 客户 数据 所有 数据 在 创建 之 初 便 需要 获得 安全 保障 而 并非 在 数据 保存 的 最后 一个 环节 仅仅 加强 后者 的 安全 措施 已 被 证明 于事无补 趋势 六 数据管理 成为 核心 竞争力 数据管理 成为 核心 竞争力 直接 影响 财务 表现 当 数据 资产 是 企业 核心 资产 的 概念 深入人心 之后 企业 对于 数据管理 便 有 了 更 清晰 的 界定 将 数据管理 作为 企 业 核心 竞争力 持续 发展 战略性 规划 与 运用 数据 资产 成为 企业 数据管理 的 核心 数据 资产管理 效率 与 主营业务 收入 增长率 销售 收入 增长率 显著 正 相关 此外 对于 具有 互联网 思维 的 企业 而言 数据 资产 竞争力 所 占 比重 为 36.8% 数据 资产 的 管理 效果 将 直接 影响 企业 的 财务 表现 趋势 七 数据 质量 是 BI 商业智能 成功 的 关键 采用 自助式 商业智能 工具 进行 大数据处理 的 企业 将 会 脱颖而出 其中 要 面临 的 一个 挑战 是 很多 数据源 会 带来 大量 低质 量 数据 想要 成功 企业 需要 理解 原始 数据 与 数据分析 之间 的 差距 从而 消除 低质 量 数据 并 通过 BI 获得 更 佳 决策 趋势 八 数据 生态 系统 复合化 程度 加强 大数据 的 世界 不 只是 一个 单一 的 巨大 的 计算机网络 而是 一个 由 大量 活动 构件 与 多元 参与者 元素 所 构成 的 生态 系统 终端设备 提供商 基础设施 提供商 网络 服 务 提供商 网络 接入服务 提供商 数据 服务 使 能者 数据 服务 提供商 触点 服务 数据 服务 零售商 等等 一 系列 的 参与者 共同 构建 的 生态 系统 而今 这样 一 套 数据 生态 系统 的 基本 雏形 已然 形成 接下来 的 发展 将 趋向 于 系统 内部 角色 的 细分 也就是 市场 的 细分 系统 机制 的 调整 也就是 商业 模式 的 创新 系统 结构 的 调整 也 就是 竞争 环境 的 调整 等等 从而 使得 数据 生态 系统 复合化 程度 逐渐 增强 16 国务院 印发 行动 纲要 促进 大数据 加快 发展 编辑 经 李克强 总理 签批 2015 年 9 月 国务院 印发 促进 大数据 发展 行动 纲要 以下简称 纲要 系统 部署 大数据 发展 工作 纲要 明确 推动 大数据 发展 和 应用 在 未来 5 至 10 年 打造 精准 治理 多方 协作 的 社会 治理 新 模式 建立 运行 平稳 安全高效 的 经济运行 新机制 构建 以 人为 本 惠及 全民 的 民生服务 新 体系 开启 大众 创业 万众 创新 的 创新 驱动 新 格局 培育 高端 智能 新兴 繁荣 的 产业发展 新 生态 纲要 部署 三 方面 主要 任务 一 要 加快 政府 数据 开放 共享 推动 资源 整合 提升 治理 能力 大力 推动 政府部门 数据 共享 稳步 推动 公共 数据 资源 开放 统筹 规划 大数据 基础设施 建设 支持 宏观调控 科学化 推动 政府 治理 精准 化 推进 商事 服务 便捷化 促进 安全 保障 高效化 加快 民生服务 普惠 化 二 要 推动 产业 创新 发展 培育 新兴 业态 助力 经济 转型 发展 大数据 在 工业 新兴 产业 农业 农村 等 行业 领域 应用 推动 大数据 发展 与 科研 创新 有机 结合 推进 基础 研究 和 核心 技术 攻关 形成 大数据产品 体系 完善 大数据 产业链 三 要 强化 安全 保障 提高 管理 水平 促进 健康 发展 健全 大数据 安全 保障 体系 强化 安全 支撑 17 2015 年 9 月 18 日 贵州省 启动 我国 首 个 大数据 综合 试验区 的 建设 工作 力争 通过 3 至 5 年 的 努力 将 贵州 大数据 综合 试验区 建设 成为 全国 数据 汇聚 应用 新高 地 综合治理 示范区 产业发展 聚集区 创业 创新 首选 地 政策 创新 先行 区 围绕 这 一 目标 贵州省 将 重点 构建 三大 体系 重点 打造 七大 平台 实施 十大 工程 三大 体系 是 指 构建 先行 先 试 的 政策法规 体系 跨 界 融合 的 产业 生态 体系 防控 一体 的 安全 保障 体系 七大 平台 则 是 指 打造 大数据 示范 平台 大数据 集聚 平 台 大数据 应用 平台 大数据 交易平台 大数据 金融 服务平台 大数据 交流合作 平台 和 大数据 创业 创新 平台 十大 工程 即 实施 数据 资源 汇聚 工程 政府 数据 共 享 开放 工程 综合治理 示范 提升 工程 大数据 便民 惠民 工程 大数据 三大 业态 培育 工程 传统 产业 改造 升级 工程 信息 基础设施 提升 工程 人才培养 引进 工程 大 数据 安全 保障 工程 和 大数据 区域 试点 统筹 发展 工程 此外 贵州省 将 计划 通过 综合 试验区 建设 探索 大数据 应用 的 创新 模式 培育 大数据 交易 新 的 做法 开展 数据 交易 的 市场 试点 鼓励 产业链 上下游 之间 的 数据 交换 规范 数据 资源 的 交易 行为 促进 形成 新 的 业态 国家 发展 改革 委 有关 专家 表示 大数据 综合 试验区 建设 不是 简单 的 建 产业园 建 数据中心 建 云 平台 等 而是 要 充分 依托 已 有的 设施 资源 把 现 有的 利用 好 把 新 建 的 规划 好 避免 造成 空间 资源 的 浪费 和 损失 探索 大数据 应用 新 的 模式 围绕 有 数据 用 数据 管 数据 开展 先行 先 试 更好 地 服务 国家 大数据 发展战略 18 大数据 的 IT 分析 工具 编辑 大数据 概念 应用 到 IT 操作 工具 产生 的 数据 中 大数据 可以使 IT 管理软件 供应商 解决 大 广泛 的 业务 决策 IT 系统 应用 和 技术 基础设施 每天 每秒 都 在 产生 数据 大数据 非 结构化 或者 结构 数据 都 代表 了 所有 用户 的 行为 服务 级别 安全 风险 欺诈 行为 等 更多 操作 的 绝对 记录 大数据分析 的 产生 旨 在于 IT 管理 企业 可以 将 实时 数据流 分析 和 历史 相关 数据 相 结合 然后 大数据分析 并 发现 它们 所 需 的 模型 反过来 帮助 预测 和 预防 未来 运 行 中断 和 性能 问题 进一步 来讲 他们 可以 利用 大数据 了解 使用 模型 以及 地理 趋势 进而 加深 大数据 对 重要 用户 的 洞察力 他们 也 可以 追踪 和 记录 网络 行为 大数据 轻松 地 识别 业务 影响 随着 对 服务 利用 的 深刻 理解 加快 利润 增长 同时 跨 多 系统 收集 数据 发展 IT 服务 目录 大数据分析 的 想法 尤其 在 IT 操作 方面 大数据 对于 我们 发明 并 没有 什么 作用 但是 我们 一直 在 其中 Gartner 已经 关注 这个 话题 很多 年 了 基本上 他们 已经 强调 如果 IT 正在 引进 新鲜 灵感 他们 将 会 扔掉 大数据 老式 方法 开发 一个 新 的 IT 操作 分析 平台 19 2015 国际 高端 研讨会 聚焦 大数据 服务 本报 北京 11 月 17 日 讯 记者 李 瑜 主 题为 数字化 知识 服务 科学 与 工程 的 2015 国际 高端 研讨会 近日 在 京 召开 此次 研讨会 由 中国工程院 主办 联合 国教 科文 组织 国际 工程 科技 知识中心 承办 大会 邀请 了 多名 中外 院士 及 国际 知名 专家学者 出席 共有 400 余 位 代表 参加 了 研讨会 中国工程院 院长 周济 出席 大会 并 致 辞 周济 指出 近年来 大数据 话题 在 经济 社会 工程 科技 等 各个 领域 广泛 传播 一个 大规模 的 生产 分享 和 应用 数据 的 时代 正在 开启 以 大数据 技术 为主 的 知识 服 务 和 产业 转型 已经 展现 出 冰山 一角 大数据 技术 与 智能终端 移动 互联 云 计算 等 相互 结合 进一步 推动 了 信息化 和 工业化 的 深度 融合 进一步 开拓 了 技术创新 与 经济发展 模式 进一步 提升 了 政府管理 和 行业发展 决策 的 科学化 水平 周济 介绍 说 目前 很多 国家 已经 开始 了 公共 数据 共享 和 大数据 发展战略 的 布局 美国 加拿大 英国 新加坡 等 发达国家 陆续 建立 了 政府 数据 开放 共享 平台 中 国 政府 也 在 今年 9 月 公布 了 促进 大数据 发展 行动 纲要 周济 表示 中国工程院 非常 愿意 与 联合国教科文组织 国内外 工程 科技界 在 信息 共享 大数据 技术 研究 和 知识 服务 等 领域 展开 积极 深入 的 合作 共同 推进 世界 工程 科技 的 繁荣 发展 在 创造 人类 美好 未来 的 历史 进程 中 贡献 力量 中国工程院 副 院长 陈 左 宁 联合国教科文组织 北京 代表处 项目 专家 汉斯 图尔 斯特鲁普 也 出席 了 大会 在 为期 一 天 的 会议 中 与会 院士 专家 分别 就 数字化 知识 服务 科学 与 数字化 知识 服务 工程 两 大 主题 进行 了 深入 思想 交流 不仅 回答 了 大数据 发展 应用 中 遇到 的 问题 也 为 其 未来 发展 提出 建议 中国 科学报 2015 11 18 第 1 版 要闻 推进 大数据 战略 构筑 网络 强国 专访 国家 信息化 专家咨询 委员会 委员 宁 家 骏 时间 2015 11 18 09 28 23 星期三 来源 新华网 编辑 陈星 凯 新华网 北京 月 日 电 记者 高亢 赵 晓 辉 党 的 十 八 届 五中全会 通过 了 中共中央 关于 制定 国民经济 和 社会发展 第 十 三个 五 年 规划 的 建议 其中 首 次 提出 实施 国家 大数据 战略 和 网络 强国 战略 引发 社会 广泛 关注 和 热 议 下 一个 五 年 发展 大数据 和 布局 新一代 网络 对于 我国 有 什么 意义 我国 信息 产业发展 将 呈现 什么 新 格局 记者 就此 专访 了 国家 信息化 专家咨询 委员会 委员 宁 家 骏 信息 成为 崭新 生产 十 三 五 规划 建议 提出 在 国际 发展 竞争 日趋 激烈 和 我国 发展 动力 转换 的 形势 下 必须 把 发展 基点 放在 创新 上 形成 促进 创新 的 体制 架构 塑造 更多 依靠 创 新 驱动 更多 发挥 先发 优势 的 引领 型 发展 在 我国 经济发展 进入 新 常态 大 背景 下 国家 今年 提出 双 创 理念 创新 已 成为 社会 和 经济发展 不可或缺 的 核心 要素 之一 宁 家 骏 说 目前 步入 信 息 社会 发展 最 重要 体现 在 创新 上 创新 关键 依靠 知识 和 信息 的 多样化 传播 加工 信息化 加快 了 信息 传播 和 新知 识 的 发现 进程 信息 数据 最终 价值 都 体现 在 形 成 的 知识 和 新 的 生产力 信息化 从而 直接 影响 了 生产力 和 生产 要素 传统 经济学 认为 劳动力 土地 资本 是 主要 的 生产 要素 在 新 时期 生产 要素 正在 发生 变化 宁 家 骏 说 虽然 传统 的 三 要素 作用 依然 巨大 但 其 可 挖掘 的 潜力 有限 劳动力 成本 持续 上升 国家 土地 资源 是 有限 的 而 资本 也 不 可能 凭空 而 来 宁 家 骏 认为 社会 和 经济发展 的 需要 发掘 新 的 生产 要素 信息化 最大 的 特点 就是 缩短 新知 识 的 创造 和 接受 过程 新知 识 的 诞生 推动 着 创新 大数据 网络 等 技 术 成为 创新 关键 带来 了 深层次 结构调整 的 渗透 和 人 思维 上 的 飞越 信息 已 成为 崭新 的 生产 要素 信息化 将 为 传统 的 三大 生产 要素 带来 不可限量 的 附加 价值 关键 在于 深化 创新 思维 十 八 届 五中 全会 首 次 提出 实施 国家 大数据 战略 推进 数据 资源 开放 共享 大数据 是 信息 社会 重要 资源 近年来 我国 不断 探索 大数据 发展 新 模式 目前 技术 水 平 与 国际 基本 同步 宁 家 骏 认为 实施 大数据 战略 恰逢其时 是 推动 工业化 和 信息化 深度 融合 打造 产业 竞争 新 优势 抢占 未来 发展 先机 弯道 超车 的 有效 途 径 大数据 推动 了 政府 决策 和 治理 能力 宁 家 骏 坦言 以前 某些 地方政府 认为 某些 产业 很 有 发展前景 但 忽略 了 对 整个 产业 布局 和 当地 实际 情况 的 数据分析 成 了 不少 地区 产能 过剩 如今 政府 运用 大数据 进行 精准 决策 拍 脑袋 做 决定 的 时代 已经 过去 数据 是 推动 产业 创新 体系 的 基本 要素 将 改变 整个 社会 的 创新 体系 为 创新 提供 了 重要 支撑 宁 家 骏 说 将 大数据 提升 到 国家 战略 是 经过 深思熟虑 的 对 中国 未来 发展 意义 深远 关键 要 加深 我们 对 大数据 经济 和 产业 的 理解 深度 宁 家 骏 说 目前 很多 地方 领导 和 企业 负责人 仅 把 大数据 看作 信息 服务 的 一 种 认为 投产 建设 大数据 中 心 就是 发展 大数据 这是 对 信息化 大数据 的 理解 不够 深入 造成 的 盲目 跟风 建设 数据 基础设施 容易 造成 新 一轮 产能 过剩 发展 大数据 核心 是 看 如何 更 科学 合理 应 用 大数据 资源 数据 共享 构建 网络 强国 宁 家 骏 表示 当前 我国 已 成为 全球 网民 最 多 的 网络 大国 然而 依然 面临 网络 基础设施 各地 区 发展 不 均衡 传统 产业 与 互联网 融合度 不够 缺乏 数据 资源 开放 共享 长效 机制 信息 安全 方面 形势 严峻 改革开放 深化 需要 加强 等 诸多 挑战 以 适应 信息 生产力 的 发展 十 三 五 规划 建议 中 明确 提出 实施 网络 强国 战略 正是 契合 时代潮 流 发展 的 关键 决策 宁 家 骏 说 在 建设 网络 强国 过程 中 应 继续 加强 信息 基础设施 建设 这是 最 重要 的 基础 提倡 和 推进 数据 开放 共享 是 关键 释 放 大数据 红利 把 它 作为 生产 的 重要 要素 来 发展 和 看待 推动 互联网 应用 创新 用 互联网 思维 改造 传统 产业 推动 创新 加强 信息 安全 保障 在 安全 中 求 发展 在 即将 到来 的 十 三 五 时期 我国 应 进一步 提高 信息化 水平 推动 政府 数据 信息 公开 和 共享 建立 开放 的 阳光 政府 宁 家 骏 说 信息 惠民 让 更多 的 人 分享 到 信息化 的 红利 让 老百姓 真正 从中 受益 我们 的 网络 强国 之路 并 不 遥远 近日 一 篇 用 数据 来 证明 大数据 基金 不是 神话 在 雪球 社区 被 火热 点击 该文 章 以 广发 百发 100 指数 基金 博时 中 证 淘金 大数据 100A 指数 基金 南方 大 数据 100 指数 基金 为 例 对比 同期 沪 深 300 指数 得出 了 国内 的 一些 流行 的 大数据 指数 基金 也 没有 传 得 那样 好 的 结论 然而 就 在 近日 大数据 基金 发行 之风 再起 本月 就 有 2 只 分属 不同 公司 的 大数据 基金 发行 在 收益 与 发行 情况 几乎 冰 火 两 重 天 的 情况 下 为何 还要 发行 大 数据 基金 其 核心 优势 究竟 何在 呢 收益 不 咋 地 发行 却 火热 证券 日报 基金 新闻部 微 博 微 信 证券 日报 微 基金 根据 WIND 数据统计 成立 超过 6 个 月 的 大数据 基金 净值 增长 情况 发现 目前 市场 上 的 大数据 基金 收 益 的确 不够 理想 如 成立 于 2014 年 10 月 30 日 的 广发 中 证 百发 100 基金 广发 中 证 百发 100E 广发 中 证 百发 100A 今年 5 月 15 日 以来 截至 上周 收盘 净值 分别 下跌 了 23.32% 和 23.23% 净值 增长率 在 同类 可比 397 只 被动 指数 型 基金 中 分别 排名 第 332 和 329 位 成立 于 今年 5 月 4 日 的 博时 淘金 大数据 1 00A 基金 今年 5 月 15 日 以来 截至 上周 收盘 其 净值 下跌 了 21.27% 净值 增长率 在 同类 可比 397 只 被动 指数 型 基金 中 排名 第 305 位 同期 沪 深 3 00 ETF 基金 下跌 了 19.16% 成立 于 今年 4 月 24 日 的 南方 大数据 100 基金 收益 相对 较 好 跑 赢 了 同期 沪 深 300 ETF 指数 今年 5 月 15 日 以来 截 至上 周 收盘 下跌 了 8.31% 净值 增长率 在 同类 可比 397 只 被动 指数 型 基金 中 排名 第 66 位 然而 与 并 不 亮眼 的 收益 相 对应 的 是 随着 近日 沪 指 回暖 新 一轮 大数据 基金 发行 热潮 席卷 开来 多家 基金 于 近日 发行 或 即将 发行 以 大数据 基金 而 大数据 基金 所 依托 的 数据 也 花样 繁多 各有所好 嘉实 基金 旗下 的 嘉实 腾讯 大数据 基金 将于 11 月 16 日 开始 发行 选股 策略 依据 是 腾讯 自选 股 5000 万 用户 的 大数据 腾讯 自选 股 向 嘉实 基金 提供 海量 用户 关于 股票 关注度 点击 量 搜索 量 以及 相关 财经 新闻 的 阅读 热度 等 整体 基础 数据 作为 数据源 曾经 发行 过 广发 中 证 百发 100 大数据 基金 的 广发基金 公司 旗下 的 广发 百发 大数据 策略 成长 已 于 11 月 2 日至 13 日 发行 完毕 广发 百发 大数据 基金投资 策 略 的 核心 是 充分 运用 百度 公司 互联网 行为 大数据 并 通过 相应 的 数据挖掘 和 分析 手段 将 涉及 的 上市公司 的 数据 进行 自动 分析 归并 统计 和 计算 同时 引入 量化 投资 模型 精选 股票 进行 投资 鹏 华 基金 近日 亦 将 在 大数据 基金 方面 开展 动作 鹏 华中 证 银 联 智 策 消费 大数据 指数 基金 于 10 月 14 日 完成 注册 亦 或 将于 近期 发行 鹏 华中 证 银 联 智 策 消费 大数据 基金 所 跟踪 的 指数 是 基于 银 联 庞大 的 商户 交易 流水 数据 开发 而 成 交易 流水 数据 能够 体现 消费 行业 细分 上市公司 真实 的 销售 情况 不同 数据 支撑 新秀 信心 满满 在 各种 花样 繁多 的 大数据 下 大数据 基金 在 本质 上 也 是 一 种 发掘 和 处理 上市公司 的 工具 事实上 基金投资 本身 是 对 信息 的 挖掘 和 处理 我们 以往 借助 的 是 上市公司 披露 的 信息 现在 大家 对 这些 信息 的 挖掘 和 处理 已经 十分 深入 竞争 比较 激烈 在 这种 情况 之下 我们 需要 崭新 的 数据源 这 就 来源于 对 大数据 的 充分 利用 近日 即将 发行 的 嘉实 腾讯 自选 股 大数据 基金 相关 人士 对 记者 表示 目前 市场 上 大数据 基金 的 数据源 各 有 不同 从 数据 类型 来看 包括 银行卡 交易 数据 线 上 销售 数据 搜索 量 数据 用户 浏览 行为 用户 选股 行为 用户 点击 关注 行为 等 虽然 数据源 各 有 不同 但 都 是 想 通过 深度 挖掘 数据 寻找 数据 背后 的 逻辑 从而 指导 投资 提及 收益 一般 发行 不断 的 现象 嘉实 基金 方面 对 该 基金 的 数据源 表示 信心 满满 嘉实 基金 认为 与 市场 上 已 有的 大数据 基金 产品 不同 的 是 嘉实 腾讯 自选 股 大数据 基金 的 数据源 对 市场 覆盖 全面 噪声 小 行为 含义 明确 与 股票 表现 关联性 强 随机性 低 给 大数据 选股 模型 提供 了 高质量 的 原材料 嘉实 腾 讯 自选 股 大数据 基金 的 数据源 和 股票市场 的 传导 路径 更 短 作为 交易 信号 的 价值 更 高 准确性 更 强 据 中 登 公司 统计 目前 中国 A 股市 场上 有约 9000 万 户 个人 投资者 因此 来自 腾讯 自选 股 5000 万 用户 的 整体 数据 具有 较 高 的 市场 代表性 此外 嘉实 基金 认为 打造 一 支 优质 的 大数据 基金 产品 第 一 是 数据源 一定 要 选择 和 目标 市场 传导 路径 短 一些 的 第 二 基金 管理人 一定 要 有 专业 的 数据 挖掘 和 数据分析 功底 能 从 浩瀚 的 数据 中 找到 可行 的 逻辑 即便 拥有 了 优质 的 数据源 基金 管理人 也 不能 单独 地 利用 大数据 进行 投资 以 嘉实 腾讯 自选 股 大数据 基 金 为 例 有 了 腾讯 自选 股 的 数据 后 再 与 嘉实 基金 的 基础 股票 池 合并 基金 管理人 必须 借助 专注 深厚 的 基本面 研究 能力 结合 自身 在 量化 模型 上 多年 的 积累 剔 除 基本面 比较 差 流动性 不好 的 一些 股票 优选 股票 形成 组合 防止 进入 投资 陷阱 纠错 space gif 责任 编辑 廖 佳 新华 炫 闻 客户端 下载 twoCode_xuanwen jpg 相关 稿件 甘肃 开始 运用 大数据 加强 市场 监管 2015 年 11 月 18 日 16 34 44 来源 新华网 评论 0 打印 字 大 字 小 新华网 兰州 月 日 电 记者 屠 国玺 运用 即时 通信 工具 开展 政务 信息 服务 对 农产品 生产 全程 进行 电子化 记录 管理 面向社会 提供 互联网 公共 信用 信息 一站式 查询 这些 都 是 甘肃省 最新 出台 的 运用 大数据 技术 提高 对 市场 主体 服务 水平 加强 和 改进 市场 监管 的 一些 细节 措施 甘肃省 希望 通过 政府 信息 公开 和 数据 开放 社 会 信息 资源 开放 共享 提高 政策措施 的 透明度 运用 大数据 提高 为 市场 主体 服务 水平 释放 市场 主体 活力 据 了解 在 甘肃省 最新 出台 的 措施 中 提出 在 今年底 前 将 全面 实施 工商 营业执照 组织机构 代码证 和 税务 登记证 三证 合一 一 照 一码 登记 制度 改革 同时 甘肃省 还 将 运用 即时 通信 工具 开展 政务 信息 服务 建设 和 推广 甘肃 手机 台 打造 面向 甘肃 全省 党政机关 公众 用户 的 第 五 媒体 并 推广 应用 三维 数字 社 会 管理体系 甘肃省 还 将 通过 对 企业 信用 监管 数据 定期 分析研究 全面 建立 市场 主体 准入 前 信用 承诺 制度 失信 联合 惩戒 制度 和 各 行业 黑名单 制度 及 市场 退出 机制 特别 是 对 农产品 生产 全程 进行 电子化 记录 管理 建立 透明 的 农产品 身份 档案 和 农产品 信用档案 年底 前 将 完成 食品安全 信息 追溯 平台 建设 按照 计划 年底 前 甘肃省 将 实现 全省 以上 农产品 可以通过 农产品 信息 溯源 系统 查询 到 相关 生产 信息 此外 甘肃省 还 将 探索 开展 社会化 的 信用 信息 公示 服务 通过 建立 信用 甘肃 网站 实现 公共 信用 信息 共享 交换 平台 与 企业 信用 信息 公示 系统 对接 重点 行 业 互联 互通 面向社会 提供 互联网 公共 信用 信息 一站式 查询 纠错 新华网 北京 月 日 专电 记者 周文林 乘坐 的 公交车 何时 到站 离 站台 还有 多远 在 哪里 换车 最 合适 如果 能 第 一时间 掌握 这些 信息 乘客 们 就 可以 更 合理 地 安排 出行 时间 和 路线 随着 交通 出行 大数据 走向 开放 这些 需求 正在 开始 实现 江苏省 交通运输 厅 与 百度 近日 签署 协议 将 逐步 向 百度 提供 包括 实时 公交 实时 路况 出租 交通 公共 设施 信息 等 交通 出行 大数据 百度 将 利用 大数据 云 计 算 技术 及 开放 平台 优势 向 公众 提供 江苏 出行 信息 服务 据悉 这是 国内 省级 交通运输 主管 部门 率先 向 互联网 企业 开放 交通 出行 大数据 据 了解 目前 南京 实时 公交 功能 已 率先 在 百度 地图 中 上线 为 南京 市民 提供 精准 实时 公交 服务 覆盖 南京 的 条 公交 线路 业内人士 表示 交通部门 与 互联网 企业 共同 推动 交通 出行 大数据 的 开放 和 应用 有利于 充分 发挥 政府 和 市场 在 出行 信息 服务 中 的 各自 优势 随着 更多 城市交通 大数据 的 开放 居民 出行 将 更加 便捷 智慧 化 大数据 战略 助推 十 三 五 经济 换挡 升级 2015 年 11 月 16 日 09 46 17 来源 新华网 新华网 上海 月 日 电 记者 高 少华 大数据 正在 人们 经济生活 中 扮演 越来越 重要 的 角色 中共中央 关于 制定 国民经济 和 社会发展 第 十 三个 五 年 规划 的 建议 提出 实施 国家 大数据 战略 推进 数据 资源 开放 共享 专家 认为 利用 互联网 手段 提升 资源配置 效率 正 成为 经济发展 的 标 配 大数据 战略 将 助力 十 三 五 我国 经济 换挡 升级 信息 技术 与 经济社会 的 交汇 融合 引发 了 数据 迅猛 增长 数据 已 成为 国家 基础性 战略 资源 大数据 正 日益 对 全球 生产 流通 分配 消费 活动 以及 经济运行 机制 社会生活 方式 和 国家 治理 能力 产生 重要 影响 今年 月底 国务院 印发 促进 大数据 发展 行动 纲要 指出 大数据 将 成为 推动 经济 转型 发展 的 新动力 重塑 国家 竞争优势 的 新机 遇 提升 政府 治理 能力 的 新 途径 工 信 部 信息化 和 软件 服务业 司 司长 陈伟 近日 表示 工 信 部 正在 制定 大数据 产业 十 三 五 发展规划 以 支持 大数据 技术 和 产业 创新 发展 大数据 对 经济 的 推动 作用 是 不容忽视 的 大数据 企业 上海 智 子 云 信息 科技 有限公司 市场部 总监 钟 海波 告诉 记者 国家 在 宏观 政策 上 已经 有所 倾斜 鼓励 和 促进 大数据 行业 企业 的 快速 发展 对 大数据 产业 人才 和 技术 都 极为 重视 从 行业 企业 自身 而言 大数据 的 生态 建设 正在 努力 形成 中 一些 具备 大数据 技术 和 资源 优 势 的 企业 更是 将 大数据 提升 到 一定 高度 集中 攻关 寻求 实践 与 应用 的 突破 并 及时 转化 为 生产力 对于 大数据 服务 企业 而言 则 是在 生态 建设 的 基础 上 横向 发展 逐步 扩展 大数据 在 各个 行业 的 应用 伴随 大数据 价值 的 日益 凸显 越来越 多 的 企业 正 依 托 大数据 技术创新 商业 模式 大数据 技术 将 为 互联网 金融 的 发展 保驾 护航 互联网 金融 平 台班 汇通 执行 董事 杨 宝 明 向 记者 表示 互联网 金融 的 优势 是 数据 的 积累 让 信息 变得 更为 精准 正是 借助 于 大数据 技术 互联网 金融 可以 在 一些 垂直 细分 领域 实现 更 精准 的 服务 更好 的 风 控 全球 知名 信息 技术 研究 和 顾问公司 近日 发布 年至 年 中国 项 最 重要 的 技术 趋势 显示 先进 分析 正 处于 上升 阶段 在 中 国 各类 企业 机构 中 的 普及率 日渐 提高 大数据 作为 互联网 的 主要 技术支持 之一 分析 重点 预计 将 从 对 历史数据 描述 及 诊断 的 分析 转移 至 更多 的 预测性 及 指示 性 分析 目前 我国 在 大数据 发展 和 应用 方面 已 具备 一定 基础 拥有 市场 优势 和 发展 潜力 但 也 存在 政府 数据 开放 共享 不足 产业基础 薄弱 法律法规 建设 滞后 创新 应用领域 不 广 等 亟待解决 的 问题 一方面 行业 规模 在 迅速 扩大 流量 资源 越来越 多 另一方面 缺乏 有效 的 规范化 以及 合理 的 评估 体系 钟 海波 表示 当前 大数据 应用 喜忧参半 行业 在 未来 需要 从 多方面 逐步 完善 如 合理 的 评估 体系 优质 资源 的 加入 等 专家 指出 我国 人口 居 世界 首 位 将 会 成为 产生 数据 量 最 多 的 国家 但 我国 对 数据 保存 不够 重视 对 存储 数据 的 利用率 也 不 高 此外 我国 一些 部门 和 机构 拥 有 大量 数据 却 不 愿 与 其他 部门 共享 导致 信息 不 完整 或 重复 投资 政府 应 通过 体制 机制 改革 打破 数据 割据 与 封锁 同时 大数据 的 挖掘 与 利用 应当 有法可依 施 晟 逃逸 原有 价值 网 思考 大数据 的 边界 这些 年来 大数据 big data 的 研究者 像 一个 大写 的 直 男 癌 晚期 患者 一直 没 说 过 几 句 人 话 奉行 精英 主义 脱离 大众 大数据 是 基于 每个 样本 提供 少量 数据 样本量 和 采样 次数 极大 导致 数据 量 大 的 情境 产生 的 数据分析 行业 现在 真正 能 说 掌握 大数据 有 分析 大数据 的 技术 的 公 司 不过 Google 阿里巴巴 等 极少数 的 几 家 公司 比如 用户 规模 以 亿 计 的 阿里巴巴 从 每个 用户 处 采集 数据 每次 采样 的 有效 数据 量 应当 不会 超过 KB 级别 再 把 原本 的 数据 里 包含 的 用户 行为 信息 以 更加 清晰 的 方式 呈现 出来 比如 用户 买 了 什么 买 了 多少 多长 时间 来 买 一 次 每次 花 多少 钱 如果 把 大数据 对应 到 海量 的 数据 那 也 相当于 变成 信息 的 同义词 显然 也 就 很 难 回答 信息 到底 能干 什么 这样 的 问题 著名 商业 思想家 纳 西姆 塔 勒布 Nassim Taleb 在 黑 天鹅 如何 应对 不 可知 的 未来 中曾 提出 我们 掌握 的 数据 越来越 多 可以 发现 的 统计 上 显著 的 相关 关系 也 就 越来越 多 这些 相关 关系 中 有 很多 都 是 没有 实际 意义 的 在 真正 解决 问题 时 很 可能 将 人 引入歧途 这种 欺骗性 会 随着 数据 的 增多 而 指数 级 地 增长 在 这个 庞大 的 干草垛 里 我们 要 找 的 那根 针 被 越 埋 越深 使用 数据分析 人工智能 的 人类 需要 找 的 那根 针 到底 是 什么 用 数据 驱动 运营 每个 环节 提升 效率 然而 除了 孕育 出 大数据 本身 的 几 个 领域 比如 搜索 类 地主 以及 一些 卖 消费者 数据 的 平台 买家 们 却 并 没有 从 大数据 中 获得 可见 的 收益 但 这些 泥古不化 的 人们 啊 大数据 的 商业 从业者 依然 沉浸 在 乐此不疲 得 在 收集 消费者 在 各 维度 的 行为 数据 再 集合 起来 做 数据挖掘 数据分析 技术 大牛 带 着 一 帮 程序 猿 在 各种 算法 与 公式 的 背后 想 一 探究 竟 他们 疯狂 得 在 论证 此 数据 与 彼 数据 应 如何 连接 再 从中 做 各种 分析 以 客观 权威 精准 得 算 出来 消费者 行为 的 起心动念 试图 教育 商家 应该 如何 吸引 消费者 正如 哥 德尔 第 一 定律 所说 任何 一个 体系 凡是 自 洽 的 必 是 不 完全 的 一个 运转 有效 的 体系 其内 部 必定 逻辑 自 洽 但 凡是 逻辑 自 洽 的 体系 就 一定 有 边界 我们 需要 逃逸 原有 价值 网 去 思考 边界 在 哪儿 应该 如何 改变 以 提升 数据 的 应用 小米 并 没有 去 京东 平台 和 零售 渠道 买 手机 的 消费者 购物 数据 再 做 商业 决策 我们 也 不曾 见 雷军 在 开始 小米 集团 的 千秋大业 前 发起 一个 全国 大调 研 他 只是 开 了 一个 小米 论坛 聚拢 了 一 帮 屌 丝 消费者 与 技术 宅 问问 用户 你们 对 当前 手机 有 何 不满 还 派 小米 技术 大牛 亲临 论坛 撩拨 几 下 再 让 消费者 吐露 心声 我们 假设 雷 总是 京东 买 了 数据 那 他 会 发现 4000 元 以上 的 的 消费力 是 买 iPhone 的 1000 2000 元 的 消费力 中 男性 消费者 最爱 的 是 华为 低 配 机 女性 消费者 最爱 的 是 oppo 音乐 手机 天 呐 要是 雷 老板 将 目标 或 竞 品 锁 定为 中华 酷 联 中兴 华为 酷 派 和 联想 我们 就 不会 看到 今天 的 小米 了 雷 老板 并 没有 从 过去 的 消费者 购买 行为 数据 中分 析 消费者 最爱 的 是 什么 他 直接 去 问 了 他 敏锐 的 发现 不论 消费者 在 抱怨 联想 手机 丑 还是 技术 宅 在 骄傲 的 拆解 苹果 手机 中 不 适合 国人 的 非 人性化 设置 他们 闪烁 的 大 眼睛 都 在 说 我 挺 看不惯 苹 果 装 逼 一族 但是 我 也 想 装 逼 怎么办 于是 我们 有 了 小米 不仅 在 功能 上 超出 用户 预期 注意 不是 自己 设置 的 功能 目标 也 不是 超越 竞争 对手 的 功能 目标 而是 满足 了 用户 心里 想要 的 且 为 手机 赋予 了 发烧友 专属 励志 酷 等 诸多 情感 属性 小米 的 重点 不是 更 大 的 屏幕 信号 更好 的 双 卡 双带 更 持久 的 电池 而是 年轻人 的 手机 成功 得 将 屌 丝 机 变成 了 青春 机 给 用户 超出 商业 价值 的 强烈 的 情感 体验 作为 一个 调研 数据 行业 的 十 年 多 创业者 我 不得 不说 多亏 雷军 没 去 做 数据分析 才 打破 了 国产 手机 的 low 逼 局面 我们 原有 的 价值 网 是从 各 行为 数据 中 得出 结论 应用 于 经营 分析 管理 和 营销 运营 推广 即使 这 类 分析 通常 很 艰难 而且 无论 从 一定 量级 的 数据 收集 到 庞杂 的 数 据 分析 来看 他们 的 商业 应用 注定 是 要 付出 很 高 的 成本 的 然而 为什么 大家 如此 依赖 并 全盘 相信 这 套 体系 因为 分析师 告诉 你 这些 数据 是 客观 权威 精准 的 正如 我 前面 所 言 逻辑 自 洽 的 体系 必然 有 他 的 边界 原始 数据 只是 一 种 修辞 书 中 早已 指出 数据 从来 都 不 可能 是 原始 的 数据 总是 依照 某人 的 倾向 和 价值 观念 而 被 构建 出来 的 这 可能 是 大部分 数据 从业 人员 不 愿意 承认 也 不 愿意 告诉 傻 白 甜 的 商家 们 在 自认 为 客观 的 数据 背后 其实 掩盖 了 消费者 价值 观念 他们 为什么 买 了 这个 买 的 时候 是 因为 很 喜欢 就 立刻 买 了 还是 因为 没 得 买 于是 不得不 选择 呢 买 了 后 还 喜欢 吗 小米 抢 来 的 消费者 之前 没 得 买 只能 买 中华 酷 联 他们 本身 就 不是 中华 酷 联 的 big fan 小米 不能 因为 中华 酷 联 的 购买者 占 了 千 元 机 的 80% 就 去 做 一个 高 10 个 级别 的 中华 酷 联 做 着火 遍 全国 的 美梦 雷 老板 因为 弄清 楚 了 消费 的 价值 观念 他 做 的 是 低 100 个 等级 的 苹果 于是 成为 了 年轻人 的 dream phone 本 稿件 所 含 文字 图片 和音 视频资料 版权 均 属 齐鲁晚报 所有 任何 媒体 网站 或 个人 未经 授权 不得 转载 违者 将 依法 追究 责任 大数据 与 云 计算 猎豹 已然 是 一家 大数据 公司 了 北京 时间 11 月 17 日 猎豹 移动 公布 了 截止 2015 年 9 月 30 日 的 第 三季度 财 报 财 报 显 示 Q3 猎豹 移动 总收入 为 10.09 亿 元 同比 增长 110.7% 移动 收入 为 7.03 亿 元 同 比 增长 522.0% 环比 增长 25.6% 占 总收入 的 比重 达 69.7% 值得一提 的 是 本季 高等教育 如何 跟上 大数据 时代 近年来 随着 国内 互联网 和 物 联网 的 快速 发展 和 广泛 应用 大数据 日益 成为 推动 被 骗 好多 年 原来 这 才 是 大数据 被 骗 好多 年 原来 这 才 是 大数据 小镇 水果店 也 用 大数据 此时此刻 阳光 明媚 在 离 上海 市区 20 公里 的 光明镇 有 一家 街边 的 水果店 叫 解读 2015 之 云 计算 篇 打磨 产品服务 迎接 市场 变局 InfoQ 策划 了 解读 2015 年终 技术 盘点 系列 文章 本文 是 云 计算 篇 在 云 计算 领域 过去 的 这 一 年 发生 了 一 系列 具有 标志性 的 事件 公有 云 与 私有 云 的 争执 尚未 平息 容器 云 已经 势 如 野火 开源 技术 生态 圈 的 产品 和 服务 仍 需 打磨 云安 全 将 是 企业 长期 关注 的 重点 而 接下来 的 2016 年 市场 竞争 将 更为 激烈 云 厂商 梯队 间 的 距离 将 被 拉大 浏览 所有 架构 设计 数据 科学 大数据 NoSQL 关系型 数据库 苹果 如何 借势 大数据 奋发图强 虽然 苹果 在 某种 程度 上 是 最 赚钱 的 科技 公司 但 在 大数据 领域 却是 追赶 者 不过 他们 加大 了 进 军 大数据 的 步伐 近日 大数据 专家 Bernard Marr 分析 了 苹果 是 如何 使用 大数据 的 在 移动 市场 苹果 是 一个 强大 的 存在 他们 一直 积极 鼓励 开发 人员 基于 用户 数据 监控 和 共享 开发 应用 一个 明显 的 例子 是 他们 最近 宣布 同 IBM 建立 合作伙伴 关 系 推动 有关 健康 的 移动 应用开发 他们 还 同 IBM 开发 了 许多 面向 航空 旅行 银行 和 保险 等 其它 行业 的 应用 希望 在 这些 领域 将 分析 能力 带到 用户 的 移动 设备 上 Apple Watch 的 推出 加速 了 这 一 过程 许多 评论员 都 认为 智能 手表 可能 是 最终 让 可 穿戴 设备 成为 主流 的 设备 借助 更多 的 传感器 它 可以 更 广泛 地 收集 可 供 分析 的 数据 苹果 不仅 推动 大数据 进入 他人 的 生活 还 在 自己 内部 的 系统 里 使用 苹果 传统 的 强项 是 产品设计 而 大数据 也 可以 在 其中 扮演 重要 的 角色 数据 可以 用于 确定 应该 添加 什么 功能 或者 如何 提供 最 舒适 且 最 符合 逻辑 的 用户 体验 iDevices 的 Siri 语音 识别 特性 就是 基于 大数据 捕获 的 语音 数据 会 上传 到 苹果 云 分析 平台 后者 会 将 其 同 其他 用户 输入 的 数以百万计 的 指令 进行 比较 以 改进 语言 模式 识别 机器 学习 以及 更 准确 地 将 用户 同 他们 所 查找 的 数据 相 匹配 苹果 会 将 这些 数据 保留 两 年 同 其 最大 的 竞争 对手 一样 苹果 也 提供 基于 云 的 存储 计算 和 生产力 方案 最近 他们 收购 了 在 大数据 应用程序 中广 泛 应用 的 数据库 FoundationDB 该 数据库 可以 提升 苹果 在线服务 套件 iCloud 生产力 应用 及 即将 推出 的 流音 乐 服务 的 分析 能力 为了 从 Pandora Spotify 和 Googl e Music 主导 的 市场 中 抢 得 一定 的 份额 苹果 的 流音 乐 服务 将 以 去年 收购 的 Beats Music 为 基础 Beats 开发 的 算法 可以 为 用户 推荐 他们 可能 喜欢 听 的 音乐 与 许多 竞争 对手 相比 苹果 进入 大数据 领域 比较 晚 但 他们 已经 看到 要 想 将来 继续 保持 领先 优势 必须 发挥 大数据 的 作用 Bernard 认为 如果 苹果 能够 将 卓越 的 产品设计 能力 同 大数据分析 创新性 应用 相 融合 那么 在 未来 的 一 段 时间 内 它 仍 将 是 最 有 价值 的 品牌 杨威 明略 数据产品 经理 2013 年 开始 负责 大数 据 项目 落地 与 大数据产品 研发 工作 同时 也 是 海量 数据 存储 与 计算 大数据 平台 建设 大数据 技术应用 方面 的 实践者 在 大数据 平台 建设规划 和 大数 据 项目 实施 落地 方面 有着 丰富 的 实践 经验 杨威 在 2008 年 毕业 于 北京大学 计算机系 2008 2010 年 在 酷 我 音乐 从事 高性能 后台 服务 研发 工作 2010 年 加入 秒针 系统 后 参与 了 广告监测 平台 广告投放 平台 广告 交易平台 以及 大数据 平 台 的 架构 设计 与 研发 工作 2013 年 至今 先后 主导 了 某 大型 电商 的 流量 监测 系统 大数据 平台 和 Hadoop 数据 仓库 的 建设 某 金融企业 的 大数据分析 平台 建 设 以及 电信 公安 等 多个 领域 的 大数据 平台 的 规划 工作 QCon 是由 InfoQ 主办 的 全球 顶级 技术 盛会 每年 在 伦敦 北京 东京 纽约 圣保罗 杭州 旧金山 召开 自 2007 年 3 月份 首 次 举办 以来 已经 有 括 传统 制造 金融 电信 互联网 航空航天 等 领域 的 近 万名 架构 师 项目 经理 团队 领导者 和 高级 开发 人员 参加 过 QCon 大会 脚本 交互 模式 显示 回答 隐藏 回答 显示 全部 脚本 1 大家 好 我 现在 在 QCon 上海 大会 的 现场 今天 十分 高兴 邀请 到 明略 数据 的 杨威 同学 来 接受 我们 的 采访 按照 惯例 请 您 先 做 个 自我 介绍 吧 杨威 我 是 明略 数据 的 大数据 平台 产品 经理 叫 杨威 我 毕业 之后 混 过 很多 行业 在 互联网 公司 也 呆 过 在 2B 的 SaaS 服务公司 也 呆 过 目前 是 到 了 明略 数据 从 事 大数据 方向 的 工作 我 个人 毕业 之后 一直 跟 技术 研发 比较 相关 从 在 互联网 公司 做 高性能 的 后台 服务 到 广告监测 公司 的 广告监测 平台 就是 高性能 成 压 的 投放 服务 等等 在 前 一家 公司 积累 了 挺 多 的 Hadoop 相关 的 经验 因为 我们 那 时候 是 做 广告监测 的 每天 大概 接受 几百亿 广告 流量 的 数据 对 数据 要 进行 统计 分析 当时 就 已经 开始 使用 了 在 Hadoop 还 不到 1.0 的 时候 我们 就 已经 开始 使用 Hadoop 进行 业务 的 研发 后来 我们 觉得 这样 的 技术 不 应该 只 在 广 告 监测 公司 里面 去 做 而是 应该 把 它 贡献 出来 给 更多 的 企业 和 机构 提供 这种 大数据 的 服务 所以 我们 就 成立 了 明略 供 数据 这家 公司 明略 数据 是 为了 给 企业 和 政府 提供 大数据 解决方案 我 在 明略 数据 里 产品 技术 项目 都 会 参与 一些 部分 因为 做 一个 新 的 Startup 公司 没有 分 的 那么 清楚 最早 的 时候 我 也 服务 过 一 些 项目 像 银 联 的 客户 像 国美 的 客户 等等 他们 的 项目 我 也 参与 包括 整个 技术 平台 架构 的 设计 技术 点 的 解决 目前 主要 的 身份 是 大数据 平台 的 产品 经理 2 虽然 title 是 产品 经理 但 其实 你们 这个 产品 和平 时 我们 想象 的 那种 产品 经理 还是 不 太 一样 的 那能 简单 介绍 一下 明略 这个 平台 因为 你们 是 On-Prem ise 的 模式 去 客户 那里 安装 现在 整个 运作 的 模式 是 什么样 的 可以 介绍 一下 吗 杨威 一般 是 这样 的 我们 其实 提供 的 是 产品 加 服务 的 方式 给 客户 的 所以 我们 通常 跟 客户 的 合作 都 是 第 一 我们 提供 一个 基础 平台 的 产品 包含 了 Hadoop 平台 BI 引擎 包含 数据挖掘 平台 等等 客户 通 常会 自己 采购 服务器 我们 会 给 个 推荐 的 配置 根据 它 的 项目 的 需求 业务 的 需求 等等 给 一个 推荐 的 服务器 的 配置 和 数目 他 会 去 购买 相应 的 服务器 他 可以 自由 选择 不同 的 厂商 比如说 联想 或者 是 浪潮 或者 IBM 等等 那么 他们 买 服务器 之后 服务器 厂商会 负责 一 些 商家 的 工作 然后 明略 是从 系统 安装 开始 接入 我们 负责 系统 安装 负责 平台 的 搭建 网络 的 建设 等等 都 可以 参与 然后 是在 上层 的 数据 的 接入 上层 业务 的 建设 等等 这是 我们 整个 大概 一个 过程 3 那 你们 产品 研发 和 登门 部署 应该 是 不同 的 团队 杨威 是的 我们 产品 研发 是 有 独立 的 产品 团队 然后 我们 还有 项目 团队 项目 团队 就是 负责 刚才 说 的 去 客户 现场 进行 具体 实施 的 去 部署 平台 进行 上层 业务 的 一些 开发 另外 我们 还有 个 团队 是 解决方案 的 团队 解决方案 的 团队 就是 将 底层 产品 的 技术 手段 和 某 一些 行业 的 具体 的 业务 相 结合 产生 的 一个 具体 的 解决方案 比如说 我们 在 金融 领域 可能 会 针对 金融 的 一些 比如 风 控 方面 做 了 一些 金融 风 控方 面的 解决方案 比如说 公安 领域 我们 会 对 情报 分析 防控 分析 等等 这些 做 相关 的 解决方案 4 就 相当于 产品 这 一块 做 最 通用 的 部分 但是 具体 实施 肯定 是 少不了 解决方案 的 那 部分 杨威 对 的 解决方案 更 贴近 客户 的 业务 比如 我们 从 税务 行业 来说 税务 的 解决方案 部门 他们 会 去 了解 税务 的 整个 数据 的 处理 的 流程 然后 他们 要 做 的 业务 里数 据 应该 经过 哪些 步 的 处理 要 符合 他们 税务 内部 的 一些 数据 的 规范 流程 的 规范 等等 产品 部门 提供 了 很多 技术 手段 提供 了 工作流 的 引擎 提供 了 EPR 工具 那么 这些 工具 能够 支撑 前面 所说 的 税务 这个 行业 他们 内部 的 数据处理 的 流程 数据 的 规范 等等 5 一般 也 不会 说 有 客户 过 来说 我要 拿 你们 底层 的 Hadoop 平台 一些 引擎 过来 然后 上 面的 业务 逻辑 我 自己 开发 杨威 也 不是 没有 这样 的 客户 有 一些 客户 他 确实 能力 比较 强 他 会 这样 做 而且 我们 对 技术 这方面 并 没有 那么 多 的 限制 客户 愿意 自己 学习 自己 开发 是 非常 好 的 一 种 合作 方式 我们 更 希望 去 帮助 客户 发现 业务 的 价值 数据 的 价值 这方面 所以 我们 一般 在 整个 的 合作 的 过程 中 都 会 对 客户 做 技术 方面 的 培训 教会 他 怎么 用 这个 平台 怎么 开发 这个 平台 只要 是 客户 愿意 去 学 都 是 没有 问题 的 6 那 接下来 能 不能 介绍 一下 你们 今年 或者 是 之前 一个 季度 有 什么 值得 分享 的 事情 杨威 这里 大概 有 两个 事情 可以 分享 一个 就是 Hadoop 技术 相关 的 事情 一个 是 我们 公司 跟 客户 比较 好 的 几 个 合作 或者 给 客户 带来 价值 方面 的 事情 技术 方面 我们 这次 是 跟 一家 网络 安监 部门 有 一个 深度 的 合作 他们 有 几千亿 甚至 上万亿 的 网络通讯 数据 这个 数据 他们 现在 想要 在 秒 级别 做 一个 查询 然后 我们 是 给 他们 解决 这样 的 一个 问题 能够 在 现在 是 大概 五 千 亿 规模 的 数据 上面 我们 只用 了 不到 十台 机器 的 集群 实现 了 秒 级别 的 数据查询 这是 非常 先进 的 一 套 技术 方案 它 的 底层 服务器 其实 用 的 都 是 非常 普通 的 服务器 我们 用 的 就是 常见 的 戴尔 服务器 或者 浪潮 服务器 都 可以 一 台 服务器 可能 只有 十几 颗 CPU 64G 内存 加上 十几 块 的 SATA 磁盘 上面 部署 了 我们 的 大数据 平台 产品 我们 平台 产品 是 完全 基于 Apache Hadoop 社区 版 做 出来 的 但是 我们 集成 了 MPP 引擎 Impala 但是 Impala 本身 是 没 办法 支持 这样 一个 数据 量 这样 一个 快速 查询 的 然后 我们 在 这个 基础 上 又 做 了 深度 的 开发 支持 了 Impala 的 聚 簇 索引 和 局部 索引 等等 一些 特性 使得 五 千 亿 规模 上 的 数据查询 能够 在 秒 级别 就 得到 返回 而且 它 的 并 发 性 是 非常 好 的 他们 这种 网 监 部门 通 常会 有 很多 业务员 去 查询 数据 有 多个 并发 进来 的 时候 它 依然 能够 提供 非常 好 的 性能 反馈 这是 技术 上面 一个 点 还有 另 一个 方面 的 点 就是 我们 跟 银行 做 了 员工 帐户 的 风险 监控 银行 员工 的 经济 来往 其实 是 非常 关键 的 信息 很多 的 时候 比如说 有些 信贷员 会 跟 自己 的 贷款人 有 一些 经 济 上 的 来往 甚至 有 很多 人 他们 贷款 的 资金 会 从 他 的 帐户 转 一 次 等等 有 很多 这种 违规 的 操作 或者 不 正常 的 操作 行为 我们 给 客户 做 了 这样 一 套 员工 账户 的 风 险 监控系统 帮助 银行 发现 了 很多 这种 可疑 的 操作 信息 得到 了 银行 的 法物 部门 和 业务 部门 非常 好 的 评价 7 那么 还是 很 灵活 的 那 像是 后续 的 系统 运 维 软件 升级 这块 是 怎么 做 的 杨威 系统 运 维 有 两 种 方式 一 种 是 像 我 刚才 提到 有些 企业 有 自己 的 IT 团队 他 已经 能够 自己 负责 运 维 这些 平台 了 之后 我们 在 最终 交付 的 时候 会 把 这个 平 台 完整 的 交付 给 客户 会 给 他 做 相关 的 运 维 方面 的 培训 之后 这种 运 维 工作 都 可以 由 他 自己 去 进行 升级 的 话 因为 大部分 客户 的 部署 形式 都 是在 内 网 部署 所以 升级 我们 会 到 本地 去 帮助 他们 做 平台 的 升级 然后 还有 一 种 合作 方式 就是 有些 客户 像 有些 政府 单位 他们 自己 并 没有 那么 多 IT 人员 他 通常 都 需要 有 一个 供 应 商 有 on premise 现场 的 人 去 帮 他 做 持续 的 维护 这 也 是 我们 在 一些 合作 单位 的 合作 方式 8 网 监 部门 那个 项目 它 是 已经 存 到 你们 那里 的 数据 然后 进行 查询 还是 说 有 直接 接入 数据 输入 呢 杨威 目前 是 没有 网 监 部门 他们 有 自己 的 网络 他们 的 集群 部署 在 他们 内 有的 网络 里面 他们 的 数据 是 通过 一些 线下 的 方式 从 不同 的 网络 运营商 那边 拿到 的 它 并 不是 一个 实时 的 数据 接入 过程 因为 本身 来说 数据 量 是 非常 大 的 一个 工程 实时 接入 可能 带来 的 成本 消耗 更 高 另外 就是 IT 系统 对接 也 是 非常 麻烦 的 一 件 事情 所以 目前 他们 是以 一 种 离 线 数据 的 方式 来 进行 查询 9 这 可能 是 以后 可以 改进 的 地方 大数据 要 普及 还是 有 很大 的 空间 的 杨威 是的 这个 确实 会 有 这 也 是 看 具体 业务 的 需求 了 如果 说 这个 部门 他们 有 这方 面的 非常 实时 的 数据查询 的 需求 了 确实 是 可以 做到 这 一 点 目前 技术 上 我 觉得 风险 倒 没有 那么 大 更多 的 是 成本 上 的 考虑 另 一个 之 是 他们 自己 业务 是不是 愿意 去 做 这件 事情 10 那 最后 您 还有 什么 想 跟 我们 读者 分享 的 吗 比如说 目前 思考 的 一些 东西 或者 看 的 一些 东西 杨威 这个 点 我 可以 从 我们 公司 的 服务 的 理念 来说 明略 是 一家 为 企业 政府 提供 大数据 解决方案 的 我们 现在 主要 focus 在 关系 挖掘 这方面 比如 刚才 提到 的 员工 帐户 监控 也 是 一 种 关系 的 挖掘 包括 在 公安 领域 我们 会 做 很多 帮助 公安 进行 犯罪 分析 的 关系 的 挖掘 等等 所以 我们 其实 通常 来说 提供 的 服务 包含 了 两 方 面 一个 是 技术 另 一个 是 人 我们 提供 了 非常 优秀 的 数据 科学家 的 服务 我们 刚 前面 提到 了 两个 我们 做 的 事情 一个 是 五 千 亿 级别 上 的 秒 级 返回 的 高性能 的 事 另 一个 是 我们 给 银行 提供 员工 帐户 风险 监控 的 事情 其实 对 我们 来说 更 有 价值 的 是 后面 这件 事情 前面 技术 的 问题 我 相信 无论 是 我们 公司 也好 包括 社区 也好 一定 会 有 不断 的 发展 技术 问题 都 可以 被 解决 的 但是 这些 技术 如何 跟 企业 的 数据 所 结合 产生 新 的 价值 这是 我们 需要 做 的 一 件 更 重要 的 事情 我们 更 想要 做 的 是 解决 后面 这个 事情 所以 明略 提供 的 就是 我们 非常 先进 的 技术 加上 非常 优秀 的 人 我们 有 数据 科学家 的 团队 这些 人 他们 比如说 在 金融 领域 有 一定 的 从业 经验 又 有 丰富 的 计算机 的 机器 学习 数据挖掘 方面 领域 的 知识 所以 他 能够 结合 用户 的 数据 帮 他 发现 数据 里面 更 深层 的 价值 机器 学习 和 大数据 是 先 有 鸡 还是 先 有 蛋 作者 张 天雷 发 布于 2015 年 11 月 9 日 注意 QCon 全球 软件开发 大会 北京 2016 年 4 月 21 23 日 了解 更多 详情 分享 到 微 博 微 信 Facebook Twitter 有道 云 笔记 邮件 分享 稍后 阅读 我 的 阅读 清单 对于 机器 学习 需要 大量 容易 获得 的 历史数据 但是 如果 你 没有 这个 数据 会 怎样 现在 机器 学习 几乎 无处不在 它 经常 出现 在 大数据 应用 之中 机器 学习 已经 被 赞誉 为 大数据分析 和 商务 智能 发展 的 未来 但 是从 机器 学习 中 提取 价值 并 不仅仅 是 在 一个 新 的 工具 中 添加 一个 插件 或 查看 一下 工作 效率 和 销量 的 提高 成功 的 机器 学习 项目 依赖 于 很多 因素 包括 选择 正确 的 主题 对于 运行 的 环境 合理 的 机器 学习 模型 当然 最 重要 的 是 现 有的 数据 大数据 时代 数据 就是 财富 我们 不得不 承认 关于 客户 交易 销售 或 设备 运行 日志 的 数据 是 企业 所 拥 有的 最 宝贵 的 资产 之一 特别 是 机器 学习 现在 为 企业 提供 的 机会 远远 超越 传统 的 商业智能 比如 可以 帮助 预测 未来 的 销售 或 潜在 的 设备 故障 从而 提高 利润 和 减少 临时 的 维修 另 请 参阅 庆祝 过 最佳 进球 吗 曲棍球 球迷 通过 使用 机器 学习 技术 在 客厅 里 创造 史诗 般 的 灯光 秀 数据 大 还是 小 在 谈论 大数据 时 我们 习惯 于 假设 越多 越好 虽然 现实 中 常常 的确 也 是 这样 数据 对于 实时 在线 个性化 应用 是 很 关键 的 但 不同 的 任务 对于 数据 大小 的 需求 却 不尽 相同 对于 机器 学习 任务 来说 为了 带来 价值 虽然 10 Gb 的 日志 似乎 有些 少 但 有时 其实 也 可以 刚好 够用 具体 要 看 面对 什么样 的 任务 10 Gb 的 数据 对于 Goo gle 来说 也许 微不足道 但 实际上 足以 给 一个 传统 的 线下 企业 带来 一个 巨大 的 变化 一个 拥有 75000 人 的 大 公司 的 人力资源 管理部门 如果 公司 试图 预测 流动 风险 以便 更好 地 规划 未来 的 人力资源 战略 并 及时 采取 预防措施 那么 他们 就 可以 使用 机器 学习 而 机器 学习 就 可以 从 分析 员工 记录 开始 这些 记录 每 天都 有 巨大 的 不同 反映 在 工作 的 时间 角色 的 转变 通过 的 培训课程 休 病假 的 天数 等等 虽然 这种 数据 量 可能 被 认为 是 过 少 则 深度 地 挖掘 各种 要素 需要 它 超越 简单 的 统计 走向 机器 学习 在 另 一个 极端 有些 公司 可能 认为 他们 拥 大量 的 珍贵 数据 如 很多 年 的 销售 报告 可以 后来 才 发现 它们 只 可 作为 集成 数据 而 没有 存储 原始 输入 机器 学习 需要 从 细节 中学 习 仅仅 拥有 每 季度 或 每年 的 集成 数据 对 任务 来说 根本 不够 因此 需要 数据 的 多少 关键 在于 用户 所 面对 的 具体 任务 历史 的 经验 教训 通常 数据 集 拥有 一个 时间 跨度 而 这个 时间 跨度 是 非常 重要 的 它 应该 足够 的 长 以 反映 所有 相关 的 事件 以及 周期性 的 变化 例如 如果 一个 组织 要 建立 一个 工作 模型 来 预测 一个 零售 公司 的 产品 需求 这 将 至少 需要 两 到 三 年的历史 数据 这样 才能 容纳 季节性 的 趋势 但是 如果 要 预测 昂贵 的 制造 设备 几 年 才 可能 出现 一 次 的 故障 就 需要 有 一个 远远 长 的 多 的 历史数据 以便 在 故障 出现 之前 检测 异常 情况 并 预测 故障 的 发生 同时 如果 你 带 着 巨大 的 客户 基础 和 认购 商业 模型 进入 一个 领域 例如 移动电话 网络 流媒体 业务 或 在线游戏 利用 短短 六 个 月 的 数据 开始 一个 有意 义 的 机器 学 项目 例如 预测 客户 的 流失 是 完全 可行 的 通常 情况 下 数据 的 组织 和 存储 是 一个 公司 基础 架构 部门 的 关键 任务 关系 到 公司 的 核心 利益 如何 选择 合适 的 存储 方案 呢 是 充斥 着 差异 和 错误 的 非 结构化 存储 还是 未 集成 的 十几 个 独立 系统 虽然 引进 数 个 单独 的 存储 库 是 摆脱 数据 孤岛 提高 数据 质量 的 一 种 有效 方式 但 这个 过程 是 漫长 的 非常 昂贵 而且 不会 带来 直 接 的 价值 但是 如果 引入 机器 学习 利用 非 结构化 存储 依然 可以 帮助 调整 进一步 的 基础设施 投资 以及 引导 数据 收集 策略 非 结构化 存储 目前 是 一 种 非常 有效 的 数 据 组织 和 存储 方式 数据 还 可以 来自 于 其他 什么 地方 很多 企业 忽略 了 一 件 很 重要 的 事情 就是 企业 可以 从 外部 环境 中 购买 数据 一方面 最强 大和 最 重要 的 信号 通常 隐藏 在 该 公司 所 拥 有的 数据 中 因此 相比 于 银行 客户 的 社交 媒体 行为 他们 的 交易 中 所 蕴含 的 知识 可以 更好 地 预测 客户 是否 将 偿还 贷款 另一方面 许多 公司 低估 了 外部 因素 的 价值 如 气候 数据 它 会 对 很多 情况 产生 影响 如 冰淇淋 的 需求 在 需求 不 太 明确 的 情况 下 可以通过 个性化 推荐 将 冰 淇 淋 推荐 给 那些 在 天气 差 时 更 可能 留在 家里 玩游戏 的 网络游戏 玩家 因此 企业 除了 利用 自己 的 数据 之外 还 可以 有 很多 的 选择 例如 社交 网络平台 可以 利用 用户 的 在 社交 网络 的 足迹 预测 用户 的 偏好 又 或者 季节性 数据 利用 季节 性 变化 预测 用户 的 未来 行为 等等 机器 学习 正在 很快 地 从 一个 很少 人 关注 的 技术 主题 转变 为 被 很多 人 使用 的 管理工具 为了 避免 错失良机 企业 现在 需要 开始 设计 自己 的 机器 学习 项目 以 帮助 他们 为 未来 的 机器 学习 做好 准备 同时 企业 需要 理解 哪些 数据 是 可 获得 的 缺少 的 和 需要 的 现在 就 可以 开始 收集 它们 以 帮助 他们 更快 地 获得 投资 回报 各省 自治区 直辖市 人民政府 国务院 各部 委 各 直属 机构 现将 促进 大数据 发展 行动 纲要 印 发给 你们 请 认真 贯彻 落实 国务院 2015 年 8 月 31 日 本文 有 删减 促进 大数据 发展 行动 纲要 大数据 是以 容量 大 类型 多 存取 速度快 应用 价值 高 为 主要 特征 的 数据 集合 正 快速 发 展为 对 数量 巨大 来源 分散 格式 多样 的 数据 进行 采集 存储 和 关联 分析 从中 发现 新知 识 创造 新 价值 提升 新 能力 的 新一代 信息 技术 和 服务 业态 信息 技术 与 经济社会 的 交汇 融合 引发 了 数据 迅猛 增长 数据 已 成为 国家 基础性 战略 资源 大数据 正 日益 对 全球 生产 流通 分配 消费 活动 以及 经济运行 机制 社会生活 方式 和 国家 治理 能力 产生 重要 影响 目前 我国 在 大数据 发展 和 应用 方面 已 具备 一定 基础 拥有 市场 优势 和 发展 潜力 但 也 存在 政府 数据 开放 共享 不足 产业基础 薄弱 缺乏 顶层 设计 和 统筹 规划 法律法规 建设 滞后 创新 应用领域 不 广 等 问题 亟待解决 为 贯彻 落实 党中央 国务院 决策 部署 全面 推进 我国 大数 据 发展 和 应用 加快 建设 数据 强国 特 制定 本行 动 纲要 一 发展 形势 和 重要 意义 全球 范围 内 运用 大数据 推动 经济发展 完善 社会 治理 提升 政府服务 和 监管 能力 正 成为 趋势 有关 发达国家 相继 制定 实施 大数据 战略性 文件 大力 推动 大数 据 发展 和 应用 目前 我国 互联网 移动 互联网 用户 规模 居 全球 第 一 拥有 丰富 的 数据 资源 和 应用 市场 优势 大数据 部分 关键 技术 研发 取得 突破 涌现 出 一 批 互联 网 创新 企业 和 创新 应用 一些 地方政府 已 启动 大数据 相关 工作 坚持 创新 驱动 发展 加快 大数据 部署 深化 大数据 应用 已 成为 稳 增长 促 改革 调 结构 惠民 生 和 推动 政府 治理 能力 现代化 的 内在 需要 和 必然 选择 一 大数据 成为 推动 经济 转型 发展 的 新动力 以 数据流 引领 技术 流 物质 流 资金流 人才流 将 深刻 影响 社会分工 协作 的 组织 模式 促进 生产 组织 方式 的 集约 和 创新 大数据 推动 社会 生产 要素 的 网络化 共享 集约化 整合 协作化 开发 和 高效化 利用 改变 了 传统 的 生产方式 和 经济运行 机制 可 显著 提升 经济运行 水平 和 效率 大数据 持续 激发 商业 模式 创新 不断 催生 新 业态 已 成为 互联网 等 新兴 领域 促进 业务 创新 增值 提升 企业 核心 价值 的 重要 驱动力 大数据 产业 正在 成为 新 的 经济 增长点 将对 未来 信息 产业 格局 产生 重要 影响 二 大数据 成为 重塑 国家 竞争优势 的 新机 遇 在 全球 信息化 快速 发展 的 大 背景 下 大数据 已 成为 国家 重要 的 基础性 战略 资源 正 引领 新 一轮 科技创新 充分 利用 我国 的 数据 规模 优势 实现 数据 规模 质量 和 应用 水平 同步 提升 发掘 和 释放 数据 资源 的 潜在 价值 有利于 更好 发挥 数据 资源 的 战略 作用 增强 网络 空间 数据 主权 保护 能力 维护 国家安全 有效 提升 国家 竞争力 三 大数据 成为 提升 政府 治理 能力 的 新 途径 大数据 应用 能够 揭示 传统 技术 方式 难以 展现 的 关联 关系 推动 政府 数据 开放 共享 促进 社会事业 数据 融合 和 资 源 整合 将 极大 提升 政府 整体 数据分析 能力 为 有效 处理 复杂 社会问题 提供 新 的 手段 建立 用 数据 说话 用 数据 决策 用 数据管理 用 数据 创新 的 管理 机制 实现 基于 数据 的 科学决策 将 推动 政府管理 理念 和 社会 治理 模式 进步 加快 建设 与 社会主义 市场经济 体制 和 中国 特色 社会主义 事业 发展 相 适应 的 法治 政府 创新 政 府 廉洁 政府 和 服务型 政府 逐步 实现 政府 治理 能力 现代化 二 指导思想 和 总体 目标 一 指导思想 深入 贯彻 党 的 十 八大 和 十 八 届 二中 三中 四中全会 精神 按照 党中央 国务院 决策 部署 发挥 市场 在 资源配置 中 的 决定性 作用 加强 顶层 设计 和 统筹 协调 大力 推动 政府 信息系 统和 公共 数据 互联 开放 共享 加快 政府 信息 平台 整合 消除 信息 孤岛 推进 数据 资源 向 社会 开放 增强 政府 公信力 引导 社 会 发展 服务 公众 企业 以 企业 为 主体 营造 宽松 公平 环境 加大 大数据 关键 技术 研发 产业发展 和 人才培养 力度 着力 推进 数据 汇集 和 发掘 深化 大数据 在 各行 业 创新 应用 促进 大数据 产业 健康 发展 完善 法规制度 和 标准 体系 科学 规范 利用 大数据 切实 保障 数据 安全 通过 促进 大数据 发展 加快 建设 数据 强国 释放 技 术 红利 制度 红利 和 创新 红利 提升 政府 治理 能力 推动 经济 转型 升级 二 总体 目标 立足 我国 国情 和 现实 需要 推动 大数据 发展 和 应用 在 未来 5 10 年 逐步 实现 以下 目标 打造 精准 治理 多方 协作 的 社会 治理 新 模式 将 大数据 作为 提升 政府 治理 能力 的 重要 手段 通过 高效 采集 有效 整合 深化 应用 政府 数据 和 社会 数据 提升 政 府 决策 和 风险 防范 水平 提高 社会 治理 的 精准 性 和 有效性 增强 乡村 社会 治理 能力 助力 简政放权 支持 从事 前 审批 向 事中 事后 监管 转变 推动 商事 制度 改革 促 进 政府 监管 和 社会监督 有机 结合 有效 调动 社会 力量 参与 社会 治理 的 积极性 2017 年底 前 形成 跨部门 数据 资源共享 共用 格局 建立 运行 平稳 安全高效 的 经济运行 新机制 充分 运用 大数据 不断 提升 信用 财政 金融 税收 农业 统计 进出口 资源环境 产品质量 企业 登记 监 管 等 领域 数据 资源 的 获取 和 利用 能力 丰富 经济 统计数据 来源 实现 对 经济运行 更为 准确 的 监测 分析 预测 预警 提高 决策 的 针对性 科学性 和 时效性 提升 宏观调控 以及 产业发展 信用 体系 市场 监管 等 方面 管理 效能 保障 供需 平衡 促进 经济 平稳 运行 构建 以人为本 惠及 全民 的 民生服务 新 体系 围绕 服务型 政府 建设 在 公用事业 市政 管理 城乡 环境 农村 生活 健康 医疗 减灾 救灾 社会救助 养老 服 务 劳动就业 社会保障 文化教育 交通旅游 质量安全 消费维权 社区服务 等 领域 全面 推广 大数据 应用 利用 大数据 洞察 民生 需求 优化 资源配置 丰富 服 务 内容 拓展 服务 渠道 扩大 服务范围 提高 服务 质量 提升 城市 辐射 能力 推动 公共服务 向 基层 延伸 缩小 城乡 区域 差距 促进 形成 公平 普惠 便捷 高效 的 民 生 服务 体系 不断 满足 人民 群众 日益 增长 的 个性化 多样化 需求 开启 大众 创业 万众 创新 的 创新 驱动 新 格局 形成 公共 数据 资源 合理 适度 开放 共享 的 法规制度 和 政策 体系 2018 年底 前 建成 国家 政府 数据 统一 开放 平台 率先 在 信用 交通 医疗 卫生 就业 社保 地理 文化 教育 科技 资源 农业 环境 安监 金融 质量 统计 气象 海洋 企业 登记 监管 等 重要 领域 实现 公共 数据 资源 合理 适度 向 社会 开放 带动 社会 公众 开展 大数据 增值 性 公益性 开发 和 创新 应用 充分 释放 数据 红利 激发 大众 创业 万众 创新 活力 培育 高端 智能 新兴 繁荣 的 产业发展 新 生态 推动 大数据 与 云 计算 物 联网 移动 互联网 等 新一代 信息 技术 融合 发展 探索 大数据 与 传统 产业 协同 发展 的 新业 态 新 模式 促进 传统 产业 转型 升级 和 新兴 产业发展 培 育新 的 经济 增长点 形成 一 批 满足 大数据 重大 应用 需求 的 产品 系统 和 解决方案 建立 安全 可信 的 大数据 技术 体系 大数据产品 和 服务 达到 国际 先进 水平 国内 市场占有率 显著 提高 培育 一 批 面向 全球 的 骨干 企业 和 特色 鲜明 的 创新型 中小企业 构建 形成 政 产学研用 多 方 联动 协调 发展 的 大数据 产业 生态 体系 三 主要 任务 一 加快 政府 数据 开放 共享 推动 资源 整合 提升 治理 能力 1 大力 推动 政府部门 数据 共享 加强 顶层 设计 和 统筹 规划 明确 各部 门 数据 共享 的 范围 边界 和 使用 方式 厘清 各部 门 数据管理 及 共享 的 义务 和 权利 依托 政 府 数据 统一 共享 交换 平台 大力 推进 国家 人口 基础 信息库 法人 单位 信息 资源库 自然资源 和 空间 地理 基础 信息库 等 国家 基础 数据 资源 以及 金税 金关 金 财 金 审 金盾 金 宏 金 保 金 土 金农 金水 金质 等 信息 系统 跨部门 跨区 域 共享 加快 各地 区 各部 门 各 有关 企事业 单位 及 社会 组织 信用 信息 系统 的 互联 互 通 和 信息 共享 丰富 面向 公众 的 信用 信息 服务 提高 政府服务 和 监管 水平 结合 信息 惠民 工程实施 和 智慧 城市建设 推动 中央 部门 与 地方政府 条块结合 联合 试点 实现 公共服务 的 多方 数据 共享 制度 对接 和 协同 配合 2 稳步 推动 公共 数据 资源 开放 在 依法 加强 安全 保障 和 隐私保护 的 前提 下 稳步 推动 公共 数据 资源 开放 推动 建立 政府部门 和 事业单位 等 公共 机构 数据 资源 清单 按照 增量 先行 的 方式 加强 对 政府部门 数据 的 国家 统筹 管理 加快 建设 国家 政府 数据 统一 开放 平台 制定 公共 机构 数据 开放 计划 落实 数据 开放 和 维护 责任 推进 公共 机构 数据 资源 统一 汇聚 和 集中 向 社会 开放 提升 政府 数据 开放 共享 标准化 程度 优先 推动 信用 交通 医疗 卫生 就业 社保 地理 文化 教 育 科技 资源 农业 环境 安监 金融 质量 统计 气象 海洋 企业 登记 监管 等 民生 保障 服务 相关 领域 的 政府 数据 集 向 社会 开放 建立 政府 和 社会 互动 的 大数据采集 形成 机制 制定 政府 数据 共享 开放 目录 通过 政务 数据 公开 共享 引导 企业 行业协会 科研机构 社会 组织 等 主动 采集 并 开放 数据 专栏 1 政府 数据 资源共享 开放 工程 推动 政府 数据 资源共享 制定 政府 数据 资源共享 管理办法 整合 政府部门 公共 数据 资源 促进 互联 互通 提高 共享 能力 提升 政府 数据 的 一致性 和 准确性 2 017 年底 前 明确 各部 门 数据 共享 的 范围 边界 和 使用 方式 跨部门 数据 资源共享 共用 格局 基本 形成 形成 政府 数据 统一 共享 交换 平台 充分 利用 统一 的 国家 电子政务 网络 构建 跨部门 的 政府 数据 统一 共享 交换 平台 到 2018 年 中央政府 层面 实现 数据 统一 共享 交换 平台 的 全 覆盖 实现 金税 金关 金 财 金 审 金盾 金 宏 金 保 金 土 金农 金水 金质 等 信息系 统通 过 统一 平台 进行 数据 共享 和 交换 形成 国家 政府 数据 统一 开放 平台 建立 政府部门 和 事业单位 等 公共 机构 数据 资源 清单 制定 实施 政府 数据 开放 共享 标准 制定 数据 开放 计划 2018 年底 前 建成 国家 政府 数据 统一 开放 平台 2020 年底 前 逐步 实现 信用 交通 医疗 卫生 就业 社保 地理 文化 教育 科技 资源 农业 环境 安监 金 融 质量 统计 气象 海洋 企业 登记 监管 等 民生 保障 服务 相关 领域 的 政府 数据 集 向 社会 开放 3 统筹 规划 大数据 基础设施 建设 结合 国家 政务 信息化 工程建设 规划 统筹 政务 数据 资源 和 社会 数据 资源 布局 国家 大数据 平台 数据中心 等 基础设施 快 完善 国家 人口 基础 信息库 法人 单位 信息 资源库 自然资源 和 空间 地理 基础 信息库 等 基础 信息 资源 和 健康 就业 社保 能源 信用 统计 质量 国土 农业 城乡建设 企业 登记 监管 等 重要 领域 信息 资源 加强 与 社会 大数据 的 汇聚 整合 和 关联 分析 推动 国民经济 动员 大数据 应用 加强 军民 信息 资源共享 充分 利用 现 有 企业 政府 等 数据 资源 和平台 设施 注重 对 现有 数据中心 及 服务器 资源 的 改造 和 利用 建设 绿色环保 低 成本 高效率 基于 云 计算 的 大数据 基础设施 和 区域性 行业性 数据 汇聚 平台 避免 盲目 建设 和 重复 投资 加强 对 互联网 重要 数据 资源 的 备份 及 保护 专栏 2 国家 大数据 资源 统筹 发展 工程 整合 各类 政府 信息 平台 和 信息系 统 严格 控制 新建 平台 依托 现有 平台 资源 在 地市级 以上 含 地市级 政府 集中 构建 统一 的 互联网 政务 数据 服务平台 和 信息 惠民 服务平台 在 基层 街道 社区 统一 应用 并 逐步 向 农村 特别 是 农村 社区 延伸 除 国务院 另有 规定 外 原则上 不再 审批 有关 部门 地市级 以下 不 含 地市级 政 府 新建 孤立 的 信息 平台 和 信息系 统 到 2018 年 中央 层面 构建 形成 统一 的 互联网 政务 数据 服务平台 国家 信息 惠民 试点 城市 实现 基础 信息 集中 采集 多方 利用 实现 公共服务 和 社会 信息 服务 的 全 人群 覆盖 全天候 受理 和 一站式 办理 整合 分散 的 数据中心 资源 充分 利用 现有 政府 和 社会 数据中心 资源 运用 云 计算 技术 整合 规模 小 效率 低 能耗 高 的 分散 数据中心 构建 形成 布局 合理 规 模 适度 保障 有力 绿色 集约 的 政务 数据中心 体系 统筹 发挥 各部 门 已 建 数据中心 的 作用 严格 控制 部门 新建 数据中心 开展 区域 试点 推进 贵州 等 大数据 综合 试 验 区 建设 促进 区域性 大数据 基础设施 的 整合 和 数据 资源 的 汇聚 应用 加快 完善 国家 基础 信息 资源 体系 加快 建设 完善 国家 人口 基础 信息库 法人 单位 信息 资源库 自然资源 和 空间 地理 基础 信息库 等 基础 信息 资源 依托 现有 相关 信息 系统 逐步 完善 健康 社保 就业 能源 信用 统计 质量 国土 农业 城乡建设 企业 登记 监管 等 重要 领域 信息 资源 到 2018 年 跨部门 共享 校核 的 国家 人口 基础 信息库 法人 单位 信息 资源库 自然资源 和 空间 地理 基础 信息库 等 国家 基础 信息 资源 体系 基本 建成 实现 与 各 领域 信息 资源 的 汇聚 整合 和 关联 应用 加强 互联网 信息 采集 利用 加强 顶层 设计 树立 国际 视野 充分 利用 已有 资源 加强 互联网 信息 采集 保存 和 分析 能力 建设 制定 完善 互联网 信息 保存 相关 法 律 法规 构建 互联网 信息 保存 和 信息 服务 体系 4 支持 宏观调控 科学化 建立 国家 宏观调控 数据 体系 及时 发布 有关 统计指标 和 数据 强化 互联网 数据 资源 利用 和 信息 服务 加强 与 政务 数据 资源 的 关联 分 析 和 融合 利用 为政 府 开展 金融 税收 审计 统计 农业 规划 消费 投资 进出口 城乡建设 劳动就业 收入 分配 电力 及 产业 运行 质量安全 节能 减 排 等 领域 运行 动态 监测 产业 安全 预测 预警 以及 转变 发展 方式 分析 决策 提供 信息 支持 提高 宏观调控 的 科学性 预见性 和 有效性 5 推动 政府 治理 精准 化 在 企业 监管 质量安全 节能降耗 环境保护 食品安全 安全生产 信用 体系 建设 旅游服务 等 领域 推动 有关 政府部门 和 企事 业 单位 将 市场 监管 检验 检测 违法 失信 企业 生产经营 销售 物流 投诉举报 消费维权 等 数据 进行 汇聚 整合 和 关联 分析 统一 公示 企业 信用 信息 预警 企业 不 正当 行为 提升 政府 决策 和 风险 防范 能力 支持 加强 事中 事后 监管 和 服务 提高 监管 和 服务 的 针对性 有效性 推动 改进 政府管理 和 公共 治理 方式 借助 大数 据实 现政府 负面 清单 权力 清单 和 责任 清单 的 透明化 管理 完善 大数据 监督 和 技术 反腐 体系 促进 政府 简政放权 依法行政 6 推进 商事 服务 便捷化 加快 建立 公民 法人 和 其他 组织 统一 社会 信用 代码 制度 依托 全国 统一 的 信用 信息 共享 交换 平台 建设 企业 信用 信息 公示 系统 和 信用 中国 网站 共享 整合 各地 区 各 领域 信用 信息 为 社会 公众 提供 查询 注册登记 行政 许可 行政 处罚 等 各类 信用 信息 的 一站式 服务 在 全面 实行 工商 营业 执 照 组织机构 代码证 和 税务 登记证 三证 合一 一 照 一码 登记 制度 改革 中 积极 运用 大数据 手段 简化 办理程序 建立 项目 并联 审批 平台 形成 网上审批 大 数据 资源库 实现 跨部门 跨 层级 项目 审批 核准 备案 的 统一 受理 同步 审查 信息 共享 透明 公开 鼓励 政府部门 高效 采集 有效 整合 并 充分 运用 政府 数据 和 社会 数据 掌握 企业 需求 推动 行政管理 流程 优化 再造 在 注册登记 市场准入 等 商事 服务 中 提供 更加 便捷 有效 更 有 针对性 的 服务 利用 大数据 等 手段 密切 跟 踪 中小 微 企业 特别 是 新设 小 微 企业 运行 情况 为 完善 相关 政策 提供 支持 7 促进 安全 保障 高效化 加强 有关 执法 部门 间 的 数据 流通 在 法律 许可 和 确保 安全 的 前提 下 加强 对 社会 治理 相关 领域 数据 的 归集 发掘 及 关联 分析 强化 对 妥善 应对 和 处理 重大 突发 公共 事件 的 数据 支持 提高 公共 安全 保障 能力 推动 构建 智能 防控 综合治理 的 公共 安全 体系 维护 国家安全 和 社会 安定 专栏 3 政府 治理 大数据 工程 推动 宏观调控 决策 支持 风险 预警 和 执行 监督 大数据 应用 统筹 利用 政府 和 社会 数据 资源 探索 建立 国家 宏观调控 决策 支持 风险 预警 和 执行 监督 大数据 应用 体系 到 2018 年 开展 政府 和 社会 合作 开发 利用 大数据 试点 完善 金融 税收 审计 统计 农业 规划 消费 投资 进出口 城乡建设 劳动就业 收入 分配 电力 及 产业 运行 质量安全 节能 减排 等 领域 国民经济 相关 数据 的 采集 和 利用 机制 推进 各级 政府 按照 统一 体系 开展 数据采集 和 综合 利用 加强 对 宏观调控 决策 的 支撑 推动 信用 信息 共享 机制 和 信用 信息 系统 建设 加快 建立 统一 社会 信用 代码 制度 建立 信用 信息 共享 交换 机制 充分 利用 社会 各方 面 信息 资源 推动 公共 信用 数 据 与 互联网 移动 互联网 电子商务 等 数据 的 汇聚 整合 鼓励 互联网 企业 运用 大数据 技术 建立 市场化 的 第三方 信用 信息 共享 平台 使 政府 主导 征信 体系 的 权威性 和 互联 网 大数据 征信 平台 的 规模 效应 得到 充分 发挥 依托 全国 统一 的 信用 信息 共享 交换 平台 建设 企业 信用 信息 公示 系统 实现 覆盖 各级 政府 各 类别 信用 主体 的 基 础 信用 信息 共享 初步 建成 社会 信用 体系 为 经济 高效 运行 提供 全面 准确 的 基础 信用 信息 服务 建设 社会 治理 大数据 应用 体系 到 2018 年 围绕 实施 区域 协调 发展 新型 城镇化 等 重大 战略 和 主体 功能区 规划 在 企业 监管 质量安全 质量 诚信 节能 降耗 环境保护 食品安全 安全生产 信用 体系 建设 旅游服务 等 领域 探索 开展 一 批 应用 试点 打通 政府部门 企事业 单位 之间 的 数据 壁垒 实现 合作 开发 和 综 合利 用 实时 采集 并 汇总 分析 政府部门 和 企事业 单位 的 市场 监管 检验 检测 违法 失信 企业 生产经营 销售 物流 投诉举报 消费维权 等 数据 有效 促进 各级 政 府 社会 治理 能力 提升 8 加快 民生服务 普惠 化 结合 新型 城镇化 发展 信息 惠民 工程实施 和 智慧 城市建设 以 优化 提升 民生服务 激发 社会 活力 促进 大数据 应用 市场化 服务 为重 点 引导 鼓励 企业 和 社会 机构 开展 创新 应用 研究 深入 发掘 公共服务 数据 在 城乡建设 人居环境 健康 医疗 社会救助 养老 服务 劳动就业 社会保障 质量 安全 文化教育 交通旅游 消费维权 城乡 服务 等 领域 开展 大数据 应用 示范 推动 传统 公共服务 数据 与 互联网 移动 互联网 可 穿戴 设备 等 数据 的 汇聚 整合 开 发 各类 便民 应用 优化 公共 资源配置 提升 公共服务 水平 专栏 4 公共服务 大数据 工程 医疗 健康 服务 大数据 构建 电子 健康 档案 电子 病历 数据库 建设 覆盖 公共卫生 医疗服务 医疗 保障 药品 供应 计划生育 和 综合 管理 业务 的 医疗 健康管理 和 服务 大数据 应用 体系 探索 预约 挂号 分级 诊疗 远程医疗 检查 检验 结果 共享 防治 结合 医 养 结合 健康咨询 等 服务 优化 形成 规范 共享 互信 的 诊疗 流 程 鼓励 和 规范 有关 企事业 单位 开展 医疗 健康 大数据 创新 应用 研究 构建 综合 健康 服务 应用 社会保障 服务 大数据 建设 由 城市 延伸 到 农村 的 统一 社会救助 社会福利 社会保障 大数据 平台 加强 与 相关 部门 的 数据 对接 和 信息 共享 支撑 大数据 在 劳动 用工 和 社保 基金 监管 医疗保险 对 医疗服务 行为 监控 劳动保障 监察 内控 稽核 以及 人力资源 社会保障 相关 政策 制定 和 执行 效果 跟踪 评价 等 方面 的 应用 利用 大数 据 创新 服务 模式 为 社会 公众 提供 更为 个性化 更具 针对性 的 服务 教育 文化 大数据 完善 教育管理 公共服务 平台 推动 教育 基础 数据 的 伴随 式 收集 和 全国 互通 共享 建立 各 阶段 适龄 入学 人口 基础 数据库 学生 基础 数据库 和 终 身 电子 学籍 档案 实现 学生 学籍 档案 在 不同 教育 阶段 的 纵向 贯通 推动 形成 覆盖 全国 协同 服务 全网 互通 的 教育资源 云 服务 体系 探索 发挥 大数据 对 变革 教育方 式 促进 教育 公平 提升 教育 质量 的 支撑 作用 加强 数字 图书馆 档案馆 博物馆 美术馆 和 文化馆 等 公益 设施 建设 构建 文化传播 大数据 综合 服务平台 传播 中 国 文化 为 社会 提供 文化 服务 交通 旅游服务 大数据 探索 开展 交通 公安 气象 安监 地震 测绘 等 跨部门 跨 地域 数据 融合 和 协同 创新 建立 综合 交通服务 大数据 平台 共同 利用 大数 据 提升 协同 管理 和 公共服务 能力 积极 吸引 社会 优质 资源 利用 交通 大数据 开展 出行 信息 服务 交通 诱导 等 增值服务 建立 旅游投诉 及 评价 全 媒体 交互 中心 实现 对 旅游 城市 重点 景区 游客 流量 的 监控 预警 和 及时 分流 疏导 为 规范 市场 秩序 方便 游客 出行 提升 旅游服务 水平 促进 旅游 消费 和 旅游产业 转型 升级 提供 有力 支撑 二 推动 产业 创新 发展 培育 新兴 业态 助力 经济 转型 1 发展 工业 大数据 推动 大数据 在 工业 研发 设计 生产制造 经营管理 市场营销 售后服务 等 产品 全 生命 周期 产业链 全 流程 各 环节 的 应用 分析 感知 用 户 需求 提升 产品 附加 价值 打造 智能 工厂 建立 面向 不同 行业 不同 环节 的 工业 大数据 资源 聚合 和 分析 应用 平台 抓住 互联网 跨 界 融合 机遇 促进 大数据 物 联 网 云 计算 和 三维 3D 打印 技术 个性化 定制 等 在 制造业 全 产业链 集成 运用 推动 制造 模式 变革 和 工业 转型 升级 2 发展 新兴 产业 大数据 大力 培育 互联网 金融 数据 服务 数据 探矿 数据 化学 数据 材料 数据 制药 等 新 业态 提升 相关 产业 大数据 资源 的 采集 获取 和 分 析 利用 能力 充分 发掘 数据 资源 支撑 创新 的 潜力 带动 技术 研发 体系 创新 管理 方式 变革 商业 模式 创新 和 产业 价值链 体系 重构 推动 跨 领域 跨行业 的 数据 融合 和 协同 创新 促进 战略性 新兴 产业发展 服务业 创新 发展 和 信息 消费 扩大 探索 形成 协同 发展 的 新 业态 新 模式 培 育新 的 经济 增长点 专栏 5 工业 和 新兴 产业 大数据 工程 工业 大数据 应用 利用 大数据 推动 信息化 和 工业化 深度 融合 研究 推动 大数据 在 研发 设计 生产制造 经营管理 市场营销 售后服务 等 产业链 各 环节 的 应用 研发 面向 不同 行业 不同 环节 的 大数据分析 应用 平台 选择 典型 企业 重点 行业 重点 地区 开展 工业 企业 大数据 应用项目 试点 积极 推动 制造业 网络化 和 智能化 服务 业 大数据 应用 利用 大数据 支持 品牌 建立 产品 定位 精准 营销 认证认可 质量 诚信 提升 和 定制 服务 等 研发 面向 服务业 的 大数据 解决方案 扩大 服务 范围 增强 服务 能力 提升 服务 质量 鼓励 创新 商业 模式 服务内容 和 服务 形式 培育 数据 应用 新 业态 积极 推动 不 同行 业 大数据 的 聚合 大数据 与 其他 行业 的 融合 大力 培育 互联网 金融 数据 服务 数据处理 分析 数据 影视 数据 探矿 数据 化学 数据 材料 数据 制药 等 新 业态 电子商务 大数据 应用 推动 大数据 在 电子商务 中 的 应用 充分 利用 电子商务 中 形成 的 大数据 资源 为政 府 实施 市场 监管 和 调控 服务 电子商务 企业 应 依法 向 政府 部门 报送 数据 3 发展 农业 农村 大数据 构建 面向 农业 农村 的 综合 信息 服务 体系 为 农民 生产 生活 提供 综合 高效 便捷 的 信息 服务 缩小 城乡 数字 鸿沟 促进 城乡发展 一 体 化 加强 农业 农村经济 大数据 建设 完善 村 县 相关 数据采集 传输 共享 基础设施 建立 农业 农村 数据采集 运算 应用 服务 体系 强化 农村 生态环境 治理 增强 乡村 社会 治理 能力 统筹 国内 国际 农业 数据 资源 强化 农业资源 要素 数据 的 集聚 利用 提升 预测 预警 能力 整合 构建 国家 涉农 大数据中心 推进 各地 区 各 行业 各 领域 涉农 数据 资源 的 共享 开放 加强 数据 资源 发掘 运用 加快 农业 大数据 关键 技术 研发 加大 示范 力度 提升 生产 智能化 经营 网络化 管理 高效化 服 务 便捷化 能力 和 水平 专栏 6 现代农业 大数据 工程 农业 农村 信息 综合 服务 充分 利用 现有 数据 资源 完善 相关 数据采集 共享 功能 完善 信息 进村 入户 村级 站 的 数据采集 和 信息 发布 功能 建设 农产品 全球 生产 消费 库存 进出口 价格 成本 等 数据 调查 分析 系统工程 构建 面向 农业 农村 的 综合 信息 服务平台 涵盖 农业 生产 经营 管理 服务 和 农村 环境 整治 等 环节 集合 公益 服务 便民服务 电子商务 和 网络服务 为 农业 农村 农民 生产 生活 提供 综合 高效 便捷 的 信息 服务 加强 全球 农业 调查 分析 引导 国内 农产品 生产 和 消 费 完善 农产品 价格 形成 机制 缩小 城乡 数字 鸿沟 促进 城乡发展 一体化 农业资源 要素 数据 共享 利用 物 联网 云 计算 卫星 遥感 等 技术 建立 我国 农业 耕地 草原 林地 水利 设施 水资源 农业 设施 设备 新型 经营 主体 农业 劳动力 金融资本 等 资源 要素 数据 监测 体系 促进 农业 环境 气象 生态 等 信息 共享 构建 农业资源 要素 数据 共享 平台 为 各级 政府 企业 农户 提供 农业资源 数 据 查询服务 鼓励 各类 市场 主体 充分 发掘 平台 数据 开发 测 土 配方 施肥 统 防 统治 农业 保险 等 服务 农产品 质量安全 信息 服务 建立 农产品 生产 的 生态环境 生产资料 生产过程 市场 流通 加工 储藏 检验 检测 等 数据 共享 机制 推进 数据 实现 自动化 采集 网络化 传输 标准化 处理 和 可视化 运用 提高 数据 的 真实性 准确性 及时性 和 关联性 与 农产品 电子商务 等 交易平台 互联 共享 实现 各 环节 信息 可 查询 来源 可 追溯 去向 可 跟踪 责任 可 追究 推进 实现 种子 农药 化肥 等 重要 生产资料 信息 可追溯 为生 产者 消费者 监管者 提供 农产品 质量安全 信息 服务 促进 农产品 消费 安全 4 发展 万众 创新 大数据 适应 国家 创新 驱动 发展战略 实施 大数据 创新 行动 计划 鼓励 企业 和 公众 发掘 利用 开放 数据 资源 激发 创新 创业 活力 促进 创新 链 和 产业链 深度 融合 推动 大数据 发展 与 科研 创新 有机 结合 形成 大数据 驱动 型 的 科研 创新 模式 打通 科技创新 和 经济 社会发展 之间 的 通道 推动 万众 创新 开放 创 新和 联动 创新 专栏 7 万众 创新 大数据 工程 大数据 创新 应用 通过 应用 创新 开发 竞赛 服务 外包 社会 众 包 助推 计划 补助 奖励 应用 培训 等 方式 鼓励 企业 和 公众 发掘 利用 开放 数据 资源 激发 创新 创业 活力 大数据 创新 服务 面向 经济 社会发展 需求 研发 一 批 大数据 公共服务 产品 实现 不同 行业 领域 大数据 的 融合 扩大 服务范围 提高 服务 能力 发展 科学 大数据 积极 推动 由 国家 公共 财政 支持 的 公益性 科研活动 获取 和 产生 的 科学 数据 逐步 开放 共享 构建 科学 大数据 国家 重大 基础设施 实现 对 国家 重要 科技 数据 的 权威 汇集 长期 保存 集成 管理 和 全面 共享 面向 经济 社会发展 需求 发展 科学 大数据 应用 服务中心 支持 解决 经济 社会发展 和 国家安全 重大 问题 知识 服务 大数据 应用 利用 大数据 云 计算 等 技术 对 各 领域 知识 进行 大规模 整合 搭建 层次 清晰 覆盖 全面 内容 准确 的 知识 资源库 群 建立 国家 知识 服务 平台 与 知识 资源 服务中心 形成 以 国家 平台 为 枢纽 行业 平台 为 支撑 覆盖 国民经济 主要 领域 分布 合理 互联 互通 的 国家 知识 服务 体系 为生 产生 活 提供 精准 高 水平 的 知识 服务 提高 我国 知识 资源 的 生产 与 供给 能力 5 推进 基础 研究 和 核心 技术 攻关 围绕 数据 科学 理论 体系 大数据 计算 系统 与 分析 理论 大数据 驱动 的 颠覆 性 应用 模型 探索 等 重大 基础 研究 进行 前瞻 布局 开展 数据 科学研究 引导 和 鼓励 在 大数 据 理论 方法 及 关键 应用技术 等 方面 展开 探索 采取 政 产学研用 相 结合 的 协同 创新 模式 和 基于 开源 社区 的 开放 创新 模式 强 海量 数据 存储 数据 清洗 数据分析 发掘 数据 可视化 信息 安全 与 隐私保护 等 领域 关键 技术 攻关 形成 安全 可靠 的 大数据 技术 体系 支持 自然语言 理解 机器 学习 深度 学习 等 人工智能 技术创新 提升 数据分析 处理 能力 知识 发现 能力 和 辅助 决策 能力 6 形成 大数据产品 体系 围绕 数据采集 整理 分析 发掘 展现 应用 等 环节 支持 大型 通用 海量 数据 存储 与 管理软件 大数据分析 发掘 软件 数据 可视 化 软件 等 软件产品 和 海量 数据 存储设备 大数据 一体机 等 硬件 产品 发展 带动 芯片 操作系统 等 信息 技术 核心 基础 产品 发展 打造 较为 健全 的 大数据产品 体系 大 力 发展 与 重点 行业 领域 业务流程 及 数据 应用 需求 深度 融合 的 大数据 解决方案 专栏 8 大数据 关键 技术 及 产品 研发 与 产业化工程 通过 优化 整合 后 的 国家 科技计划 专项 基金 等 支持 符合 条件 的 大数据 关键 技术 研发 加强 大数据 基础 研究 融合 数理 科学 计算机 科学 社会科学 及其他 应用 学科 以 研究 相关性 和 复杂 网络 为主 探讨 建立 数据 科学 的 学科 体系 研究 面向 大数 据 计算 的 新 体系 和 大数据分析 理论 突破 大数据 认知 与 处理 的 技术 瓶颈 面向 网络 安全 金融 生物 组 学 健康 医疗 等 重点 需求 探索 建立 数据 科学 驱动 行业 应 用 的 模型 大数据 技术产品 研发 加大 投入 力度 加强 数据 存储 整理 分析 处理 可视化 信息 安全 与 隐私保护 等 领域 技术产品 的 研发 突破 关键 环节 技术 瓶颈 到 2 020 年 形成 一 批 具有 国际 竞争力 的 大数据处理 分析 可视化 软件 和 硬件 支撑 平台 等 产品 提升 大数据 技术服务 能力 促进 大数据 与 各 行业应用 的 深度 融合 形成 一 批 代表性 应用 案例 以 应用 带动 大数据 技术 和 产品 研发 形成 面向 各 行业 的 成熟 的 大 数据 解决方案 7 完善 大数据 产业链 支持 企业 开展 基于 大数据 的 第三方 数据分析 发掘 服务 技术 外包服务 和 知识 流程 外包服务 鼓励 企业 根据 数据 资源 基础 和 业务 特色 积极 发展 互联网 金融 和 移动 金融 等 新 业态 推动 大数据 与 移动 互联网 物 联网 云 计算 的 深度 融合 深化 大数据 在 各 行业 的 创新 应用 积极 探索 创新 协作 共赢 的 应 用 模式 和 商业 模式 加强 大数据 应用 创新 能力 建设 建立 政 产学研用 联动 大中小企业 协调 发展 的 大数据 产业 体系 建立 和 完善 大数据 产业 公共服务 支撑 体系 组 建 大数据 开源 社区 和 产业 联盟 促进 协同 创新 加快 计量 标准化 检验 检测 和 认证认可 等 大数据 产业 质量 技术 基础建设 加速 大数据 应用 普及 专栏 9 大数据 产业 支撑 能力 提升 工程 培育 骨干 企业 完善 政策 体系 着力 营造 服务 环境 优 要素 成本 低 的 良好 氛围 加速 培育 大数据 龙头 骨干 企业 充分 发挥 骨干 企业 的 带动 作用 形成 大中小 企 业 相互 支撑 协同 合作 的 大数据 产业 生态 体系 到 2020 年 培育 10 家 国际 领先 的 大数据 核心 龙头企业 500 家 大数据 应用 服务 和 产品制造 企业 大数据 产业 公共服务 整合 优质 公共服务 资源 汇聚 海量 数据 资源 形成 面向 大数据 相关 领域 的 公共服务 平台 为 企业 和 用户 提供 研发 设计 技术 产业化 人 力 资源 市场推广 评估 评价 认证认可 检验 检测 宣传 展示 应用 推广 行业咨询 投融资 教育培训 等 公共服务 中小 微 企业 公共服务 大数据 整合 现有 中小 微 企业 公共服务 系统 与 数据 资源 链接 各省 区 市 建成 的 中小 微 企业 公共服务 线 上 管理系统 形 成全 国统 一 的 中小 微 企业 公共服务 大数据 平台 为 中小 微 企业 提供 科技服务 综合 服务 商贸服务 等 各类 公共服务 三 强化 安全 保障 提高 管理 水平 促进 健康 发展 1 健全 大数据 安全 保障 体系 加强 大数据 环境 下 的 网络安全 问题 研究 和 基于 大数据 的 网络安全 技术 研究 落实 信息 安全 等级 保护 风险评估 等 网络安全 制度 建立 健全 大数据 安全 保障 体系 建立 大数据 安全 评估 体系 切实 加强 关键 信息 基础设施 安全防护 做好 大数据 平台 及 服务商 的 可靠性 及 安全性 评测 应用 安全 评 测 监测 预警 和 风险评估 明确 数据采集 传输 存储 使用 开放 等 各 环节 保障 网络安全 的 范围 边界 责任 主体 和 具体 要求 切实 加强 对 涉及 国家 利益 公共 安 全 商业秘密 个人 隐私 军工 科研 生产 等 信息 的 保护 妥善 处理 发展 创新 与 保障 安全 的 关系 审慎 监管 保护 创新 探索 完善 安全 保密 管理规范 措施 切实 保障 数据 安全 2 强化 安全 支撑 采用 安全 可信 产品 和 服务 提升 基础设施 关键 设备 安全 可靠 水平 建设 国家 网络安全 信息 汇聚 共享 和 关联 分析 平台 促进 网络安全 相关 数 据 融合 和 资源 合理 分配 提升 重大 网络安全 事件 应急 处理 能力 深化 网络 安全防护 体系 和 态势 感知 能力 建设 增强 网络 空间 安全防护 和 安全 事件 识别 能力 开展 安 全 监测 和 预警 通报 工作 加强 大数据 环境 下 防 攻击 防 泄露 防 窃取 的 监测 预警 控制 和 应急 处置 能力 建设 专栏 10 网络 和 大数据 安全 保障 工程 网络 和 大数据 安全 支撑 体系 建设 在 涉及 国家安全 稳定 的 领域 采用 安全 可靠 的 产品 和 服务 到 2020 年 实现 关键 部门 的 关键 设备 安全 可靠 完善 网络安全 保密 防护 体系 大数据 安全 保障 体系 建设 明确 数据采集 传输 存储 使用 开放 等 各 环节 保障 网络安全 的 范围 边界 责任 主体 和 具体 要求 建设 完善 金融 能源 交通 电信 统计 广电 公共 安全 公共事业 等 重要 数据 资源 和 信息系 统 的 安全 保密 防护 体系 网络安全 信息 共享 和 重大 风险 识别 大数据 支撑 体系 建设 通过 对 网络安全 威胁 特征 方法 模式 的 追踪 分析 实现 对 网络安全 威胁 新技术 新 方法 的 及时 识 别 与 有效 防护 强化 资源 整合 与 信息 共享 建立 网络安全 信息 共享 机制 推动 政府 行业 企业 间 的 网络 风险 信息 共享 通过 大数据分析 对 网络安全 重大 事件 进 行 预警 研判 和 应对 指挥 四 政策 机制 一 完善 组织 实施 机制 建立 国家 大数据 发展 和 应用 统筹 协调 机制 推动 形成 职责 明晰 协同 推进 的 工作 格局 加强 大数据 重大 问题 研究 加快 制定 出台 配 套 政策 强化 国家 数据 资源 统筹 管理 加强 大数据 与 物 联网 智慧 城市 云 计算 等 相关 政策 规划 的 协同 加强 中央 与 地方 协调 引导 地方 各级 政府 结合 自身 条件 合理 定位 科学 谋划 将 大数据 发展 纳入 本地 区 经济社会 和 城镇化 发展规划 制定 出台 促进 大数据 产业发展 的 政策措施 突出 区域 特色 和 分工 抓好 措施 落实 实 现 科学 有序 发展 设立 大数据 专家咨询 委员会 为 大数据 发展 应用 及 相关 工程实施 提供 决策咨询 各 有关 部门 要 进一步 统一 思想 认真 落实 本 行动 纲要 提出 的 各项 任务 共同 推动 形成 公共 信息 资源共享 共用 和 大数据 产业 健康 安全 发展 的 良好 格局 二 加快 法规 制度建设 修订 政府 信息 公开 条例 积极 研究 数据 开放 保护 等 方面 制度 实现 对 数据 资源 采集 传输 存储 利用 开放 的 规范 管理 促进 政府 数据 在 风险 可控 原则 下 最大 程度 开放 明确 政府 统筹 利用 市场 主体 大数据 的 权限 及 范围 制定 政府 信息 资源 管理办法 建立 政府部门 数据 资源 统筹 管理 和 共享 复用 制度 研究 推动 网上 个人 信息 保护 立法 工作 界定 个人 信息 采集 应用 的 范围 和 方式 明确 相关 主体 的 权利 责任 和 义务 加强 对 数据 滥用 侵犯 个人 隐私 等 行 为 的 管理 和 惩戒 推动 出台 相关 法律法规 加强 对 基础 信息 网络 和 关键 行业 领域 重要 信息 系统 的 安全 保护 保障 网络 数据 安全 研究 推动 数据 资源 权益 相关 立法 工 作 三 健全 市场 发展 机制 建立 市场化 的 数据 应用 机制 在 保障 公平 竞争 的 前提 下 支持 社会 资本 参与 公共服务 建设 鼓励 政府 与 企业 社会 机构 开展 合作 通过 政府采购 服务 外包 社会 众 包 等 多种 方式 依托 专业 企业 开展 政府 大数据 应用 降低 社会管理 成本 引导 培育 大数据 交易市场 开展 面向 应用 的 数据 交易 市 场 试点 探索 开展 大数据 衍生 产品 交易 鼓励 产业链 各 环节 市场 主体 进行 数据 交换 和 交易 促进 数据 资源 流通 建立 健全 数据 资源 交易 机制 和 定价 机制 规范 交易 行为 四 建立 标准规范 体系 推进 大数据 产业 标准 体系 建设 加快 建立 政府部门 事业单位 等 公共 机构 的 数据 标准 和 统计标准 体系 推进 数据采集 政府 数据 开 放 指标 口径 分类 目录 交换 接口 访问 接口 数据 质量 数据 交易 技术产品 安全 保密 等 关键 共性 标准 的 制定 和 实施 加快 建立 大数据 市场 交易 标准 体系 开展 标准 验证 和 应用 试点 示范 建立 标准 符合性 评估 体系 充分 发挥 标准 在 培育 服务 市场 提升 服务 能力 支撑 行业管理 等 方面 的 作用 积极 参与 相关 国际标准 制 定工 作 五 加大 财政金融 支持 强化 中央 财政 资金 引导 集中 力量 支持 大数据 核心 关键 技术 攻关 产业链 构建 重大 应用 示范 和 公共服务 平台 建设 等 利用 现有 资 金 渠道 推动 建设 一 批 国际 领先 的 重大 示范工程 完善 政府采购 大数据 服务 的 配套 政策 加大 对 政府部门 和 企业 合作 开发 大数据 的 支持 力度 鼓励 金融机构 加强 和 改进 金融服务 加大 对 大数据 企业 的 支持 力度 鼓励 大数据 企业 进入 资本 市场 融资 努力 为 企业重组 并购 创造 更加 宽松 的 金融 政策环境 引导 创业 投资基金 投向 大 数据 产业 鼓励 设立 一 批 投资 于 大数据 产业 领域 的 创业 投资基金 六 加强 专业 人才培养 创新 人才培养 模式 建立 健全 多层次 多类型 的 大数据 人才培养 体系 鼓励 高校 设立 数据 科学 和 数据 工程 相关 专业 重点 培养 专业 化 数据 工程师 等 大数据 专业人才 鼓励 采取 跨 校 联合 培养 等 方式 开展 跨学科 大数据 综合型 人才培养 大力 培养 具有 统计分析 计算机 技术 经济管理 等 多学科 知识 的 跨 界 复合型 人才 鼓励 高等院校 职业院校 和 企业 合作 加强 职业技能 人才 实践 培养 积极 培育 大数据 技术 和 应用 创新型 人才 依托 社会化 教育资源 开展 大数 据 知识 普及 和 教育培训 提高 社会 整体 认知 和 应用 水平 七 促进 国际交流 合作 坚持 平等 合作 互利 共赢 的 原则 建立 完善 国际合作 机制 积极 推进 大数据 技术交流 与 合作 充分 利用 国际 创新 资源 促进 大数据 相关 技术 发展 结合 大数据 应用 创新 需要 积极 引进 大数据 高层次 人才 和 领军 人才 完善 配套 措施 鼓励 海外 高端 人才 回国 就业创业 引导 国内 企业 与 国际 优势 企 业 加强 大数据 关键 技术 产品 的 研发 合作 支持 国内 企业 参与 全球 市场 竞争 积极 开拓 国际 市场 形成 若干 具有 国际 竞争力 的 大数据 企业 和 产品 摘要 物 联网 已经 形成 而且 发展 迅速 物 联网 IOT 或 万物 互联 IoE 指 的 是 连入 互联网 的 一切 设备 或 物体 比如 智能 手表 Fitbit 计步器 甚至 是 你家 的 冰箱 这些 设备 能够 通过 互联网 收集 并 传送 数据 构成 我们 的 大数据 世界 关键词 大数据 1494 篇 物 联网 13905 篇 物 联网 已经 形成 而且 发展 迅速 物 联网 IOT 或 万物 互联 IoE 指 的 是 连入 互联网 的 一切 设备 或 物体 比如 智能 手表 Fitbit 计步器 甚至 是 你家 的 冰箱 这些 设备 能够 通过 互联网 收集 并 传送 数据 构成 我们 的 大数据 世界 智能 联网 的 设备 已经 在 改变 着 我们 的 世界 和 商业 竞争力 为了 展示 这个 领域 发展 之 迅速 以及 对 我们 的 生活 和 商业 产生 的 巨大 影响 我 罗列 了 17 项 最 难以 置 信 的 数字 和 统计资料 证明 这种 现象 已经 存在 并将 一直 延续 下去 未来 大数据 源于 物 联网 1 大多 数人 87% 并未 听 过 物 联网 一 词 2 自助 取款机 被 认为 是 第 一代 物 联网 设备 之一 早 在 1974 年 就 已 联网 3 在 2008 年 连接 入网 的 设备 就 已 超过 了 人口 数量 4 今年 我们 将 有 49 亿 件 物体 连接 入网 5 有人 预计 到 2020 年 连接 入网 的 物体 将 达到 甚或 超过 500 亿 6 2015 年 将 发货 超过 14 亿 部 智能 手机 而 到 2020 年 智能 手机 用户 规模 将 达到 惊人 的 61 亿 7 物 联网 将 连接 我们 家中 的 很多 设备 从 智能 调温 器 到 智能 冰箱 像 谷 歌 Google 和 三星 Samsung 这样 的 公司 已经 认识 到 这 一 点 谷 歌 以 32 亿 美元 的 价格 收购 了 智能 调温 器制造 商 Nest Labs 三星 则 以 2 亿 美元 的 价格 收购 了 联网 家居 公司 SmartThings 8 到 2020 年 将 有 2.5 亿 辆 汽车连 接入网 为 我们 提供 全新 的 车 内 服务 和 自动 驾驶 体验 9 事实上 我们 已经 拥有 能够 自动 驾驶 的 汽车 了 谷 歌 出品 的 自动 驾驶 汽车 平均 每周 能够 行驶 10 000 英里 10 2015 年 全球 可 穿戴 设备 市场 的 增幅 达到 223% Fitbit 出货量 为 440 万件 而 苹果 也 销售 了 360 万件 Apple Watch 11 的确 联网 的 服饰 也 将 出现 预计 到 2020 年 将 生产 1020 万件 智能 服饰 相比 2013 年 的 14 万件 来说 可谓 增长 迅猛 12 如今 射频 识别 市场 也 有所 增长 目前 价值 已 高达 111 亿 美元 射频 识别 可用 来 传输 数据 以 识别 和 追踪 物体 到 2020 年时 这 一 市场 价值 有望 达到 219 亿 美元 13 到 2024 年 机器 到 机器 M2M 连接 将 从今 年 年初 的 50 亿 增长 到 270 亿 届时 中国 将 占据 21% 而 美国 占 20% 14 通用电气 GE 认为 工业 网络 他们 对 物 联网 的 称呼 在 未来 20 年内 将 使 全球 的 国民 生产总值 GDP 增加 10 至 15 万亿 美元 15 根据 麦肯锡 全球 研究所 McKinsey Global Institute 的 估计 到 2025 年 物 联网 所 拥 有的 经济 总价值 将 达到 11 万亿 美元 16 拥有 联网 厨房 每年 将 为 食品 和 饮料 行业 节省 15% 成本 17 思科 CISCO 认为 在 今后 10 年中 物 联网 将 为 公共 部门 产生 4.6 万亿 美元 的 价值 为 私有 部门 产生 14.4 万亿 的 价值 物 联网 只 会 继续 发展 我 认为 当前 在 所有 能够 连接 入网 的 设备 中 只有 不到 0.1% 的 设备 已经 连接 入网 试想 一下 这 将 为 商业 和 社会 带来 多么 巨大 的 潜力 和 无限 的 发展 空间 吧 天猫 双十 一 912 亿 成交额 背后 实则 是 一 场 由 机器 和 数学 公式 主导 的 全球 购物 狂欢 是 无数 个 0 和 1 和成 千 上 万套 算法 的 叠加 大数据分析 和 营销 服务 为 各行 新华网 上海 11 月 16 日 电 记者 陆 文军 游 族 杯 上海 开放 数据 创新 应用 大赛 Shanghai Open Data Apps SODA 14 日 在 沪 鸣 锣 经过 初赛 复赛 脱颖而出 的 15 支 团队 将 在 决赛 中 一 决 高下 这是 上海 继 在 国内 率先 启动 政府 数据 资源 向 社会 开放 后 的 又 一重 要 举措 旨在 进一步 贯彻 落实 国家 大数据 发展战略 推进 政府 数据 开放 激发 基于 大数据 的 大众 创业 万众 创新 促进 大数据 应用 和 产业发展 由 上海市 经济 和 信息化 委员会 上海市 交通 委员会 主办 中国 工业设计 研究院 承办 上海 游 族 公益 基金会 名 的 本次 大赛 自 今年 8 月 启动 以来 受到 社会 的 广泛 关注 来自 本市 信息化 主管 部门 交通 主管 部门 研究机构 行业协会 大数据 企业 商业 投资机构 孵化器 等 不同 领域 的 重量级 评委 从 作品 的 问题 导向 开 放 数据 利用 度 应用 创新性 大数据 技术 能力 作品 应用 体验 社会效益 和 商业 价值 7 个 维度 对 决赛 作品 进行 了 评审 最终 决出 了 SODA 大奖 优胜奖 单项 奖 和 入围奖 获奖 团队 分享 了 总计 73.5 万 元 的 大赛 奖金 据 介绍 入围 的 15 支队 伍 作品 有 基于 动态 网络 与 社会 激励 的 新能源 汽车租赁 系统 上海 地铁 出行 数据 可视化 及 运营 优化 方案 杠铃 公交 让 通勤 举重 若 轻 众 包 你 的 骑 行 生活 基于 众 包 数据 的 时空 挖掘 应用 APP 基于 打车 软件 的 出租车 合 乘 模式 研究 等 在 各个 领域 的 数据 运用 系统 近期 TupleJump 杰出 工程师 Spark 和 Cassandra 的 用户 和 贡献者 Spark Job Server 的 联合 创建人 和 维护者 Evan Chan 详细 介绍 了 用于 大数据分析 的 分布式 数据库 FiloDB 对 其 主要 特点 和 所 包含 模块 进行 了 分析 在 当今 的 大数据 时代 越来越 多 的 企业 需要 对 结构化 的 数据 进行 分析 和 查询 需要 对流 数据 进行 快速 处理 和 更新 以 视频 分析 为 例 存储 和 分析 系统 可能 每天 处理 的 事件 超过 30 亿 个 并且 要 针对 实时 发生 的 事件 进行 统计 和 分析 如此 大规模 高速度 的 数据处理 迫切 需要 高 可扩展性 易于 更新 和 获取 新 数据 支持 快速 的 分 析 查询 支持 极其 灵活 查询 的 系统 的 支持 作为 一 种 列 存储 格式 Apache Parquet 很 好 的 实现 了 节省 空间 和 减少 IO 的 目的 满足 了 上述 问题 的 部分 需求 但是 Parquet 是 一 种 读 优化 的 格式 存在 不 支持 幂 等 写 没有 针 对 小 更新 的 写 优化 不 适合 时间序列 和 IoT 等 缺点 因此 很多 开发 人员 转向 了 Apache Cassandra 这种 NoSQL 数据库 Cassandra 很 好 的 实现 了 水平 可 扩展 数据 建模 非常 灵活 操作简单 实时 和 机器 数据 的 获取 容易 等 特性 但是 该 数据库 支持 简单 查询 而且 是 面向 OLTP 联机 事务 处理 的 为了 更好 的 解决 上述 问题 TupleJump 提出 了 一 种 开源 分布式 列 存储 数据 库 FiloDB 作为 一 种 OLAP 联机 分析 处理 FiloDB 可以 获取 机器 数据 事件 数据 和 时间序列 数据 等 各种 类型 的 流 数据 然后 进行 非常 快速 的 分析 查询 其 主要 特 点 包括 分布式 FiloDB 在 设计 之 初 便 考虑 其 底层 平台 为 Apache Cassandra 等 分布式 存储 平台 因此 FiloDB 支持 Apache Spark 采用 并行 查询 的 方式 来 加速 分析 列 存储 FiloDB 通过 使用 带有 字典 压缩 等 节省 空间技术 的 列 存储 来 带来 性能 的 提升 其 性能 与 Parquet 不相上下 比 运行 在 Cassand ra 2 x 上 的 Spark 要 快 1 到 2 个数 量级 版本 化 FiloDB 增量 的 增 加一 列 或者 若干 行 作为 一个 新 的 版本 相比 于 基于 文件 的 技术 FiloDB 提供 更多 的 灵活性 使得 回 滚 操作 变得 简单 FiloDB 使用 Apache Cassandra 作为 其 存储 引擎 使用 Apache Spark 作为 其 计算 层 Apache Cassandra 作为 一 套 开源 分布式 Key-Value 存储 系统 具有 分布式 基于 column 的 结构化 和 高 可扩展性 等 特点 之前 很多 用户 已经 尝试 把 Apache Spark 和 Cassandra 表 结合 在 一起 进行 更加 丰富 的 分析 然而 Cassandra CQL 表格 面向 行 的 存储 方式 使得 把 大量 数据 导入 到 Spark 非常 慢 FiloDB 充分 利用 了 列 存储 的 优势 和 Apache Spark 的 灵活性 和 丰富性 使得 Cassandra 的 处理 速度 实现 了 100 倍 的 提升 此外 FiloDB 使用 Apache Spark SQL 和 DataFrame 作为 其 主要 的 查询 机制 用户 可以 使用 常见 的 SQL 语法 进行 查询 或者 使用 Spark 的 JDBC 连接器 链接 Tableau 等 工具 进行 数据查询 同时 Spark 的 机器 学习 MLlib 库 以及 图形处理 的 GraphX 都 可以 用到 数据 中 通过 Spark DataFrame 进行 数据 获取 也 非常 容易 FiloDB 支持 通过 任何 JDBC 数据源 Parquet 和 Avro 文件 Cassandra 表 等等 进行 数 据 获取 其中 还 包括 从 Spark Streaming 和 Apache Kafka 来 插入 数据 在 流 应用 方面 FiloDB 可以 接受 来自 Apache Kafka 的 流 事件 时间序列 和 IoT 应用 类型 数据 的 一次性 获取 而且 FiloDB 可以通过 简单 的 SQL 语句 完成 极 快速 的 特设 分析 数据库 中 的 每 一 行 都 有 一个 分割 和 排列 键 使用 相同 键 的 写 操作 是 幂 等 的 幂 等 写 支持 事件 数据 的 一 次 完全 存储 最后 使用 Kafka Spark Cassandra FiloDB 可以 很 好 的 实现 整个 Lamba 架构 不 需要 Cassandra 和 Hadoop 作为 双重 获取 通道 使用 SMACK 栈 Spark Scala Mesos Akka Cassandra 和 Kafka 可以 有效 减少 架构 的 资金 投入 目前 该 开源 项目 已经 放置 在 GitHub 中 用户 通过 git clone 下载 后 可以 直接 启动 filo-cli 或者 将 其 作为 一个 Spark 数据源 来使 用 例如 通过 下列 命令 即可 验证 数据 集中 的 元 数据 filo-cli command list dataset gdelt FiloDB 团队 表示 非常 希望 用户 能够 反馈 在 Cassandra 和 Spark 使用 的 案例 或者 进行 代码 贡献 这些 反馈 可能 会 直接 影响 到 FiloDB 下 一 步 的 一些 特性 招聘 信息 iOS 开发 工程师 iOS 高级 开发 工程师 中国 排名 第 一 的 企业级 移动 互联网 云 计算 公司 和 创 科技 红 圈 营销 交互 设计师 UE 产品 iOS 高级 开发 工程师 资深 iOS 工程师 iOS 研发 工程师 iOS 开发 工程师 UI 设计师 iOS 开发 工程师 iOS 开发 工程师 资深 iOS 开发 工程师 1 jpg 当 一个 事物 被 社会 普遍 提及 不断 出现 各种 论证 和 溯源 甚至 是 炒作 时 代表 一 种 社会 思想 的 即将 形成 而 这种 思想 很 有 可能 引领 一个 新 的 时代 1980 年 著名 未来学家 托夫勒 在 其 所 著 的 第 三 次 浪潮 中将 大数据 称颂 为 第 三 次 浪潮 的 华彩乐章 但 从 2009 年 开始 大数据 才 成为 互联网 技术 行业 中 的 热门 词汇 直至 2013 年 被 称为 大数据 元年 相对 于 互联网 的 发展 速度 来说 大数据 概念 从 提出 到 成为 一个 时代 用 了 30 年 在 这个 不算 快 也 不算 慢 的 时间 里 大数据 被 不同 行业 和 领域 所 验证 但是 结论 几乎 都 只有 一个 中心点 大数 据 将 成为 社会 变革 的 动力 将 是 时代 进步 的 象征 大数 据 实质 上 全面 混杂 的 并且 具有 数据 量 大 输入 和 处理 速度快 数据 多样性 价值 密度 低 特点 的 数据 它们 是 可 交易 可 交互 可处理 的 技术 集合体 每 一 种 技术 趋势 都 代表 着 创新 突破 和 发展 潜力 从 定义 上 看 大数据 不 具备 任何 商业 价值 只有 当 大数据 时 我们 才能 看到 大数据 应用 正 以 各种 方式 和 路径 影响 着 企业 的 商业 生态 产生 可以 评估 的 价值 在 Google 提出 云 计算 概念 后 支撑 Google 内部 各种 大数据 应用 的 正是 Google 公司 自行 研发 的 云 计算 服务器 紧接着 云 存储 从 云 计算 上 延 伸 和 发展 出来 成为 新兴 行业 在 智能 手机 搭配 移动 互联网 让 各类 APP 大行其道 时 支持 APP 运行 的 基础 数据 API 也 成为 大数据 产业 的 重要 分支 马云 说 大家 还 没 搞清 PC 时代 的 时候 移动 互联网 来 了 还 没 搞清 移动 互联网 的 时候 大数据 时代 来 了 毋庸置疑 大数据 是 当今 时代 一个 重要 的 标杆 现代 社 会 正 以 不可 想象 的 速度 产生 海量 数据 根据 IDC Internet Data Center 即 互联网 数据中心 预测 2020 年 的 数据 增长量 将 是 2010 年 的 44 倍 达到 35 ZB 而 这些 数据 的 产生 来自 于 不同 产业 面对 国际 大数据 发展 的 热潮 作为 全球 第 二大 经济体 在 全民 创业 热潮 的 今天 再 创造 再 一个 云 计算 只是 舍近求远 我们 必须 抓住 大数据 战争 的 脉搏 立足 于 熟悉 的 行业 挖 掘 企业 数据 价值 让 企业 数据 产生 物质 价值 这 才 是 大数据 产业 能够 变现 和 持续 发展 的 合理 策略 为什么 是 产业 比起 其他 经济学 分类 产业 的 定义 是 最近 物质 生产 外延 也 更 广 而 无处不在 无时 不在 产生 的 数据 产业 更 能 概括 大数据 的 潜在 价值 对于 大数据 产业 可能 产生 的 应用领域 人类 从来不 缺乏 想象 和 动手 实验 的 能力 2015 年 11 月 15 日 在 北京 国家 会议中心 聚合 数据 将 携手 京东 金融 围绕 众 创 人工智能 互联网 安全 O2O 社交 硬件 虚拟现实 等 时下 趋势 发掘 大数据 与 产业 的 无限 组合 给 与会者 一 次 天马行空 的 思想 创新 之旅 大数据 时代 什么 是 数据分析 做不了 的 来 园 的 桃子 发表 于 2013 02 26 18 54 文 DAVID BROOKS 不久 之前 我 曾 与 一 位 大型 银行 的 首席 执行官 一同 用餐 他 正在 考虑 是否 要 退出 意大利 市场 因为 经济形势 不景气 而且 未来 很 可能 出现 一 场 欧元 危 机 这位 CEO 手下 的 经济学家 描绘 出 一 片 惨淡 的 景象 并且 计算 出 经济 低迷 对 公司 意味着 什么 但是 最终 他 还是 在 自己 价值 观念 的 指引 下 做出 了 决定 这家 银行 在意 大利 已经 有 了 几十 年的历史 他 不 希望 意大利人 觉得 他 的 银行 只能 同甘 不能 共 苦 他 不 希望 银行 的 员工 认为 他们 在 时局 艰难 之 际会 弃 甲 而 逃 他 决定 留在 意大利 不管 未来 有 什么 危机 都 要 坚持 下去 即便 付出 短期 代价 也 在所不惜 做 决策 之 时 他 并 没有 忘记 那些 数据 但 最终 他 采用 了 另 一 种 不同 的 思维 方式 当然 他 是 正确 的 商业 建立 在 信任 之上 信任 是 一 种 披 着 情感 外衣 的 互惠 主义 在 困境 中 做出 正确 决策 的 人和 机构 能够 赢得 自尊 和 他人 的 尊敬 这种 感情 上 的 东西 是 非常 宝贵 的 即便 它 不能 为 数据 所 捕捉 和 反映 这个 故事 反映 出 了 数据分析 的 长处 和 局限 目前 这 一 历史 时期 最大 的 创新 就 在于 我们 的 生活 现在 由 收集 数据 的 计算机 调控 着 在 这个 时代 头脑 无法 理解 的 复杂 情况 数据 可以 帮 我们 解读 其中 的 含义 数据 可以 弥补 我们 对 直觉 的 过分 自信 数据 可以 减轻 欲望 对 知觉 的 扭曲 程度 但 有 些 事情 是 大数据 不 擅长 的 下面 我会 一一道来 数据 不 懂 社交 大脑 在 数学 方面 很 差劲 不 信 请 迅速 心算 一下 437 的 平方根 是 多少 但是 大脑 懂得 社会 认知 人们 擅长 反射 彼此 的 情绪 状态 擅长 侦测 出 不合 作 的 行为 擅长 用 情绪 为 事物 赋予 价值 计算机 数据分析 擅长 的 是 测量 社会 交往 的 量 而 非 质 网络 科学家 可以 测量 出 你 在 76% 的 时间 里 与 6 名 同事 的 社交 互动 情况 但是 他们 不 可能 捕捉 到 你 心 底 对于 那些 一 年 才 见 2 次 的 儿时 玩 伴 的 感情 更 不必 说 但丁 对于 仅 有 两面 之缘 的 贝阿 特丽 斯 的 感情 了 因此 在 社交 关系 的 决策 中 不要 愚蠢 到 放弃 头脑 中 那 台 满 魔力 的 机器 而 去 相信 你 办 工作 上 的 那 台 机器 数据 不 懂 背景 人类 的 决策 不是 离散 的 事件 而是 镶嵌 在 时间序列 和 背景 之中 的 经过 数 百万年 的 演化 人脑 已经 变得 善于 处理 这样 的 现实 人们 擅长 讲述 交织 了 多重 原因 和 多重 背景 的 故事 数据分析 则 不 懂得 如何 叙事 也 不 懂得 思维 的 浮现 过程 即便 是 一 部 普普通通 的 小说 数据分析 也 无法 解释 其中 的 思路 数据 会 制造 出 更 大 的 干草垛 这 一 观点 是由 纳 西姆 塔 勒布 Nassim Taleb 著名 商业 思想家 著有 黑 天鹅 如何 应对 不 可知 的 未来 等 书 作 提出 的 随着 我们 掌握 的 数据 越来越 多 可以 发现 的 统计 上 显著 的 相关 关系 也 就 越来越 多 这些 相关 关系 中 有 很多 都 是 没有 实际 意义 的 在 真正 解决 问题 时 很 可能 将 人 引入歧途 这种 欺骗性 会 随着 数据 的 增多 而 指数 级 地 增长 在 这个 庞大 的 干草垛 里 我们 要 找 的 那根 针 被 越 埋 越深 大数据 时代 的 特征 之一 就是 重大 发现 的 数量 被 数据 扩张 带来 的 噪音 所 淹没 大数据 无法 解决 大 问题 如果 你 只 想 分析 哪些 邮件 可以 带来 最 多 的 竞选 资金 赞助 你 可以 做 一个 随机 控制 实验 但 假设 目标 是 刺激 衰退期 的 经济形势 你 就 不 可能 找到 一个 平行 世界 中 的 社会 来 当 对照组 最佳 的 经济 刺激 手段 到底 是 什么 人们 对此 争论不休 尽管 数据 像 海浪 一般 涌来 就 我 所知 这场 辩论 中 尚 未有 哪位 主要 辩手 因为 参考 了 数据分析 而 改变 立场 的 数据 偏爱 潮流 忽视 杰作 当 大量 个体 对 某种 文化 产品 迅速 产生 兴趣 时 数据分析 可以 敏锐 地 侦测 到 这种 趋势 但是 一些 重要 的 也 是 有 收益 的 产品 在 一 开始 就 被 数据 摈弃 了 仅仅 因为 它们 的 特异 之 处 不 为人 所 熟知 数据 掩盖 了 价值 观念 我 最近 读 到 一本 有着 精彩 标题 的 学术专著 原始 数据 只是 一 种 修辞 书 中 的 要点 之一 就是 数据 从来 都 不 可能 是 原始 的 数 据 总是 依照 某人 的 倾向 和 价值 观念 而 被 构建 出来 的 数据分析 的 结果 看似 客观 公正 但 其实 价值 选择 贯穿 了 从 构建 到 解读 的 全过程 这 篇文章 并 不是 要 批评 大数据 不是 一 种 伟大 的 工具 只是 和 任何 一 种 工具 一样 大数据 有 拿手 强项 也 有 不 擅长 的 领域 正如 耶鲁大学 的 爱德华 图 弗特 教授 Edward Tufte 所说 这个 世界 的 有趣 之 处 远胜 任何 一门 学科 2015 中国 大数据 技术 大会 在 北京 隆重 开幕 2015 年 12 月 10 日 作为 大数据 领域 规模 最大 最 具 影响力 的 IT 盛会 2015 中国 大数据 技术 大会 BDTC 2015 在 北京 新 云南 皇冠 假日 酒店 盛大 开幕 CCF 大数据 专家 委员会 秘书长 中科院计算所 研究员 程 学 旗 代表 主办方 和 承办方 致 开幕辞 本次 大会 历时 三 天 以 更加 国际化 的 视野 从 政策法规 技术 实践 和 产业 应用 等 角度 深入 探讨 大数据 落地 后 的 挑战 作为 大数据 产业界 科技界 与 政府部门 密切 合作 的 重要 平台 本 届 大会 吸引 了 数千 名 大数据 技术 爱好者 到场 参会 2015 中国 大数据 技术 大会 由 中国计算机学会 CCF 主办 CCF 大数据 专家 委员会 承办 中国科学院 计算 技术 研究所 北京 中科 天玑 科技 有限公司 与 CS DN 共同 协办 本届 大会 以 数据 安全 深度分析 行业应用 为主 题 内容 涉及 Hadoop YARN Spark HBase Kudu Postgr eSQL-X 2 等 开源 软件 的 最新 进展 以及 内存 计算 大数据 下 的 可视化 机器 学习 深度 学习 商业智能 数据分析 等 的 最新 应用 案例 近年来 大数据 已 成为 国家 层面 的 基础性 战略 资源 正 日益 对 全球 生产 流通 分配 消费 活动 以及 经济运行 机制 社会生活 方式 和 国家 治理 能力 产生 重要 影响 推动 大数据 发展 已 成为 国际 社会 的 行动 共识 特别 是 今年 8 月 国务院 发布 的 促进 大数据 发展 行动 纲要 里面 明确 提出 要 全面 推进 我 国 大数据 的 发展 和 应用 加快 数据 强国 建设 在 这样 的 背景 下 举办 中国 大数据 技术 大会 促进 大数据 相关 的 新技术 推广 和 典型 应用 示范 更 显 及时 和 必要 为了 更好 地 讨论 大数据 技术 生态 系统 的 现状 和 发展 趋势 交流 大数据 技术 实践 经验 进一步 推进 大数据 技术创新 与 应用 展示 国内外 大数据 领域 的 最新 成果 本届 大会 在 全体 会议 之外 还 设置 了 政策法规 和 标准化 大数据 基础设施 数据库 深度 学习 金融 大数据 工业 与 制造 业 大数据 数据 市场 及 交易 医疗 健康 与 生物 大数据 网络 与 通讯 大数据 大数据分析 及 生态 系统 推荐 系统 大数据 安全 交通 与 旅游 大数据 互联 网 大数据 教育 大数据 社会 治理 大数据 等 16 个 分 论坛 涵盖 大数据 领域 最新技术 实践 和 最 热门 的 行业应用 紧跟 前沿 全面 剖析 开源 大数据 生态 演进 之路 近年来 大数据 技术 已经 在 互联网 运营商 IT 服务 提供商 以及 众多 传统 企业 中 落地 实践 在 全体 大会 主题 演讲 环节 海内外 顶级 专家学者 将 深入 探讨 数据 技 术 生态 系统 的 现状 和 发展 趋势 其中 CCF 大数据 专家 委员会 副 秘书长 启明星 辰 公司 副总 裁 潘 柱 廷 对 2016 年 大数据 技术 发展 趋势 做出 最新 解读 阿里巴巴 集团 CTO 王 坚 就 互联网 数据 和 计算 展开 深入 探讨 中国工程院 院士 高文 则 将 视角 关注 在 多媒体 大数据分析 与 搜索 领域 中国联通 集团公司 信息化 与 电子商务 事业 部副 总经理 总 架构 师范 济 安 带来 大数据 在 网络 与 通讯 领域 的 应用 实践 分享 针对 未来 的 业务 创新 所 需要 的 大数据 平台 来自 华为 和 IBM 的 专家 展示 他们 在 创新 实践 方面 的 最新技术 成果 另外 针对 时下 业内 最 受 关注 的 开源 大数据 计算 框架 Apache Spark 本届 大会 特邀 Databricks 公司 联合 创始人 Apache Spark 首席 架构 师 Apache Spark PMC 辛 湜 为 大家 分享 Spark 在 2016 年 最新 的 Roadmap 值得一提 的 是 今年 恰逢 数据库 诞生 五 十 周年 当前 高 吞吐量 的 需求 给 传统 数据库 带来 了 严峻 的 挑战 因此 本届 大会 特别 邀请 到 京东 云 平台 总 架构 师 系统 技术部 负责人 刘 海 锋 星环 科技 创始人 兼 CTO 孙 元 浩 Hadoop HBase 和 Th rift 项目 的 PMC 成员 和 Committer Kudu 的 发明人 Todd Lipcon 他们 围绕 新时代 的 数据库 展开 深入 讨论 同时 在 大会 的 主 会 环节 我们 还 有幸 邀请 到 中国移动 苏州 研发 中心 总经理 助理 兼 CTO 孙 少陵 普 元 信息 技术 股份有限 公司 CTO 焦 烈 焱 美国 密歇根 州立 大学 终身 教授 金 榕 他们 分别 从 自身 的 实践 出发 全面 剖析 开源 大数据 生态 系统 演进 之路 突出 数据 安全 深度分析 大数据 产学研用 无论 是 企业 或 组织 大数据 的 价值 毋庸置疑 在 大数据 时代 数据 安全 一直 备受 关注 如何 在 注重 数据 安全 的 前提 下 挖掘 数据 价值 成为 企业 和 组织 必须 解决 的 问 题 在 本届 大会 上 大会 组委会 特别 开设 了 数据 安全 论坛 邀请 顶尖 互联网 企业 的 技术 专家 深入 剖析 大数据 安全 问题 例如 来自 阿里巴巴 数据 安全部 阿里 数据 安 全 小组 总监 郑斌 将 演讲 主题 定 在 大数据 下 的 数据 安全 腾讯 的 安全 云 部 助理 总经理 李 旭阳 将 分享 如何 利用 大数据 打击 社工 诈骗 奇 虎 360 高级技术 经理 张 卓 将 探讨 数据 如何 驱动 安全 中 移 软件 大数据分析 与 挖掘 工程师 高家 凤 主要 的 演讲 方向 则 是从 技术 角度 阐释 电信 运营商 信息 安全 算法 研究 实践 另外 还有 来自 明略 数据 数 美 公司 启明星 辰 等 企业 的 负责人 或 CTO 就 数据 安全 在 大数据 领域 的 挑战 等 问题 展开 深入 讨论 不难 看出 本次 大会 将 安全 问题 提到 了 新 的 高度 在 大 数据 逐渐 落地 价值 逐渐 被 挖掘 的 背景 下 本届 大会 对 安全 的 探讨 必将 为 大数据 技术 的 健康 发展 指 明了 方向 同时 本届 大会 将 突出 深度分析 随着 企业 对于 数据挖掘 的 实践 趋于 深入 大数据 落地 后 的 挑战 逐渐 凸显 所以 本届 大会 上 无论 是从 由 CCF 大数据 专家 委员 会 百 余 位 专家 参与 的 2016 大数据 十大 发展 趋势 预测 以及 包括 中国 大数据 开放 共享 中国 工业 大数据 等 多个 篇章 的 2015 中国 大数据 技术 与 产业发展 报 告 都 深入 总结 了 各 大 企业 在 大数据 产学研用 方面 的 现状 和 趋势 当然 除此之外 在 政策法规 行业应用 大数据 基础设施 大数据 生态 系统 人工智能 与 深度 学习 互联 网 大数据 等 方面 大会 将 针对 大数据 生态 圈 的 相关 技术 热门 产业 行业应用 等 分门别类 邀请 顶级 专家 全面 剖析 深入 探讨 深入 垂直 行业应用 探讨 企业 大数 据实 践 大数据 再也 不是 一 句 空洞 的 口号 如果 本届 大会 有 关键词 的 话 那么 一定 是 应用 在 BDTC 2015 上 主办方 分别 设置 了 医疗 交通 教育 金融 通讯 制造业 社会 治理 等 行业应用 分 论坛 数 十 位 专家 将 为 与会者 分享 各个 垂直 行业 宝贵 的 应用经验 例如 在 医疗 健康 与 生物 大数据 论坛 上 来自 国防科技大学 计算机 学院 软件所 研究员 彭 绍 亮 将 为 我们 带来 天河 超级 计算 机上 的 生物医药 大数据 研究 在 交通 与 游 大数据 分 论坛 上 来自 神州 专车 首席 架构 师 李 思 将 分析 他们 的 时空 数据处理 实践 在 网络 与 通讯 大数据 论坛 上 华为 诺亚方舟 实验室 高级 研究员 曾 嘉 将 探讨 电信 大数据 的 关键 技术 挑战 在 金融 大数据 论坛 上 蚂蚁 金融服务 集团 副总 裁 兼 首席 数据 科学家 漆 远 的 报告 方向 定 在 蚂蚁 金 服 在 大数据 和 人工智能 的 实践 在 工业 与 制 造 业 大数据 分 论坛 上 宝钢 研究院 首席 研究员 教授级 高工 郭 朝晖 将 探讨 如何 让 需求 拉动 工 业 大数据 在 社会 治理 大数据 分 论坛 上 中国人 民公 安 大学 教授 反恐 学院 院长 反恐 研究中心 主任 梅 建 明将 探讨 大数据 与 恐怖主义 的 防范 等 话题 可以 说 本届 大数据 大会 将 涉及 大数据 技术应用 的 所有 产业 都 囊括 进来 邀请 学术界 产业界 以及 政府部门 等 众多 国内外 专家 从 不同 角度 系统 剖析 大数据 的 应用 现状 面临 挑战 解决 之 道 和 发展 大势 关注 新 领域 新技术 抢 占下 一波 科技 制高点 历届 中国 大数据 技术 大会 从来不 缺乏 对 新技术 新 趋势 的 关注 今年 以来 人工智能 迅猛 发展 前景 广阔 被 认为 是 继 云 计算 之后 的 下 一波 科技 浪潮 而 深度 学习 作 为 人工智能 不可或缺 的 关键 技术 环节 随着 各种 分布式 算法 的 实现 各种 优秀 大数据 计算 框架 的 开源 深度 学习 正 迎来 一个 高速 的 发展期 本届 大会 上 专门 设置 了 深度 学习 分 论坛 主办方 邀请 到 地平线 机器人 Horizon Robotics 高级工程师 余 轶 南 阿里巴巴 iDST 语音 组 高级 专家 鄢 志杰 微软 亚洲 研究院 研究员 洪 春 涛 华中科技大学 教授 白 翔 厦门大学 教授 纪 荣 嵘 等 专家 将 结合 学术 与 实践 应用 为 大家 带来 一 场 关于 深度 学习 的 饕餮 盛宴 另外 在 推荐 系 统分 论坛 上 还有 来自 百度 京东 新浪 freeWheel 猎 聘 网 的 技术 专家 将 带来 基于 大数据 技术 的 推荐 系统 实践 无论 是 人工智能 深度 学习 推荐 系统 大会 主办方 都 从 高 水平 高 规格 高质量 出发 力求 为 参会 人员 提 供 最前沿 的 技术 分享 把握 最新 的 技术 趋势 全面 抢占 新 一波 科技 制高点 大数据 时代 互联网 公司 掌握 着 大数据 技术 的 前沿 科技 在 本届 大会 上 的 互联 网 大数据 分 论坛 上 您 将 看到 大量 知名 互联网 机构 的 最新 实践 包括 百度 主任 架构 师 机器翻译 技术 负责人 何 中军 的 互联网 机器翻译 京东 商城 大数据 研发部 负责人 刘 彦 伟 的 京东 实时 数据 平台 的 实现 和 应用 滴滴 机器 学习 研究院 高级 研发 总监 刘威 的 移动 出行 的 大数据 挑 战 中国人民大学 副教授 窦 志成 的 大数据 时代 的 互联网 分析 引擎 国 双 技术 副总 裁 黄勇 坚 的 挖掘 用户 行为 大数据 中 的 金矿 北京 拓 尔 思 信息 技术 股份 有 限 公司 副总 裁 刘 瑞 宝 的 大数据 互联网 时代 政府 发展 的 引擎 微 众 税 银 联合 创始人 兼 COO 曾 源 的 政务 大数据 在 征信 领域 的 应用 等 除此之外 大会 期间 组委会 开设 了 各种 方便 互动 和 社交 的 交流 环节 和 场所 每 一 场 精彩 讲演 之后 都 可以 进行 深入 地 提问 和 讨论 同时 历经 八 届 BDTC 一如 既往 地 履行 着 高 规格 的 承诺 作为 大数据 技术 与 应用 深度 结合 的 新 起点 BDTC 2015 将 成为 产业界 科技界 与 政府部门 密切 合作 的 不可或缺 的 平台 为 推动 我 国 大数据 的 政 产学研用 做出 重要 贡献 在 百度 大数据 开放 大会 上 搞 计算机 学术 理论 的 怀 进 鹏 校长 的 演讲 犹如 给 所有 听众 的 一记 闷棍 怀 校长 的 学术 演讲 把 大家 弄 得 云 里 雾 里 把 所有人 弄 晕 了 现场 能 够 听懂 的 绝对 是 少数 可能 都 会 觉得 怀 校长 有点 像 个 外星人 一般 在 那 自顾自 的 演讲 但 我 作为 一个 曾经 有志 从事 人工智能 研究 但 失之交臂 的 又是 学 计算机 毕业 的 人 却 越 听 越 兴奋 冥冥中 似乎 找到 了 未来 的 人工智能 所 能 抵达 的 可能性 那么 我 现在 就 尝试 把 怀 教授 的 演讲 转换 为人 类 也 能够 听懂 的 语言 吧 理解 大数据 当前 大数据 的 四大 特征 规模大 变化 快 种类 杂 价值 密度 低 其实 这 理解 起来 很 简单 我们 来看 新浪 微 博 的 大数据 为什么 变现 那么 困难 就 知道 了 新浪 微 博 拥有 庞大 海量 的 用户 大数据 但 用 这些 行为 数据 变现 却 步履维艰 原因 就 在于 微 博 上 所 产生 的 数据 不够 垂直 涉及面 极 广 而 能够 与 商业 相关 的 价值 就 更加 难以 挖掘 了 产业 成果 怀 校长 列举 了 三 块 内容 百度 和谷 歌 熟悉 用户 浏览 行为 进而 提供 个性化 的 搜索 淘宝 亚马逊 因为 熟悉 用户 购物 习惯 可以 为 用户 提供 精准 的 喜好 物品 微 博 和 Twitter 了解 用户 思维 习惯 和 社会 认知 可以 为 国家 和 企业 提供 民众 情绪 等 系列 数据 实践 中 的 思维 转变 大数据 带给 我们 在 研究 以及 实践 策略 上 的 思维 转变 从 抽样 到 全 样 大数据 的 大 决定 了 大 而 全 的 特性 在 传统 工业 中教 会 我们 做 统计 的 最大 方式 就是 抽样 诸如 系统 抽样 分层 抽样 定额 抽样 这些 统计 方法 将 会 在 大数 据 时代 越来越 不复存在 大数据 的 信息化 可以 统计 到 一切 想要 统计 的 数据 将 工业 时代 的 统计 方法 淘汰 掉 我们 将 会 利用 技术 获得 一切 想要 统计 到 的 数据 从 精确 到 非 精确 关于 这 一 点 其实 也 很 好 理解 我们 就 拿 传统 时代 的 搜索 来说 在 传统 的 搜索 时代 当 我们 去 查询 某个 信息 时 我们 需要 得到 的 是 全部 的 数据 但是 搜索引擎 则 完全 改变 了 我们 这种 认识 搜索引擎 提供 的 只是 前 几 项 内容 而 这 几 项 内容 则 完全 满足 了 我们 的 信息 需求 搜索引擎 其实 在 做 的 是 一 套 模糊 算法 经过 一 系列 的 算法 计算 将 最 优秀 的 结果 带到 用户 面前 而 这种 结果 上 的 呈现 也 颠覆 了 传统 所 认知 的 对于 目标 的 定义 在 大 数据 时代 我们 追求 的 不再 是 绝对 目标 而是 一个 从 宏观 趋势 下推 导出 的 一些 模糊 的 不 精确 的 未知 目标 我们 将 追求 无限 的 近似 而 不是 绝对 的 正确 从 因果 到 关联 而 这 也 直接 导致 了 西方 又 产生 了 惊人 的 言论 理论 已 死 这是 继 上帝 之 死 人 之 死 作者 已 死 历史 的 终结 哲学 已 死 后 的 又 一 大胆 的 言 论 以往 的 决策者 要 想 决定 某 件 事 必须 参考 各种 理论 对 其中 的 因果 进行 判定 后 才能 达成 但是 大数据 时代 则 让 决策 变得 更加 容易 比如 超市 大数据 可能 会 用 晰 的 图表 告诉 你 每当 下雨天 时 超市 里 的 蛋糕 会 卖 的 多 这时候 决策者 根本 不 需要 知道 任何 理论 任何 因果 只 需要 在 天气预报 预测 明天 将要 下雨 时 提前 准备 蛋糕 就 行 了 而 这种 只 依赖 相关性 不再 依赖 因果性 的 决策 思想 正在 慢慢 的 渗透 到 拥有 大数据 的 各行各业 互联网 业 零售业 旅游业 金融业 大数据 到 大数据 计算 大数据 膨胀 如何 解决 搜索 问题 传统 的 算法 在 搜索 数据 时 完全 没有 问题 因为 数据 量 很小 但是 当 数据 海量 增 长时 问题 就 会 凸显 出来 用 原来 的 算法 去 计算 肯定 是 不行 的 按照 当前 最快 的 硬盘 检 索 速度 60 GPS 线性 扫描 完 1PB 1024 TB 的 数据 需要 1.9 天 的 时间 所以 当 数据 海量 膨胀 时 必须 重构 算法 策略 来 做 数据 的 处理 百度 目前 的 处理量 是 一 天 处理 10 PB 的 网页 数据 这 其中包括 了 运算 和 读取 算是 目前 最好 的 算法 了 大数据 膨胀 如 何处 理 算法 以及 数据 的 问题 上面 提到 的 是 通过 改变 算法 来 达到 遍历 数据 的 目的 但 是在 真正 处理 数据 时 依然 是 无法 做到 高效 的 毕竟 机器 CPU 的 运算 瓶颈 摆在 那里 算法 工程师 本质 上 在 做 的 事情 就是 在 现 有的 运算 条件 下 设计 出 最 优 方案 来 求得 最好 的 结果 而 怀 校长 告诉 我们 的 这个 挑战 就是 在 大数据 的 膨胀 后 不仅 要 将 原来 的 算法 更换 为 近似 算法 同样 还要 将 数据 更换 为 近似 数据 只有 二者 合力 改变 才 有 可能 在 现 有 机器 运算 能力 的 情况 下 抵达 最 优 的 结果 同样 是 说起 来 容易 做 起来 难 在 这样 的 近似 算法 以及 近似 数据 的 改变 下 到底 该 近似 到 何种 程度 才 能够 最 接近 原 算法 的 结果 要 知道 在 计算机 世界 里 差 之 毫 厘 失之千里 改变 的 量 也许 很小 但是 如果 一旦 改错 就 会 造成 巨大 的 错误 结果 稍 懂 程序 的 人 都 知道 几 行 简短 的 代码 就 能 让 无论 CPU 运算 能力 多 强 的 电脑 彻 底 死机 而 搜索引擎 则 更是 一个 更加 庞大 的 试 错 工程 最后 怀 校长 展示 了 两个 学术前沿 发展 第 一 是 定义 易 解 类 问题 从 现实 应用 中 找到 这 类 易 搜索 问题 将 之 归类 并 应用 于 其他 实践 当中 第 二 是 将 大数据 进行 小 数据处理 寻找 转化 的 精度 度量 也就是 他 之前 所说 的 寻找 数据 的 近似值 写 完 这 段 不禁 感慨 其实 算法 工程师 本质 上 是在 机器 CPU 条件 不够 的 情况 下 为 满足 大众 需求 的 博弈 机器 的 配置 条件 永远 无法 跟上 人类 的 需求 而 为了 满足 人类 需求 算法 工程师 们 必须 绞尽脑汁 的 去 设计 在 现有 条件 下 能够 产出 的 最 优 答案 而 不是 考虑 标准 答案 而 这 又 让 我 想到 了 深蓝 电脑 击败 国际象棋 大师 的 事情 事实 上 只要 是 懂 一些 程序 的 人 甚至 连 我 也 都 可以 写出 一 套 能够 击败 任何 国际象棋 大师 的 算法 只不过 要 想 下 完 一局 棋 可能 要 用尽 棋手 一生 时间 都 不止 因为 CPU 的 运 算 速度 无法 跟上 想法 所以 深蓝 电脑 的 胜利 本质 上 不是 人工智能 赢 了 而是 工程师 在 设计 最 优 算法 的 策略 上 赢 了 此外 在 大数据 计算 中 怀 校长 还 讲 了 大数据 运算 的 三大 基础 表示 度量 和 理解 因为 太 过 专业 解释 每 一个 词 都 足够 用 一 篇文章 来 解释 而且 还 不 一定 说 得 清 所以 在 此 略过 大数据 软件工程 作为 学 软件工程 出生 的 人 当 我 看 完 怀 校长 对 大数据 软件 的 演讲 后 有 一 种 莫名 的 伤感 因为 我 预 见到 我 曾经 所学 的 软件工程 必将 被 大数据 全部 重构 绝大多数 的 软 件 都 可能 走向 为 大数据 软件 这 就 好像 网页 崛起 后 网页 软件 的 数量 将 大幅 超过 PC 软件 一样 又 像 智能 手机 崛起 后 APP 软件 的 数量 开始 远 超 网页 软件 一样 等到 硬件 设施 成熟 之后 未来 的 软件开发 也 必将 会 是 大数据 的 天下 追溯 软件工程 的 起源 这 是在 计算机 硬件 条件 稳定 后 为了 解决 效率 问题 而 从 工程学 的 角度 来 建立 的 软件开发 方式 分工 明确 进度 安排 明确 和 其他 工业生产 别无二致 但 怀 校长 接下来 的 演讲 中 我们 可以 窥见 到 软件工程 有 可能 会 走向 另 一 种 模式 如何 解决 大数据 的 计算 支撑 问题 说 的 简单 点 就是 大数据处理 必然 不是 一 台 或者 几 台 服务器 就 能 搞定 的 小 事情 大数据处理 需要 庞大 的 硬件 支撑 硬件 支撑 也 必然 是 分布式 的 设计 那么 该 如何 设 计 顶层 的 系统 架构 才能 高效 能 的 满足 大数据 的 处理 工作 近似 性 Inexact 增量 性 Incremental 和 归纳 性 Inductive 的 3 I 特征 如何 被 满足 大数据 下 分布式 硬件 如何 与 软件 协同 如何 避免 扩展 失 度 处理 失效 和 耗能 失控 这些 都 是 令人 头 大 的 问题 在 系统 设计 上 充满 挑战 众 包 大数据 是否 可以 开发软件 这是 一个 非常 疯狂 的 想法 我 是 这样 解读 怀 校长 的 想法 的 假设 目前 我们 可以 做到 众 包 大数据 软件开发 那么 情形 应该 如下 大数据 爬行 机器 根据 读取 新浪 微 博 的 数据 百度 指数 的 数据 百度贴吧 的 数据 淘宝 的 交易 数据 后 发现 了 用户 的 各种 情绪 以及 需求 的 曲线 软件 开发者 再 根据 这些 数据 的 呈现 开发 出 一 套 软件 的 模型 然后 交给 运营商 放置 于 云端 而 用户 再 参与 进入 各种 云端 产生 的 软件 在 此种 产生 了 各种 行为 于是 机器 再 根据 这些 用户 的 行为 为 软件 建模 规划 这是 一 种 极为 精 尖 交互式 数据挖掘 技术 前提 是 解决 算法 以及 存储 问题 一切 皆 有 可能 未来 的 大数据 软件 将 不会 是 一 种 固有 形态 而是 一个 不断 根据 数据 自动 变 化 的 超级 生态 可能 不是 依靠 产品 经理 推动 而是 依靠 算法 工程师 来 推动 让 用户 的 需求 自然 暴露 然后 为 他们 去 实现 一些 功能 而 我 从 一个 更 高 的 哲学 层面 来看 这样 的 大数据 软件 建构 如果 我们 将 全人类 的 群体 行为 看成 是 不断 运作 产生 的 数据 然后 我们 某些 个体 从中 把握 了 某些 东西 进而 产 生 了 各种 产品 再 回过 来看 这样 的 大数据 软件 架构 其实 说到底 这样 的 大数据 软件 其实 更 像 是在 将 我们 的 世界 还原 出来 而已 只不过 会 比人 做 出来 的 更快 更 厉 害 更加 完美 如果 真的 能够 实现 这样 的 大数据 软件 建构 那么 目前 对 大数据 的 某种 定义 将 被 完全 推翻 在 我们 眼里 大数据 不过 是 用来 固定 的 人类 信息 行为 后 为人 类 辅助 的 决策 工 具 这样 的 观点 也 将 失效 大数据 或 许会 在 未来 某个 阶段 被 定义 为 对 人类 世界 的 真实 还原 并且 不断 的 满足 我们 的 任何 愿望 曾经 我们 依靠 它 来 决策 一些 事情 现在 我们 依靠 它 来 直接 抵达 我们 想要 做 的 事情 我们 所有 的 行为 都 已经 成为 我们 决策 的 一部分 这 其实 就是 超级 人工智能 了 结语 怀 校长 的 演讲 在 开头 部分 讲 了 大数据 在 这个 时代 对 我们 传统 思维 的 冲击 一些 价值观 的 建立 但是 接下 来讲 的 更多 的 不是 已经 成型 的 科研成果 更多 的 是 抛 出 问号 抛 出 还 没有 解决 的 难题 以及 一些 失败 的 尝试 还有 一些 没有 开始 尝试 的 假设 这 在 表面 上 看来 似乎 与 本次 演讲 的 主题 有些 唱反调 的 样子 但 仔细 想想 却 又 明白 CPU 的 计算 能力 永远 达 不到 这些 最 顶级 的 科研 人员 想要 的 高度 而 计算机 科学家 们 永远 只能 在 现 有的 条件 下 做 困 兽 斗 做出 在 这个 时代 所 能 赋予 的 条件 下 最 漂亮 的 成绩 而 这 就是 他们 一生 所 追求 的 使命 感谢 怀 校长 的 精彩 演讲 让 我们 看到 了 未来 的 零星 火花 很 美 大数据 时代 我们 还有 隐私 吗 大数据 对 个人 隐私权 的 影响 怎样 保护 网络 隐私权 Hubert 2014 发表 于 2013 05 15 08 00 随着 数字 信息 技术 的 不断 发展 网络 匿名 有 可能 会 变成 数学 上 不 可能 的 事 1995 年 欧盟 出台 的 隐私 法例 将 个人资料 定义 为 可以 直接 或 间接 识别 一 个人 的 信息 很 显然 当时 立法者 考虑 的 是 那些 带有 身份 标识号 的 文件资料 之类 的 东西 这些 标识号 就 好像 人 的 姓名 而 立法者 们 希望 它们 可以 得到 保护 如今 个人资料 这 一 定义 所 包含 的 内容 已经 远远 超出 当年 那些 立法 官员 的 想象 甚至 可以 轻易 地 超过 18 年前 他们 通过 这项 法例 时 整个 世界 的 数据 量 来看 看到 底 发生 了 什么 首先 这个 世界 每年 所 创造 的 数据 量 在 以 指数 形式 增长 去年 这 一 数字 则 达到 了 2.8 ZB 1ZB 1024 4GB 听 起来 就 很 可怕 的 数字 而且 据 知名 信息 行业咨询 服务商 IDC 称 这 一 数字 将 在 2015 年 翻 一番 此外 这些 数据 中 的 3 4 是由 个 体 人 在 创造 或 移动 数字 文件 时 贡献 的 举例来说 一个 标准 的 美国 上班族 每年 可以 贡献 180 万 MB 的 数据 量 平均 每天 则 有约 5000 MB 这 其中包括 下载 的 电影 文档 电邮 以及 这些 数据 通过 移动 或 非 移动 互联网 传播 时 所 产生 的 附加 数据 量 互联网 的 数据 量 进入 了 高速 增长期 图片 编译 自 MIT TechnologyReview 尽管 这 其中 的 大部分 数据 都 是 不 可见 的 似乎 也 并 不 携带 任何 个人 信息 但 事实 并非如此 现代 数据 科学 已经 发现 几乎 任何 类型 的 数据 都 能 用来 识别 创造 它 的 人 就 好比 指纹 一样 比如说 你 在 网上 下载 的 电影 你 的 手机 发出 的 定位 信息 甚至 是 你 被 监控 摄像机 所 拍 下来 的 步态 都 可以 用来 识别 你 实际上 数据 越多 其中 可 以 称得上 隐私 的 就 越 少 普林斯顿大学 的 计算机 科学家 阿尔 文德 纳拉亚南 Arvind Narayanan 称 只要 有 合理 的 商业 动机 来 推动 数据挖掘 的 进程 任何 形式 的 隐私 都 是 算法 上 不 可能 algorithmically impossible 的 可以 说 我们 已经 在 这 条 不 归路 上 越 走 越 远 那些 以往 被 我们 认为 是 个人资料 的 信息 姓名 或者 信用 卡号 如 今都 已经 被 安 客 诚 Acxiom 公司 这样 的 数据 代理商 用作 交易 它 拥有 500 多 万名 分布 在 世界各地 的 消费者 的 个人 信息 人们 在 填写 了 某些 调查表 或者 注册 了 一些 服务 后 相应 的 数据 就 进入 了 公共 领域 这 也 是 这些 代理商 的 数据 来源 安 客 诚 可以 利用 一些 信息 来 推测 你 的 生活方式 兴趣 爱好 和 日常 活动 比如 你 的 汽车 品牌 和 使用 时间 你 的 收入 和 投资 状况 你 的 年龄 受 教育 程度 以及 邮政编码 所有 这些 信息 可以 将 你 归类 为 70 种 不同 的 PersonicX 集群 中 的 一个 除此之外 你 最近 有 离 过 婚 吗 或者 你 刚刚 变成 了 一名 空巢 老人 这些 人 生 大事 更 可以 将 一 个人 从 一个 消费 阶层 转移 到 另 一个 而 这 正是 安 客 诚 及其 广告 客户 的 关键 兴趣 所在 安 客 诚 称 其 可以通过 分析 数据 来 预测 3000 种 不同 的 行 为 及 心理 倾向 比如说 一 个人 会 在 某 两个 品牌 间 做出 怎样 的 选择 虽说 听 起来 很 厉害 但 这些 数据 代理商 如今 已经 被 认为 是 过时 的 了 尤其 是 跟 Facebook 这样 的 互联网 公司 相比 Facebook 已经 可以 实现 对 个人 信 息 收集 的 自动化 与 实时 化 其 首 次 公开 募股 时 的 财务 档案 显示 Facebook 上 每位 用户 的 图片 和 视频资料 数据 量 约 为 111 MB 而 Facebook 的 用 户数 如今 已经 超过 了 10 亿 这 可是 整整 100 PB 1 PB 1024 2 GB 的 个人 信息 数据 在 一些 法律 案件 中 Facebook 所 记录 的 数据 也 派 上 了 用场 其中包括 涉案人 发 过 的 文字 信息 点 过 赞 的 东西 以及 所用 过 的 电脑 的 IP 地址 等 这些 资料 加 起来 足 有 800 页 这 800 页 就 又 给 每位 用户 增加 了 几 MB 的 数据 量 线 上 和 线下 的 数据 如今 正在 逐步 融合 进而 帮助 营销 人员 更 精准 地 进行 广告投放 这 也 是 众多 数字 隐私 拥护者 的 烦心事 今年 二月 Facebook 宣布 与 包括 安 客 诚 在内 的 多家 数据 代理商 展开 合作 通过 整合 各自 的 数据 资源 来 构造 现实 世界 与 虚拟 网络 之间 的 联系 一个月后 安 客 诚 的 首席 科学 官 在 一 次 投资者 会议 上 称 他们 的 数据 已经 与 全美 90% 的 社会 档案 建立 了 链接 这些 数据 往往 被 描述 为 在 某种 程度 上 具有 匿名 性 但是 牵涉 到 的 信息 越多 这样 的 说法 就 越 显 站不住脚 就 拿 移动通信 运营商 来说 他们 会 记录 用户 的 位置 和 手机号码 然后 再 将 这些 综合 数据 卖 给 商家 尽管 位置 数据 的 匿名 化 是 可以 实现 的 但是 来自 MIT 的 伊夫 亚历山大 Yves-Alexandre de Montjoye 和 塞萨尔 A 伊达尔戈 C sar A. Hidalgo 却 发现 只要 通过 同一 手机 的 四 个 不同 的 位置 数据 点 就 可以 精确 定位 其 拥有者 不 光是 移动通信 运营商 你 所用 的 浏览器 也 会 出卖 你 的 个人 信 息 就 连 最近 刚刚 兴起 的 可 穿戴 设备 如 Google Glass 也 被 认为 会 引起 隐私 担忧 毫无疑问 可以 获得 的 个人 数据 量 越多 其中 的 信息量 就 越 大 只要 拥有 了 足够 多 的 数据 我们 甚至 可能 发现 有 关于 一 个人 的 未来 信息 去年 来自 美国 罗彻斯特 大学 的 亚当 萨迪克 Adam Sadilek 和 来自 微软 实验室 的 工程师 约翰 克拉姆 John Krumm 发现 他们 可以 大致 预测 一 个人 未来 可能 到达 的 位置 最 多 可以 预测 到 80 周 后 其 准确度 高达 80% 为此 他们 收集 了 32000 天 里 307 个人 和 396 辆 车 的 GPS 数据 并 建造 了 一个 大规模 数据 集 两 人 想象 了 一下 这 一 研究成果 的 商业 应用 他们 说 到时候 会 出现 这样 的 广告 需要 理发 吗 四天 后 你 就 会 在 这家 发廊 周围 100 米内 届时 它 将 会 有 优惠 活动 哦 这 两 人 还 为 他们 的 系统 起 了 一个 名字 遥远 未来 Far Out 没错 这 也 正是 大数据 时代 下 的 个人 信息 将 带 我们 去 的 地方 杰 德 多明格斯 今年 26 岁 从未 上 过 大学 被 镀金 公司 的 算法 判定 为 编程 高手 而后 被 这家 新创 公司招聘 为 程序员 文 MATT RICHTEL 去年 夏天 26 岁 的 杰 德 多明格斯 Jade Domingues 收到 一 封 突如其来 的 邮件 旧金山 一家 初创 公司 请 他 去 面试 程序员 多明格斯 那个 时候 住在 加利福利亚 州 帕萨迪纳 市 一 间 租 来 的 屋子 里 信用卡 赊账 度日 他 正在 自学 编程 多明格斯 在 高中 表现 中等 也 没 想 过 要 上 大学 但是 在 云端 的 某处 有 那么 一 个人 他 认为 多明格斯 有 可能 是 个 天才 再 不济 也 是 块 未经 打磨 的 原 石 招 人时 使用 的 传统 指标 可能 有 错 大大 的 错 了 镀金 公司 的 首席 科学家 薇 薇 安 明 这样 评论 镀金 公司 的 创始人 卢卡 邦 马萨 和 希尔 罗德 德赛 希望 让 发现 优秀 程序员 的 过程 实现 自动化 那个 人 就是 卢卡 邦 马萨 Luca Bonmassar 他 通过 一 种 技术 发现 了 多明格斯 这 一技 术 将对 企业 如何 招聘 以及 优秀 的 人才 是否 在 此 过程 中 被 遗漏 提出 重要 的 问题 新 的 理念 让 人 把 目光 从 传统 的 人才 指标 上移 开来 一 点 比如 招募 者 一般 都 很 关心 的 麻省理工 大学 的 学位 谷 歌 公司 供职 的 经历 同事 或 友人 的 推荐 等等 同时 投入 更多 注意力 在 一 些 简单 的 概念 上面 这个 人 的 表现 如何 这个 人 能够 做 什么 能 不能 量化 分析 它 这项 技术 是 镀金 公司 Gild 的 产品 这是 一家 成立 不到 两 年 的 初创 企业 邦 马萨 是 联合 创始人 之一 类似 镀金 公司 这样 的 一小 批 新 公司 正 奔 着 这样 一个 目标 努力 那 就是 让 发现 有 才华 的 程序员 有着 巨大 的 市场 需求量 的 一个 群体 实现 自动化 他们 的 工作 属于 大数据 的 范畴 大数据 就是 利用 计算机 来 收集 和 分析 各种各样 的 信息 执行 许许多多 的 任务 不管 是 推荐 图书 在 网站 上 投放 有 针对性 的 广告 还是 预测 治疗 效果 或 股票 价格 让 算法 帮 你 发现 那些 未 被 人 发现 的 人才 近来 越来越 多 的 学者 和 企业家 将 大数据 应用 在 人力资源 管理 和 人才 搜寻 的 过程 中 创建 了 一个 叫做 劳动力 科学 的 新 领域 镀金 公司 在 做 的 便是 看看 这些 技术 是 否 也 可以 用来 预测 一个 程序员 在 工作 中 的 表现 镀金 公司 在 互联 网上 搜刮 线索 他 或 她 写 的 代码 得到 其他 程序员 的 好评 吗 这些 代码 是否 被 重用 这个 程序员 如何 交流 想法 他 或 她 在 社交 网站 上 如何 与 人 相处 镀金 公司 的 方法 在 很大 程度 上 还 仅仅 处于 初始 的 阶段 成效 如何 还 有待 检验 目前 关于 使用 大数据 来 进行 招聘 的 想法 有 存在 很多 建设性 的 争议 同样 存在 的 还有 兴奋 尤其 是在 那些 很 难 找到 优秀 人才 的 产业 镀金 公司 预期 今年 的 收益 大约 有 200 万 到 300 万 美元 并且 公司 已经 筹 得了 1000 万 美元 左右 的 融资 其中包括 LinkedIn 的 早期 投资人 风险 资本 家 马克 卡 凡 Mark Kvamme 的 一 大笔 钱 测试 或 使用 镀金 公司 的 技术 进行 招募 的 不乏 大牌 客户 包括 Facebook 亚马逊 沃尔玛 谷 歌 和 Twitter 企业 用 镀金 公司 的 技术 来 发掘 新 的 候选人 同时 也 评估 他们 已经 在 考虑 雇佣 的 人选 镀金 公司 自己 也 使用 这项 技术 他们 急需 能干 的 编程 人员 可 开出 的 薪资 又 抵 不过 大 一些 的 技术 公司 所以 才 找到 了 杰 德 算法 判定 杰 德 的 编程 分数 是 整个 南加州 最高 的 是 几乎 无人 能 敌 的 100 分 杰 德 是 谁 他 能 帮助 镀金 公司 吗 他 的 故事 又 告诉 了 我们 关于 现今 招聘 制度 和 任人唯贤 的 什么 能力 决定 一切 吗 硅谷 的 人 大多 认同 一些 特定 的 想法 比如 发展 效率 和 速度 是 好 的 技术 能够 解决 大部分 的 事情 变化 是 难免 的 动荡 没什么 好 害怕 或许 硅谷 人 最最 相信 的 一 条 就是 能力 决定 一切 但是 薇 薇 安 明 Vivienne Ming 却说 她 认为 硅谷 并 不 像 人们 想 的 那样 任人唯贤 薇 薇 安 明 从 2012 年 年底 开始 担任 镀金 公司 的 首席 科学家 她 认为 有 才华 的 人 被 忽视 错判 或 漏 选 是 常 有的 事 她 这样 想 部分 是 由于 她 自己 就 有 过 这样 的 经历 明 博士生 下来 是 男性 名叫 埃文 坎贝尔 史密斯 Evan Campbell Smith 他 是 一个 好 学生 还是 一名 出色 的 运动员 保持 着 高中 田径 三级跳远 和 撑杆 跳远 的 校级 记录 但 他 总 觉得 与 自己 的 身体 有着 某种 脱离 高中 毕业 后 埃文 经历 了 一 次 身份 危机 的 全面 爆发 他 的 大学 以 失败 告终 在 工作 之间 换来 换 去 想 过 自杀 跌 到 了 所谓 的 人生 最低谷 不过 他 并 没有 卡 在 那里 而是 再 一 次 弹 了 起来 在 27 岁 那 一 年 他 回到 学校 获 得了 加州 大学 圣地亚哥 分校 的 认知 神经科学 的 本科 学位 此后 又 先后 获 得了 卡耐基 梅隆 大学 的 心理学 和 计算 神经科 学 的 博士 学位 在 斯坦福大学 读 博士后 期间 他 开始 进行 性别 转变 并 在 2008 年 彻底 成为 薇 薇 安 明 博士 作为 一个 女人 明 博士 开始 注意 到 人们 对待 她 的 不同 有些 是 看起来 无伤大雅 的 小事 像是 男性 为 她 开门 也 有 让 她 烦心 的 事情 比如 学生 来 问 她 数学题 的 次数 比 她 还是 男性 时 要 少 了 男性 同事 和 工作 上 的 联系人 请 她 参加 社交 活动 比如 一 场 棒球 赛 的 次数 也 变 少 了 偏见 往往 以 人们 意识 不到 的 形式 体现 出来 明 博士 援引 了 一 项 耶鲁大学 研究人员 取得 的 发现 研究型 大学 的 教师 成员 在 描述 应聘 经理 职位 的 女性 求职者 时 认为 其 能力 相比 具有 同样 资格 的 男性 要 逊色 得 多 美国 国家 经济 研究局 公布 的 另 一 项 研究 发现 简历 上 名字 听 起来 像 黑人 的 求职者 收到 雇主 回电 的 几率 要 比 简历 上 有 一个 听 起来 像 白人 的 名字 的 求职者 难 上 很多 基本上 每个 人 都 同意 性别 长相 或者 名字 的 读音 不 应该 影响 聘用 决定 但 明 博士 把 任人唯贤 的 概念 更进一步 她 提出 那些 用来 筛选 人才 的 公认 标准 比如 在 哪 里 上 的 大学 之前 在 哪里 工作 过 同样 也 会 遗漏 人才 并 最终 成为 雇主 的 损失 招 人时 使用 的 传统 指标 可能 有 错 大大 的 错 了 她 说 对于 她 所说 的 这么 多 被 浪费 掉 的 人才 明 博士 的 应对 方法 是 制造 机器 来 尽可能 地 消除 人为 偏见 这 并 不是 说 传统 意义 上 的 那些 资格 应该 被 忽略 而是 加上 她 认为 更 复杂 的 措施 予以 均衡 总体而言 镀金 公司 的 算法 分析 一个 人时 要 处理 三 百 来 个 主要 变量 常 逛 的 网站 描述 各种 技术 时 使用 的 语言 类型 积极 还是 消极 在 LinkedIn 上 的 技能 自述 参与 过 哪些 项目 都 干 了 多久 还有 没错 在 哪里 上 的 学 学 的 什么 专业 这 所 学校 当年 在 美国 新闻 与 世界 报道 上 排名 是 多少 在 数据 中 找 淘金 镀金 公司 并 不是 唯一 在 信息 中 淘金 的 公司 另 一家 旧金山 的 初创 公司 人才 回收站 TalentBin 也 在 互联 网上 搜索 有 才华 的 程序员 根据 该 公司 的 网站 介绍 TalentBin 在 程序员 聚集 的 网站 网络 人才 收集 数据 废气 为 雇主 创建 潜在 的 招聘 名单 另外 一家 竞争 对手 是 绝妙 招聘 Remar kableHire 这家 公司 评估 个人 能力 的 方式 是 看 他 或 她 在 网上 的 成果 被 人 评分 如何 还有 ENTELO 这家 公司 试图 找出 有 可能 在 找工作 的 人 甚至 在 这些 人 自己 开始 找工作 之前 就 把 他们 找 出来 据 其 网站 介绍 ENETLO 使用 超过 70 个 变 量 来 找出 职业 变化 的 迹象 比如 一 个人 在 社交 网站 上 展示 自己 的 方式 该 网站 写道 我们 处理 数据 节省 你 的 精力 英国 数据分析 公司 Altimeter Group 的 负责 数据 和 分析 产业 的 分析师 苏珊 艾特 琳 Susan Etlinger 表示 这样 在 招聘 时 应用 大数据 绝对 值得 一 试 不过 她 对 算法 是否 改进 了 雇主 已经 在 做 的 事情 比如 收集 简历 或 推荐信 使用 传统 上 与 成 功 相关 的 指标 等等 提出 了 疑问 缺乏 实际 结果 她 说 说 概率 就 等于 现实 还 不能 说服 我 大数据 公司 QUID 的 共同 创始人 和 首席 技术 官 肖恩 古尔 利 Sean Gourley 表示 筛查 数据 可以 为 招聘 提供 信息 但 前提 是 使用 时 要 了解 数据 不能 揭露 的 信息 大数据 有 大数据 的 偏见 他 说 你 衡量 你 能 测量 的 同时 你 低估 了 测量 不了 的 东西 像是 直觉 和 感召力 古尔 利 补充 说 当 你 把 人 从 复杂 决策 里面 排除 掉 以后 你 可以 把 算法 优 化成 神 但 代价 又是 什么 呢 明 博士 没有 说 要 消除 人 的 判断 但 她 确实 认为 招聘 该 由 计算机 做主 就 像 一个 自动 人才 吸收 和 筛 检 器 一样 镀金 公司 已经 积累 了 一个 有 700 万 程序员 资料 的 数据 库 并 根据 所谓 的 镀金 公司 得分 对 他们 进行 了 排名 该 公司 表示 镀金 公司 得分 是 一 种 衡量 一 个人 可以 做 什么 的 方法 最终 的 目标 明 博士 希望 能 拓宽 算法 使 其 可以 用于 搜索 和 评估 各种 类型 的 劳动力 比如 网站 设计师 金融 分析师 甚至 零售店 的 销售 人员 我们 自己 内部 也 挖 到 了 一座 金矿 明 博士 说 我们 发现 了 在 洛杉矶 这个 捣鼓 电脑 的 孩子 她 说 的 是 杰 德 一个 被 算法 发现 的 人 多明格斯 在 洛杉矶 长大 在 五 个 孩子 中 排行 第 三 妈妈 是 家庭 主妇 爸爸 是 电信 设备 的 安装工 是 一个 注重 教育 的 蓝领 杰 德 的 成长 轨迹 却 很 叛逆 高中 读 了 一半 之前 一直 是 全优生 的 小 多明格斯 开始 思考 上学 到底 是 为了 达标 还是 为了 真正 的 学习 价值 主张 value proposition 上学 是 为了 找 个 好 工作 他 对 我 说 但 冷静 想 你 上学 难道 不 该是 为了 学习 吗 杰 德 的 成绩 大幅 下降 他 给 我 说 他 从 阿 罕布 拉高 中 毕业 时平 均分 还 不到 3.0 他 不但 不想 上 大学 还 想 证明 他 不 上 大学 也 一样 能 超级 成功 他 阅读 了 大量 的 创业 书籍 开 了 一家 在 T恤 印刷 定制 图案 的 公司 先是 在家 里 干 后来 搬 到 了 一 间 租 来 的 将近 100 平米 的 仓库 里 他 认为 他 还 需要 一个 网站 于是 自学 起 了 编程 我 当时 拼命 用 我 自己 的 优点 证明 自己 他 说 他 承认 自己 可能 做 得 有点儿 太 过 了 为了 证明 人们 错 了 而 去 做事 情 是 不 太 成熟 的 表现 他 的 胳膊 上 有 一个 纹身 是 花 体 写 的 相信 Believe 现在 他 觉得 这 有些 可笑 不过 仍旧 认为 自己 能 做到 他 想 做 的 事情 在 说 到 计算机 语言 的 时候 他 说 代码 最 棒 的 一 点 在于 很大 程度 上 是 靠 能力 驱动 的 不 看 你 学 过 什么 只 看 你 学到 了 什么 当 镀金 公司 开始 招 人时 它 假定 旧金山 和 硅谷 地区 的 人才 都 已经 被 挑拣 干净 了 于是 公司 让 其 算法 跑 了 一 遍 南加州 的 信息 得出 了 一 系列 的 程序员 排 在 头 一个 就是 多明格斯 他 GitHub 网站 上 有 一个 非常 坚实 的 声誉 GitHub 网站 是 软件开发 人员 聚集 的 地方 他们 在 这里 共享 代码 交流 思想 建立 名望 镀金 公司 就 在 GitHub 以及 BitBucket Google Code 等 其他 少数 几 个 网站 上 梳理 信息 寻找 干 这 行 的 聪明人 多明格斯 的 成绩斐然 他 为 一个 Jekyll-Bootstrap 写 的 代码 建网 站 时 会 用到 的 一个 功能 得到 了 1267 位 其他 网站开发 人员 的 重用 给 人 留 下 了 很 深刻 的 印象 他 的 语言 和 习惯 显示 出 对 产品 研发 的 热情 和 对 多种 编程工具 的 酷爱 比如 Rails 和 JavaScript 这 都 是 镀金 公司 有用 的 他 的 博客 和 Twitter 上 的 发言 表明 他 固执己见 正是 镀金 公司 希望 其 初创 成员 所 具备 的 一 点 镀金 公司 的 招聘 人员 给 他 发出 了 电子邮件 让 他 来 旧金山 面试 公司 的 两位 创始人 见到 了 一个 富有 魅力 充满 自信 的 年轻人 举止 从容 善于 表达 有 想法 笑 容 很 亲切 比 其他 来 面试 的 应聘者 多 些 棱角 镀金 公司 的 另 一 位 联合 创始人 兼 首席 执行官 希尔 罗伊 德赛 Sheeroy Desai 说 多明格斯 穿 了 一 件 亮 绿色 的 帽 衫 去 面试 他 问 了 一些 尖锐 的 问题 比如 公司 在 这些 工程师 不 知情 的 情况 下 给 他们 打分 是否 担心 这 会 被 视为 侵犯 隐私 镀金 公司 不 这么 认为 多明格斯 也 不 相信 镀金 公司 称 它 使用 的 都 是 公开 的 信息 他们 也 问 了 他 一些 很 针对 但 也 很 温和 的 问题 比如 能否 在 有 组织 的 环境 中工 作 他 说 他 能 公司 当即 就 签 下 了 多明格斯 而 他 得到 了 一 份 年薪 在 11.5 万 美元 左 右 的 工作 他 是 一个 典型 的 脑袋 灵光 积极性 很 高 的 人 但 不管 出于 什么样 的 原因 在 高中 时 没 调动 起来 没 看见 大学 的 价值 德赛 说 德赛 先生 倒是 上 了 大学 读 的 是 麻省理工 大学 极 受用 人 单位 推崇 的 院校 之一 德赛 说 他 是在 那里 学会 了 如何 应对 压力 与 才华横溢 的 人 共事 时不时 的 自 叹 不 如 虽然 在 学校 里 学 的 东西 都 很 重要 但 他 说 这 并 不是 事情 的 全部 虽然 拥有 计算机 科学 的 学位 但 他 很 肯定 地 说 我 是 个 很 烂 的 开发 人员 大数据 招聘 有 多 靠 谱 人力资源 管理方 面的 专家 加州大学洛杉矶分校 的 教授 大卫 列文 David Lewin 说 问 一 个人 能 做到 什么 是 一个 重要 的 问题 而 问 他 能 不能 和 其他人 一起 完成 也 同样 重要 列文 博士 说 预测 一 个人 在 一个 组织 中 有 何 表现 最 可 的 方法 便是 让 已经 在 那里 工作 的 人 进行 推荐 现任 员工 了解 公司 文化 而且 推荐 不好 他们 自己 的 名声 和 工作 环境 也 会 受 牵连 耶鲁大学 管理学院 最近 利用 大数据 进 行 的 一 项 研究 细化 了 现有 认识 员工 推荐 是 招 到 好 员工 一个 好 方法 但 这种 方法 往往 在 推荐人 本身 工作 效率 很 高 的 情况 下 效果显著 在 列文 博士 看来 他 很 怀疑 算法 能 彻底 取代 一名 可靠 雇员 的 恰当 推荐 镀金 公司 的 客户 里 有 一家 叫 Square 的 公司 的 业务 是 做 移动 支付 系统 像 其他 许多 高科技 企业 一样 Square 也 在 大肆 招 人 该 公司 的 人力资源 总监 布莱 恩 鲍尔 Bryan Power 在 硅谷 打拼 多年 根据 他 的 说法 现在 对于 优秀 人才 的 竞争 跟 dot com 热潮 那会儿 一样 激烈 斯坦福 出来 的 或 在 谷 歌 工作 过 是 一个 极好 的 指标 鲍尔 说 他们 有名 是 有道 理 的 但 这些 种子 人选 有的 选项 很多 他们 不 一定 选择 Square 我们 需要 在 更 大 的 池子 里 撒网 他 说 而 这 就是 镀金 公司 在 做 的 事情 镀金 公司 的 技术 为 Square 找出 了 一些 候选人 但 目前 还 没有 签 下来 的 鲍尔 先生 说 镀金 公司 的 算法 给出 的 是 一个 泛化 的 编程 分数 与 Square 要 来 填补 职位 空缺 的 要求 不是 那么 具体 镀金 公司 对 谁 有 能力 有 它 的 看法 但 事情 并 不是 那么 简单 他 说 同时 表示 Square 正在 和 镀金 公司 洽谈 优化 模型 尽管 目前 来说 用处 有限 但 鲍尔 表示 镀金 公司 在 做事 情 是 一个 大 事件 的 开始 如今 年轻 的 工程师 更多 地 在 网上 发布 他们 的 工作成果 参与 开放 源码 工作 提供 更多 可用 来 挖掘 原 石 的 数据 这 全都 是 为了 发掘 未 被 发现 的 人才 他 说 德赛 说 多明格斯 在 镀金 公司 工作 了 8 个 月 已经 证明 了 他 是 一个 有 才华 的 程序员 但 他 也 表示 多明格斯 有时候 要 竭力 才能 在 一个 结构化 的 环境 中工 作 当 他 坐在 电脑 前 同事 都 尽量 不 去 打扰 他 在 会议 上 多明格斯 会 踊跃 发言 他 比 以前 更快 活 他 说 只要 我 能 在 搭建 系统 的 过程 中 有 发言权 要不然 就 又 成 了 一个 他 只能 遵从 的 系统 他 还 小小 地 抱怨 了 公司 的 扩张 在 过去 6 个 月中 镀金 公司 已经 从 10 个人 扩大 到 40 人 添加 了 管理层 和 官样文章 事实 是 我 的 性格 就是 要 按照 自己 的 方式 做事 最终 我 难免 要 自己 开 公司 多明格斯 说 不过 他 又 立即 补充 说 我 很 感激 和 敬重 公司 给 我 的 机会 我 很 楚 他们 因为 我 的 能力 雇佣 了 我 对此 我 将 永远 心怀 感激 明 博士 说 多明格斯 这个 年轻人 是 一个 伟大 的 发现 同时 也 是 一个 未知数 当然 他 只是 一个 例子 既 不能 用于 支持 也 不能 拿来 反驳 这种 新 的 方法 他 总是 带 着 那种 独行 狼 的 作风 明 博士 说 初期 还好 但 后来 可能 会 变得 很难说 算法 在 测量 它 可以 测量 的 东西 上面 表现 出色 它 算 准 了 多明格斯 与 电脑 打交道 的 能力 还 不 确定 的 是从 长远 看 他 将 如何 使用 他 的 天赋 与 人 一起 工作 数据 之 舞 大数据 与 数据挖掘 斯诺登 泄露 了 什么 秘密 大数据 会 暴露 隐私 吗 什么 是 数据挖掘 秦 鹏 发表 于 2013 08 25 19 40 文 David J. TenenBaum 泄密 者 爱德华 斯诺登 Edward Snowden 还 在 寻求 容身 之 所 的 时候 美国国家安全局 NSA 全方位 收集 电话 和 电子邮件 记录 之事 经过 他 的 披露 已经 引发 了 不安 和 愤怒 奥巴马 当局 声称 监听 数据 带来 了 安全 然而 左翼 和 右翼 都 在 谴责 这种 窥探 行为 是 对 隐私 的 侵犯 数据 不是 信息 而是 有待 理解 的 原材料 但 有 一 件 事 是 确定无疑 的 当 NSA 为了 从 其 海量 数据 中 挖掘 出 信息 耗资 数 十 亿 改善 新 手段 时 它 正 受益 于 陡然 降 落 的 计算机 存储 和 处理 价格 麻省理工学院 的 研究者 约翰 古塔 格 John Guttag 和 柯林 斯 塔 尔兹 Collin Stultz 创建 了 一个 计算机 模型 来 分析 之 心脏病 病患 丢弃 的 心电图 数据 他们 利用 数据挖掘 和 机器 学习 在 海量 的 数据 中 筛选 发现 心电图 中 出现 三类 异常 一 年内 死 于 第 二 次 心脏病 发作 的 机率 比 未 出现 者 高一 至 二 倍 这种 新 方法 能够 识 别出 更多 的 无法 通过 现 有的 风险 筛查 被 探 查出 的 高危 病人 图片 来源 Jason Grow 2012 Human Face of Big Data 数据挖掘 这 一 术语 含义 广泛 指代 一些 通常 由 软件 实现 的 机制 目的 是从 巨量 数据 中 提取 出 信息 数据挖掘 往往 又 被 称作 算法 威斯康星 探索 学院 主任 大卫 克拉 考尔 David Krakauer 说 数据 量 的 增长 以及 提取 信息 的 能力 的 提高 也 在 影响 着 科学 计算机 的 处理 能力 和 存储 空间 在 呈 指数 增长 成本 却 在 指数 级 下降 从 这个 意义 上 来讲 很多 科学研究 如今 也 遵循 摩尔 定律 在 2005 年 一块 1TB 的 硬盘 价格 大约 为 1 000 美元 但是 现在 一 枚 不到 100 美元 的 U 盘 就 有 那么 大 的 容量 研究 智能 演化 的 克拉 考尔 说 现 下关 于 大数据 和 数据挖掘 的 讨论 之所以 发生 是 因为 我们 正 处于 惊天动地 的 变革 当中 而且 我们 正 以前 所 未有 的 方式 感知 它 克拉 劳尔 说 随着 我们 通过 电话 信用卡 电子商务 互联网 和 电子邮件 留下 更多 的 生活 痕迹 大数据 不断 增长 的 商业 影响 也 在 如下 时刻 表现 出来 你 搜索 一 条 飞往 塔斯 卡 鲁萨 的 航班 然后 便 看到 网站 上 出现 了 塔斯 卡 鲁萨 的 宾馆 打折 信息 你 观赏 的 电影 采用 了 以 几十万 G 数据 为 基础 的 计算机 图形图像 技术 你 光顾 的 商店 在 对 顾客 行为 进行 数据挖掘 的 基础 上 获取 最大化 的 利润 用 算法 预测 人们 购票 需求 航空公司 以 不可 预知 的 方式 调整 价格 智能 手机 的 应用 识别 到 你 的 位置 因此 你 收到 附近 餐厅 的 服务 信息 大数据 在 看着 你 吗 除了 安全 和 商业 大数据 和 数据挖掘 在 科研 领域 也 正在 风起云涌 越来越 多 的 设备 带 着 更加 精密 的 传感器 传回 愈发 难以 驾驭 的 数据流 于是 人们 需要 日益 强大 的 分析 能力 在 气象学 石油勘探 和 天文学 等 领域 数据 量 的 井喷 式 增长 对 更 高层次 的 分析 和 洞察 提供 了 支持 甚至 提出 了 要求 2005 年 6 月 至 2007 年 12 月 海洋 表面 洋流 示意图 数据源 海面 高度 数据 来自 美国航空航天局 NASA 的 Topex Poseidon 卫星 Ja son 1 卫星 以及 海 形 图 任务 Jason 2 卫星 测高仪 重力 数据 来自 NASA 德国 航空航天 中心 的 重力 恢复 及 气候 实验 任务 表面 风压 数据 来自 NA SA 的 QuikScat 任务 海平面 温度 数据 来自 NASA 日本 宇宙 航空 研究开发 机构 的 先进 微波 扫描 辐射计 地球 观测 系统 海冰 浓度 和 速度 数据 来自 被动 微波 辐射计 温度 和 咸 度 分布 来自 船 载 系泊 式 测量仪器 以及 国际 Argo 海洋 观测 系统 这 幅 2005 年 6 月 至 2007 年 12 月 海洋 表面 洋流 的 示意图 集成 了 带有 数值 模型 的 卫星 数据 漩涡 和 窄 洋流 在 海洋 中 传送 热量 和 碳 海洋 环流 和 气候 评估 项目 提供 了 所有 深度 的 洋流 但 这里 仅仅 使用 了 表层 洋流 这些 示意图 用来 测量 海洋 在 全球 碳 循环 中 的 作用 并 监测 地球 系统 的 不同 部分 内部 及 之间 的 热量 水 和 化学 交换 在 医学 领域 2003 年 算是 大数据 涌现 过程 中 的 一个 里程碑 那 一 年第 一 例 人类 基因组 完成 了 测序 那次 突破性 的 进展 之后 数以千计 人类 灵长类 老鼠 和 细 菌 的 基因组 扩充 着 人们 所 掌握 的 数据 每个 基因组 上 有 几十亿 个 字母 计算 时出 现 纰漏 的 危险 催生 了 生物 信息 学 这 一 学科 借助 软件 硬件 以及 复杂 算法 之 力 支撑 着 新 的 科学 类型 精神障碍 通常 是 具体 病例 具体 分析 但是 一 项 对 150 万名 病人 病例 的 研究 表明 相当 多 的 病人 患有 超过 同一 种 疾病 芝加哥大学 的 西尔维奥 康特 中心 利用 数 据 挖掘 理解 神经 精神障碍 的 成因 以及 之间 的 关系 好几 个 研究 团队 都 在 致力于 这个 问题 的 解决 中心 主任 安德烈 柴 斯基 Andrey Rzhetsky 说 我们 正 试图 把 它们 全部 纳入 模型 统一 分析 那些 数据 类型 寻找 可能 的 环境 因素 图片 来源 Andrey Rzhetsky 芝加哥大学 另 一 例 生物 信息 学 的 应用 来自 美国 国家 癌症 研究所 该所 的 苏珊 霍尔 贝克 Susan Holbeck 在 60 种 细胞系 上 测试 了 5000 对 美国 食品 和 药品 管理局 批准 的 抗癌 药品 经过 30 万 次 试验 之后 霍尔 贝克 说 我们 知道 每种 细胞系 里面 每 一 条 基因 的 RNA 表达 水平 我们 掌握 了 序列 数据 蛋白质 数据 以及 微观 RNA 表达 的 数据 我们 可以 取用 所有 这些 数据 进行 数据挖掘 看 一 看 为什么 一 种 细 胞 系 对 混合 药剂 有 良好 的 反应 而 另 一 种 没有 我们 可以 抽取 一对 观察 结果 开发 出 合适 的 靶向 药品 并 在 临床 测试 互联 网上 的 火眼金睛 当 医学家 忙于 应对 癌症 细菌 和 病毒 之 时 互联 网上 的 政治 言论 已 呈 燎原之势 整个 推 特 圈 上 每天 要 出现 超过 5 亿 条 推 文 其 政治 影响力 与日俱增 使 廉洁 政府 团 体 面临 着 数据挖掘 技术 带来 的 巨大 挑战 印第安纳 大学 Truthy 意 可信 项目 的 目标 是从 这种 每日 的 信息 泛滥 中 发掘 出 深层 意义 博士后 研究员 埃米 利奥 费拉拉 Emilio Ferrara 说 Truthy 是 一 种 能 让 研究者 研究 推 特 上 信息 扩散 的 工具 通过 识别 关键词 以及 追踪 在线 用户 的 活动 我们 研究 正在 进行 的 讨论 Truthy 是由 印第安纳 研究者 菲尔 孟 泽 Fil Menczer 和 亚力 桑德罗 弗拉米尼 Alessandro Flammini 开发 的 每 一 天 该项 目的 计算机 过滤 多 达 5 千 万条 推 文 试图 找出 其中 蕴含 的 模式 大数据 盯 着 bigdata 意为 大数据 这些 是在 推 特 上 发布 过 bigdata 的 用户 之间 的 连接 用户 图标 的 尺寸 代表 了 其 粉丝 数 多寡 蓝 线 表 示 一 次 回复 或者 提及 绿 线 表示 一个 用户 是 另 一个 的 粉丝 图片 来源 Marc Smith 一个 主要 的 兴趣 点 是 水军 费拉拉 说 协调 一致 的 造势 运动 本 应 来自 草根 阶层 但 实际上 是由 热衷 传播 虚假 信息 的 个人 和 组织 发起 的 2012 年 美国 大选 期间 一 系列 推 文声 称 共和党 总统 候选人 米特 罗姆尼 Mitt Romney 在 脸谱 网上 获 得了 可疑 的 大批 粉丝 调查者 发现 共和党 人和 民主党人 皆 与 此事 无关 费拉拉 说 幕后 另有 主使 这是 一 次 旨在 令 人们 相信 罗 姆 尼 在 买 粉 从而 抹黑 他 的 造势 运动 水军 的 造势 运动 通常 很 有 特点 费拉拉 说 要 想 发起 一 场 大规模 的 抹黑 运动 你 需要 很多 推 特 账号 包括 由 程序 自动 运行 反复 发布 选定 信息 的 假 账号 我 们 通过 分析 推 文 的 特征 能够 辨 别出 这种 自动 行为 推 文 的 数量 年复一年 地 倍增 有 什么 能够 保证 线 上 政治 的 透明 呢 我们 这个 项目 的 目的 是 让 技术 掌握 一 点 这样 的 信息 费拉拉 说 找到 一切 是 不 可能 的 但 哪怕 我们 能够 发现 一 点 也 比 没有 强 头脑 里 的 大数据 人脑 是 终极 的 计算 机器 也 是 终极 的 大数据 困境 因为 在 独立 的 神经元 之间 有 无数 可能 的 连接 人类 连接 组 项目 是 一 项 雄心勃勃 地 试图 绘制 出 不同 脑 区 之间 相互 作 用 的 计划 除了 连接 组 还有 很多 充满 数据 的 组 基因组 由 DNA 编码 的 或者 由 RNA 编码 的 比如 病毒 全部 基因 信息 转录 组 由 一个 有机体 的 DNA 产生 的 全套 RNA 读数 蛋白质 组 所有 可以 用 基因 表达 的 蛋白质 代谢 组 一个 有机体 新陈代谢 过程 中 的 所有 小 分子 包括 中间 产物 和 最终 产物 连接 组 项目 的 目标 是 从 1 200 位 神经 健康 的 人身 上 收集 先进 的 神经 影像 数据 以及 认知 行为 和 人口 数据 圣路易斯市 华盛顿大学 的 连接 组 项目 办事处 的 信息 学 主任 丹尼尔 马库斯 Daniel Marcus 说 项目 使用 三 种 磁共振 造影 观察 脑 的 结构 功能 和 连接 根据 马库斯 的 预期 两 年 之后 数据 收集 工作 完成 之 时 连接 组 研究人员 将 埋首 于 大约 100 万 G 数据 20 名 健康 人类 受试者 处于 休息 状态 下 接受 核磁共振 扫描 得到 的 大脑皮层 不同 区域 间 新陈代谢 活动 的 关联 关系 并用 不同 的 颜色 表现 出来 黄色 和 红色 区域 在 功能 上 与 右半 脑 顶叶 中 的 种子 位置 右上角 黄斑 相关 绿色 和 蓝色 区域 则 与 之 关联 较 弱 或者 根本 没有 关联 图片 来源 M F Glasser and S M Smith 绘制 脑 区 分布 图 的 分区 是 一 项 关键 的 任务 这些 脑 区 最早 于 两 到 三世纪 之前 通过 对 少量 大脑 染色 被 识别 出来 我们 将 拥有 1 200 个人 的 数据 马库斯 说 因此 我们 可以 观察 个人 之 间脑 区 分布 的 差别 以及 脑 区 之间 是 如何 关联 的 为了 识别 脑 区 之间 的 连接 马库斯 说 我们 在 受试者 休息 时 获取 的 扫描 图中 观察 脑 中 的 自发 活动 在 不同 区域 之间 有 何 关联 比如 如果 区域 A 和 区域 B 自发 地 以 每秒 18 个 周期 的 频率 产生 脑波 这 就 说明 它们 处于 同一 网络 中 马库斯 说 我们 将 利用 整个 大脑 中 的 这些 关联 数据 创建 一个 表 现出 脑 中 的 每 一个 点 如 何 与 其他 每 一个 点 关联 的 矩阵 这些 点将 比 磁共振 成像 无法 看到 的 细胞 大 得 多 星系 动物园 把 天空 转包 给 大众 星系 动物园 项目 打破 了 大数据 的 规矩 它 没有 对 数据 进行 大规模 的 计算机 数据挖掘 而是 把 图像 交给 活跃 的 志愿者 由 他们 对 星系 做 基础性 的 分类 该 项目 200 7 年 启动 于 英国牛津 当时 天文学家 凯文 沙文 斯基 Kevin Schawinski 刚刚 蹬 着眼 睛 瞧 完了 斯隆 数字 巡天 计划 拍摄 的 5 万 张 图片 阿拉巴马 大学 天文学 教授 星系 动物园 科学 团队 成员 威廉 基尔 William Keel 说 沙文 斯基 的 导师 建议 他 完成 95 万 张 图像 他 的 眼睛 累 得 快要 掉 出 眼窝 了 便 去 了 一家 酒馆 他 在 那里 遇到 了 克里斯 林 托特 Chris Lintott 两 人 以 经典 的 方式 在 一 张 餐巾 的 背面 画 出 了 星系 动物园 的 网络结构 星系 是 一个 经典 的 大数据 问题 一 台 最先 进 的 望远镜 扫描 整个 天空 可能 会 看到 2000 亿 个 这样 的 恒星 世界 然而 一 系列 与 宇宙学 和 星系 统计学 相关 的 问题 可以通过 让 许多 人 做 相当 简单 的 分类 工作 得以 解决 基尔 说 五 分钟 的 辅导 过后 分类 便是 一 项 琐碎 的 工作 直到 今日 也 并 不 适合 以 算法 实现 星系 动物园 的 启动 相当 成功 用户 流量 让 一 台 服务器 瘫痪 了 基尔 说 斯隆 巡天 的 全部 95 万 张 图片 平均 每张 被 看过 60 次之 后 动物园 的 管理者 们 转向 了 更 大规模 的 巡天 数据 科学 受益匪浅 基尔 说 我 的 很多 重要 成果 都 来自 人 们 发现 的 奇怪 物体 包括 背光 星系 这是 星系 动物园 志愿者 们 发现 的 差不多 2000 个 背光 星系 之一 它 被 其后 方 的 另 一个 星系 照亮 来自 背后 的 光 令 前景 星系 中 的 尘埃 清晰 可辨 星际 尘埃 在 恒星 的 形成 中 扮演 了 关键 的 角色 但 它 本身 也 是由 恒星 制造 的 因此 检测 其 数量 和 位置 对于 了解 星系 的 历史 至关重要 图片 来源 WIYN 望远镜 Anna Manning Chris Lintott William Keel 星系 动物园 依赖 统计学 众多 观察者 以及 处理 检查 数据 的 逻辑 假如 观察 某个 特定 星系 的 人 增加 时 而 认为 它 是 椭圆 星系 的 人数 比例 保持 不变 这个 星系 就 不 再 被 观察 了 然而 对 一些 稀有 的 物体 基尔 说 你 可能 需要 40 至 50 名 观察者 大众 科学 正在 发展 自己 的 法则 基尔 补充 道 志愿者 们 的 工作 已经 对 一个 真实 存在 的 重大 问题 做出 了 贡献 是 现存 的 任何 软件 都 无法 实现 的 鼠标 的 点击 不该 被 浪费 这种 动物园 方法 在 zooniverse org 网站 上 得到 了 复制 和 优化 这是 一个 运行 着 大约 20 项目 的 机构 这些 项目 的 处理 对象 包括 热带 气旋 火星 表面 和 船只 航行 日志 上 的 气象 数据 最终 软件 可能 会 取代 志愿者 基尔 说 但是 计算机 和 人类 之间 的 界线 是 可 互换 的 比如说 超新星 动物园 项目 在 软件 学会 了 任务 之后 就 关闭 了 我们 惊讶 地 得知 志愿者 们 积累 的 庞 大数据 是 计算机学习 分类 的 理想 材料 一些 星系 动物园 用户 真的 很 反感 这 一 点 基尔 说 他们 对于 自己 的 点击 被 用来 训练 软件 表达 出 明显 的 怨恨 但是 我们 说 不要 浪费 点击 如果 某人 带来 了 同样 有效 的 新 算法 人们 就 不必 做 那些 事情 了 学习 的 渴望 人们 长久以来 改进 对 图像 和 语音 的 模式 识 别的 努力 已 经受 益于 更多 的 训练 威斯康星大学 麦迪逊 分校 的 克拉 考尔 说 它 不仅仅 是 有所 改善 更是 有 了 实际 的 效果 5 到 10 年 之前 iPhone 上 的 Siri 是 个 想 都 不敢 想 的 点子 语音 识别 一塌糊涂 现在 我们 拥有 了 这样 一 批 庞大 的 数据 来 训练 算法 忽然 之间 它们 就 管 用 了 随着 数据 及 通讯 价格 持续 下跌 新 的 思路 和 方法 应运而生 如果 你 想 了解 你 家中 每 一 件 设备 消耗 了 多少 水 和 能量 麦克阿瑟 奖 获得者 西瓦 塔克 帕特尔 Shwe tak Patel 有 个 解决方案 用 无线 传感器 识别 每 一 台 设备 的 唯一 数字签名 帕特尔 的 智能 算法 配合 外挂 传感器 以 低廉 的 成本 找到 耗电 多 的 电器 位于 加利 福尼 亚州 海沃德 市 的 这个 家庭 惊讶 地 得知 录像机 消耗 了 他们 家 11% 的 电力 图片 来源 Peter Menzel The Human Face of Big Data 等到 处理 能力 一 次 相对 较 小 的 改变 令 结果 出现 突破性 的 进展 克拉 考尔 补充 道 大数据 的 应用 可能 会 经历 一 次 相变 大数据 是 一个 相对 的 说法 不是 绝对 的 克拉 考尔 指出 大数据 可以 被 视作 一 种 比率 我们 能 计算 的 数据 比 上 我们 必须 计算 的 数据 大数据 一直 存在 如果 你 想 一下 收集 行星 位置 数据 的 丹麦 天文学家 第谷 布拉赫 Tycho Brahe 1546 1601 当时 还 没有 解释 行星 运动 的 开普勒 理论 因此 这个 比率 是 歪曲 的 这是 那个 年代 的 大数据 大数据 成为 问题 是在 技术 允许 我们 收集 和 存储 的 数据 超过 了 我们 对 系统 精 推 细 研 的 能力 之后 克拉 考尔 说 我们 好奇 当 软件 继续 在 大 到 无法 想象 的 数据库 上 执行 复杂 计算 以此 为 基础 在 科学 商业 和 安全 领域 制定 决策 我们 是不是 把 过多 的 权力 交给 了 机器 在 我们 法 觑 探 之 处 决策 在 没 人 理解 输入 与 输出 数据 与 决策 之间 的 关系 的 情况 下 被 自动 做出 这 正是 我 所 从事 的 领域 克拉 考尔 回应 道 我 的 研究 对象 是 宇宙 中 的 智能 演化 从 大 爆炸 到 大脑 我 毫不 怀疑 你 说 的 本文 编译 自 The Why Files Data Dance Big Data and Data Mining 原创 人员 编辑 Terry Devitt 设计 制图 S V Medaris 项目 助理 Yilang Peng 专题 作者 David J. TenenBaum 内容 制作 总监 Amy Toburen 本文 由 Whyfiles org 授权 果壳 网 guokr com 编译 发表 未经 书面 许可 严禁 转载 THE WYE FILES 2013 UNIVERSITY OF WISCONSIN BOARD OF REGENTS 侯 世 达 大数据 不 美 没有 品位 我 不 喜欢 大数据 之美 人工智能 的 历史 与 未来 发展 电脑 能 超越 人脑 吗 计算机 的 思考 模式 侯 世 达 发表 于 2014 03 05 08 09 果壳 网 你 使用 谷 歌 翻译 Google Translate 阅读 果壳 网 对 道 金斯 的 访谈 文章 谷 歌 翻译 是 与 你 相对 的 研究 思路 的 象征 大数据 产业 AI 基本 不 涉及 思考 你 怎么 看 谷 歌 翻译 这个 产品 它 所 代表 的 研究 趋势 有 可取 之 处 吗 你 认为 要 解开 人类 思考 运作 机制 的 原理 关键 在 哪里 查看 英文 Guokr You used Google Translate to read our interview with Dr Dawkins Google Translate seems like a typical example that uses the opposite idea of your research all big data all industrial AI hardly any thinking What do you think of Google Translate Do you think there is an upper limit to the trend it represents If yes where could it lie Will your research helps to break the limit and why 侯 世 达 实际上 我 并 没 有用 谷 歌 翻译 来看 道 金斯 的 访谈 我 直接 看 的 中文 我 学 中文 很 久 了 虽然 说不上 流利 但 我 能 读 懂 一些 东西 尽管 很 慢 但是 在 说 谷 歌 翻译 代表 了 一 种 与 我 所 持 观点 截然 相悖 的 理念 这 一 点 上 你 说 得 很 对 几十 年前 刚刚 兴起 的 人工智能 领域 强烈 地 吸引 了 我 因为 我 被 思考 是 什么 这个 问题 深深 地 迷住 了 在 上世纪 70 年代 末 80 年代初 那会儿 我 开始 设计 我 自己 的 AI 研究项目 时 我 的 全部 动力 皆 来源于 此 作为 教授 我 还 开 了 一门 人 工智 能 的 课 虽然 一 开始 我 觉得 我 用 的 教科书 还 不错 但 两三 年 以后 我 就 彻底 不 抱 幻想 了 这些 教科书 里 似乎 装 着 些 空洞 的 配方 做 出来 的 东西 虽然 引人瞩目 但 都 不 是在 模仿 思考 而是 绕过 了 思考 比方 说 照着 教科书 我 教 过 学生 下 国际象棋 的 算法 其 基础 是 名为 极大 极小 前 探 搜索 剪枝 算法 的 蛮 力 计算 技术 虽然 这些 技术 都 非常 之 巧妙 教 起来 相当 的 愉快 也 由此 带来 了 许多 优秀 的 国际象棋 程序 但 它们 显然 跟 国际象棋 特级 大师 的 头脑 甚或 国际象棋 初学者 的 思维 里 发生 的 事情 没有 任何 共同 之 处 由于 意识 到 这 一 点 不 出 几 年 我 就 对 普通 AI 失去 了 所有 兴趣 而 我 自己 的 研究 则 变得 全部 建立 在 了 跟 我 从 AI 教科书 里 看到 的 和 我 教给 学生 的 那些 观点 八 竿子 也 打 不 着 的 技术 上面 查看 英文 Actually I didn t use Google Translate to read the Dawkins interview I read it in Chinese myself I ve studied Mandarin for a long time and although I am by no means fluentin it I can read some things albeit slowly You are quite correct however in saying that Google Translate represents a philosophy that is diametrically opposed to my own Several decades ago I was profoundly drawn to the very young field of artificial intelligence because I was fascinated by the question What is thinking When I started devising my own AI research projects back in the late 1970s and early 1980 s I was totally driven by this question As a professor I also taught a course on AI and although at first I liked the textbooks I used after a couple of years I was totally disillusioned They seemed to contain empty recipes for achieving impressive goals in ways that bypassed thinking rather than imitating it Thus for instance following the textbooks I taught my students chess-playing algorithms based on a brute-force mathematical technique called minimax lookahead with alpha-beta pruning and although such techniques were ingenious and quite fun to teach and although they certainly led to excellent chess-playing programs they clearly had nothing in common with what goes on in the mind of a grandmaster or even in the mind of a human beginner Because of realizations like this I lost all interest in standard AI within a couple of years and my own research became entirely based on techniques that had practically nothing at all to do with the ideas I had found in AI textbooks and had taught to my students 从 那 时起 我 在 认知科学 方面 的 研究 一直 是 关于 模仿 微 领域 下 的 人类 思维 譬如 涉及 字母 串 的 有 样 学 样 领域 Copycat domain 在 这里 应当 把 字母 看成 26 个 从 a 到 z 拥有 天然 顺序 的 抽象 体 而 不是 具体 的 形状 或 声音 我 相信 思考 牵涉 到 找出 情境 的 本质 这 一 理念 与 类比 是 认知 的 核心 这 一 观点 密切 相关 基本上 讲 这 一 观点 认为 当 我们 忽略 表象 找到 了 新旧 两 种 情境 共 有的 深层 核心 本质 而 将 新 的 情境 视为 与 之前 的 某个 情境 或 某 一类 情境 一样 时 就 产生 了 类比 因此 微 领域 下 的 类比 就是 我 过去 30 年 一直 在 研究 的 东西 多年来 我 想 出 了 好 多种 不同 的 微 领域 每 一 种 都 自 有 其 迷人 之 处 但 为了 简洁 接下来 我 单 就 有 样 学 样 领域 谈 一 谈 查看 英文 Ever since then my research in cognitive science has always been about imitating human thinking in microdomains such as the Copycat domain which involves strings of letters One should think of the letters as 26 abstract entities that have a natural order running from a to z rather than as physical shapes or sounds My belief that thinking involves finding the essence of situations is closely related to the idea that analogy is the core of cognition The basic idea is that an analogy happens when we perceive a new situation to be the same as some previous situation or class of situations by ignoring superficial features and finding a deep central essence that the new and old situations share Thus the study of analogies in microdomains is what my research has been about for the past three decades Over the years I have devised quite a few diverse microdomains each of which has its own fascination but for the sake of brevity I ll focus only on the Copycat domain 这里 给出 一个 学 样 领域 中 的 典型 类比 问题 供 果壳 网 的 读者 思考 假如 abc 变为 abd 那么 icjjckkkc 该 变成 什么 实际上 说 它 是 类比 问题 容易 引起 误会 因为 问题 这个 词 暗含 了 它 有 唯一 正确 解 的 意思 但 这个 推论 完全 是 错误 的 其实 该 将 上面 这个 句子 称为 类比 疑 问 或 类比 疑难 而且 需要 意识 到 它 有 很多 不同 的 合理 答案 这些 答案 没有 对错 之 说 好 了 现在 我 再次 希望 每 一 位 读者 在读 下去 之前 都 尽力 去 想 一个 或 更 多 的 答案 所以 现在 请 停止 阅读 查看 英文 Here is a typical analogy problem in the Copycat microdomain for Guokr s readers to think about If abc changes to abd then what should icjjckkkc change to Actually calling this an analogy problem is misleading since the term problem tends to suggest that it has a single correct solution but that conclusion is totally wrong In fact one should call the above an analogy question or an analogy challenge instead and one should recognize that it has a wide range of plausible answers none of which is correct or incorrect And so now I once again encourage each of your readers to try to think of one or more answers to this challenge before going on Therefore please stop reading now 好 我们 接着 说 我 希望 你 至少 想到 了 一个 答案 要是 想到 了 两个 三个 甚至 更多 就 更好 了 下面 是 我 就 这个 学 样 疑难 想到 的 几 个 可能 的 答案 icjjck kkd idjjdkkkd icjjckkdc icjjcdddc icjjclllc icjjckkkkc 和 icjjcllllc 我 还 能 列出 更多 但 有 这些 就 足够 了 仔细 检查 你 会 发现 每 一个 答案 都 有 它 自己 的 内在 逻辑 自圆其说 例如 第 一个 答案 将 最 右边 的 c 变成 了 d 可以 说 正好 是 abc 变成 abd 时 发生 的 情况 不过 尽管 每个 答案 都 有 逻辑性 但 大多 数人 都 还是 会 觉得 有的 答案 弱 一些 有的 强 一些 或是 令人信服 对 他们 而言 最佳 答案 拥有 一 种 难以 捉摸 不可名状 的 审美 意义 上 的 魅力 你 最 喜欢 哪个 答案 你 有没有 想 出 跟 我 列 的 这些 都 不同 的 答案 如果 有的 话 那 可 真 有意思 了 查看 英文 All right let s go on I hope you found at least one possible answer on your own and hopefully two three or more Here are a few of my own possible answers to this Copycat challenge icjjckkkd idjjdkkkd icjjckkdc icjjcdddc icjjclllc icjjckkkkc and icjjcllllc I could list many more but this will suffice for now As you will see if you inspect them each one has its own defensible brand of internal logic the first one changes the rightmost c to a d for instance which is arguably exactly what happened when abc changed to abd and yet despite the logicality of each answer most people tend to see certain answers as weak and others as strong or even compelling with the best ones having an elusive ineffable esthetic charm to them Which answer do you prefer Did you come up with one or more answers different from all the ones in my list If so that s very interesting 在 上面 所 列 的 7 个 答案 中 我 最 喜欢 后面 的 3 个 而且 说实话 我 也 说 不好 哪 一个 我 最 喜欢 本能 也好 直觉 也罢 我 认为 icjjckkkc 字符串 里 的 3 个 c 只是 一 种 不 重要 的 黏合剂 起到 分隔 3 个 更加 重要 的 部分 i jj 和 kkk 的 作用 我 无法 证明 这 一 点 但 我 就是 这么 觉得 换 句 话说 对 我 而言 9 个 字母 的 字符串 icjjckkkc 本质 上 只是 3 个 元素 的 字符串 i-jj-kkk 因此 我 需要 转换 的 部分 就 成 了 最 右边 的 元素 即 kkk 当然 我 可以 只 改变 最 右边 的 k 也就是 上面 第 4 个 答案 那样 但 我 认为 这样 改 太 丑 了 所以 我 不 这么 做 即使 我 充分 意识 到 这么 做 的 逻辑 然后 问题 就 成 了 如何 改变 kkk 当然 一 种 方法 是 将 其 在 字母 顺序 上 往前 进一 位 模仿 c d 的 转变 因此 就 有 了 kkk lll 对应 的 答案 是 icjjclllc 另 一 种 看 问题 的 思路 关注 3 组 元素 i jj 和 kkk 的 长度 也就是 关注 其中 暗含 的 数字 模式 1 2 3 这种 数字 模式 正正 好 与 字母 模式 abc 对应 因此 试 着 像 转换 abc abd 那样 可以 想到 将 1 2 3 变成 1 2 4 而 这样 就 得出 了 icjjckkkkc 这个 答案 但 还有 一 种 可能 就是 将 刚刚 提出 的 两 种 答案 加 起 来 于是乎 不仅 k 变成 了 l 3 也 变成 了 4 于是 就 得到 了 icjjcllllc 好笑 的 是 有的 人 可能 会 认为 这 最后 一个 解 是 给 百合花 镀金 他们 会 说 把 k 变成 l 可以 把 3 变成 4 也 行 但 把 两个 加 起来 一 次 都 变 就 说不过去 了 这 就 跟 在 冰淇淋 上 洒 辣椒粉 或是 画 完 蛇 再 添 上 足 没什么 两样 查看 英文 In the list of seven answers above my favorites are the last three and to tell the truth I m not sure which of them I prefer Instinctively or intuitively I feel that the three c s inside the string icjjckkkc are merely a kind of unimportant mortar serving to separate three more important items namely i jj and kkk I can t prove this but it s just how I feel In other words for me the nine-letter string icjjckkkc is essentially just a three-element string namely i-jj-kkk and so the item I wish to change is the rightmost one namely kkk Of course I could just change the rightmost k as in answer 4 above but to me that idea seems very ugly so I don t go for it although I certainly recognize its logic Then the question is How to change the kkk One way of course would be to advance it alphabetically mimicking the c d change which would give kkk lll which corresponds to the answer icjjclllc A rival viewpoint focuses on the increasing lengths of the groups i jj and kkk that is it focuses on the hidden number-pattern 1 2 3 Now this number-pattern corresponds very precisely and elegantly to the letter-pattern abc and so in trying to imitate the change abc abd one is led to the idea of turning 1 2 3 into 1 2 4 which would yield the answer icjjckkkkc But there is a third possibility which involves combining the two answers just proposed so that not only does k become l but also 3 becomes 4 so that one would get icjjcllllc Amusingly enough some people might call this last solution gilding the lily They would say Letting k turn into l is fine and letting 3 turn into 4 is also fine but putting the two ideas together and doing both actions at once makes no more sense than combining chili peppers with ice cream or adding feet to one s drawing of a snake 你 最 喜欢 哪个 答案 呢 我 自己 也 不 确定 我 最 喜欢 的 但 我 可以 肯定 我 最终 的 选择 无论 是 哪 一个 一定 会 是在 我 脑 中举 行 的 审美 比赛 的 赢家 这个 问题 关 逻辑 抑或 真理 而是 关乎 美 也 因此 归结 为 品味 这种 方式 看待 思考 与 大多数 人工智能 研究者 在 过去 五 六 十 年 里 所想 的 相去甚远 他们 之所以 不 待见 这个 观点 是 因为 从 计算 上去 给 审美 品味 建模 实在 太 过 模糊 而 试图 用 逻辑 或 数学 去 模仿 思考 看起来 又是 那么 的 直截 然而 这些 形式化 的 研究 方法 带来 的 是 极其 生硬 的 智 能 毫无 洞见 可言 在 我 看来 他们 冲着 错误 的 树 在 吠 译注 英 谚 本意 是 猎狗 以为 把 猎物 追 上 了 树 冲着 树 吠 叫 但 其实 猎物 已经 逃 到 了 另 一棵树 上 比喻 弄错 了 对象 查看 英文 Which answer do you prefer I m not sure myself but what I can say for sure is that my ultimate choice whatever it is will be the winner in an esthetic battle taking place inside my head It is not a question of logic or truth but a question of beauty which means it all comes down to taste This way of thinking about the mind is a far cry from what most AI researchers have been thinking for the past 50 or 60 years and it is unpopular among them because it is so unclear how to go about computationally modeling esthetic taste whereas trying to use logic or mathematics to imitate thinking seems so much more straightforward However those formal kinds of methodologies have led to extremely brittle kinds of intelligence lacking all insight They are barking up the wrong tree in my view 我 的 研究小组 叫做 灵活 类比 研究小组 Fluid Analogies Research Group FARG 这里 的 研究 肆无忌惮 地 涉及 了 各种各样 并排 进行 的 相互 竞争 的 微 压力 其 整体 结构 类似 蚁丘 没错 我 说 的 是 计算 模型 但 与 AI 研究 中 通常 做 的 那些 大 相 迥异 也 跟 神经网络 十分 不同 FARG 系统 比如 Copycat Tabletop Letter Spirit Phaeaco Seqsee 等 的 智能 是 集合 智能 每 一 种 都 是从 成千上万 种 小 得 不能 再 小 微 得 不能 再 微 的 活动 中 净胜 而出 单独 看 它们 并 不是 智能 的 我 也 强调 一 点 对待 这里 的 智能 一 词 当 慎之又慎 我们 的 认知 计算 模型 远远 谈不上 拥有 真正 的 智能 就 连 在 它们 各自 运行 的 那 小小 的 微 领域 中 也 不行 它们 经 常 给出 看上去 很 傻 让 人 笑掉大牙 的 答案 因为 我们 还 没 能 将 正确 的 机制 或 压力 或 品味 赋予 这些 程序 而 看着 程序 的 这些 失败 我们 是 很 高兴 的 我们 并 不 难过 因为 这 令 我们 想起 了 人类 思 维那 摸 不 着 参 不 透 的 美妙 而 要是 我们 的 任何 系统 真的 在 其 微 领域 中 获 得了 与 人类 相 颉颃 的 智力 我们 将 痛心 至极 因为 那 将 是 很 可 怕 的 这 意味着 人 的 智力 并 非如 我们 所想 的 那样 复杂 或 深奥 这 意味着 短短 几十 年 的 研究 就 足够 人类 解开 人类 思维 的 奥秘 那 在 我 看来 将 是 一个 悲剧 查看 英文 The research done in my research group called the Fluid Analogies Research Group FARG shamelessly involves all sorts of micro-pressures competing with one another in parallel in a kind of anthill-like architecture Yes I am speaking of computational models but of a very different sort from what is standardly done in AI and also very different from neural networks The intelligence of FARG systems such as Copycat Tabletop Letter Spirit Phaeaco Seqsee and others is collective and comes out of the competition among thousands of extremely myopic and tiny activities that are not at all intelligent on their own And let me also stress that the word intelligence here has to be taken with a huge grain of salt Our computational models of cognition are far from being truly intelligent even in the tiny microdomains in which they operate They often give hilariously silly-seeming answers to questions because we haven t managed to impart the proper mechanisms or pressures or tastes to our programs and watching these failures of our programs delights us rather than saddening us because it reminds us of the amazingly subtlety and elusiveness of the human mind We would be profoundlly sad if any of our systems actually had attained human-level intelligence in its microdomain because that would be scary it would suggest that human intelligence is not nearly as complex or deep as we had thought It would suggest that just a few decades of research had sufficed for humanity to unravel all the mysteries of the human mind and that to my way of thinking would be tragic 在 FARG 我们 没有 致力于 开发 实际 的 应用 诸如 翻译 引擎 答问 机器 网络 搜索 软件 此类 的 东西 我们 只是 在 努力 地 理解 人类 概念 的 本质 和 人类 思考 的 根本 机制 我们 更 像是 哲学家 或 试图 探究 人类 心智 奥秘 的 心理学家 而 非 旨在 制造 聪明 的 计算机 或 机灵 程序 的 工程师 我们 是 一群 老派 的 纯粹 主义者 我们 的 动力 源于 内心 深处 的 哲学 好奇心 而 不是 制造 实用 设备 的 欲望 遑论 赢得 大笔 金钱 的 欲望 查看 英文 We in FARG are not trying to develop practical applications such as translation engines or question-answering machines or Web-search software or anything of the sort We are simply trying to understand the nature of human concepts and the fundamental mechanisms that underlie human thinking We are more like philosophers or psychologists trying to probe the secrets of the human mind rather than engineers trying to make clever computers or smart programs We are old-fashioned purists who are driven by a deep philosophical curiosity not by the desire to make practical devices let alone the desire to make huge amounts of money 思维 的 类比 面对 这么 多 不同 的 形状 人类 还是 能 很 容易 就 判断 出 这是 字母 A 在 这种 纷繁 多样 之下 有着 怎样 的 抽象 机制 侯 世 达 On seeing A's and seeing As SEHR volume 4 issue 2 Constructions of the Mind Updated July 22 1995 果壳 网 丹尼尔 丹尼 特 Daniel Dennett 曾 说 过 人脑 和 电脑 的 差异 可能 在于 电子元件 不 像 神经元 那样 竞争 二极管 不会 为了 电力 而 求生 你 觉得 硬件 上 的 差异 重要 吗 人工智能 依 赖 于 硬件 这样 的 物理 机制 吗 查看 英文 Guokr Daniel Dennett once remarked that diodes don t compete for resources like neurons do so computer never face true struggle and will never actually want anything Do you think such a hardware difference matters Does AI depend on certain underlying physical mechanisms 侯 世 达 我 没 见 过 丹尼 特 的 这句话 顺便 说 丹尼 特 是 我 的 好朋友 合 著者 三 十 多年 前 丹 和 我 一起 编撰 了 思维 的 自我 The Mind s I 这本 书 我们 合作 非常 愉快 我 不 知道 对此 有 何 看法 我 自然 明白 其 背后 的 思想 但 我 不 确定 真正 的 思考 是否 真的 依赖 于 细 到 神经元 层面 甚或 更 下层 的 处 理 过程 要说 思考 确实 有赖 于 所有 那些 非常 细粒 非常 底层 的 生物 硬件 这种 观点 本身 当然 是 可以 想象 的 但 在 我 看来 同样 完全 可以 想象 思考 依赖 的 是 某 个 更 高层 的 潜 认知 处理 过程 而 那些 较 低层 的 东西 比如 神经元 和 神经 递 质 仅仅 是 思考 可能 的 基质 之一 丹尼 特 可能 会 认为 倘若 有人 想 创造 一 台 思考 机器 神 经 硬件 是 不可或缺 的 但 我 对此 观点 表示 怀疑 但 假如 他 真的 这么 说 了 那 我 很 好奇 如果 我们 造 出 了 拥有 数千 亿 神经元 的 极度 精确 的 计算机网络 他 会 作 何 评 价 在 这个 模型 里 不会 有 物理 上 的 神经元 只有 千 亿 复杂 数据结构 以 微妙 的 方式 相互 触发 其 行为 方式 和 神经元 完全 一样 但 物质 组成 却 丝毫 不同 我 认为 如果 这 个 模型 能 通过 图灵 测试 那么 丹尼 特 和 约翰 塞尔 John Searle 不同 后者 因 他 的 中文 屋 Chinese room 思想 实验 而 出名 但 我 认为 这个 思想 实验 从头到脚 漏洞百出 肯定 会 非常 高兴 地 说 它 是 真正 在 思考 它 有意识 它 说出 的 话 和 人类 说 的 话 一样 充满 了 意 义 我 也 会 查看 英文 I haven t seen this remark by Dennett who by the way is a close friend and co-author of mine Dan and I joyfully wrote and edited The Mind s I over 30 years ago I don t know what I think of it I certainly understand the spirit behind it but I m not sure whether genuine thinking really depends on the nature of processes all the way down at the level of neurons or even below that Of course it s conceivable that thinking really relies on all that kind of biological hardware at a very fine-grained level but to me it s also perfectly conceivable that thinking relies on subcognitive processes at a somewhat higher level and that the lower levels such as neurons and neurotransmitters are just one possible substrate for thinking Dennett may have come to the conclusion that neural hardware is absolutely indispensable if one is trying to create a thinking being but I somehow doubt it If he really did say this though then I wonder what he would say about the idea of an extremely accurate computer model of a network of a hundred billion neurons where there was no actual physical neuron but just billions of complex data structures that triggered each other in subtle ways acting exactly like neurons but made out of completely different stuff I think that if such a model were able to pass the Turing Test then Dan Dennett as opposed to John Searle famous for his Chinese room thought experiment which I think is riddled with flaws from top to bottom would be perfectly happy to say that it was carrying out real thinking and that it was conscious and that what it was saying was as filled with meaning as what human beings say And so would I 忘记 大数据 从 中 数据 开始 对于 很多 市场 研究人员 来说 中 数据 才 是 真正 能够 提供 ROI 价值 回报 的 分析 目标 而 所谓 大数据 分析 则 会 呈现 递减 的 ROI 业界 对 大数据 这 一 概念 的 质疑 声 从来 就 没有 停止 过 很多 人 认为 它 只是 一个 过度 炒作 的 营销 泡沫 确实 单 就 数据 的 体量 而言 大多数 企业 并 没有 Googl e Facebook 那样 的 PB 级 数据 那么 大数据 究竟 有没有 意义 呢 数据分析 专家 Tom Anderson 最近 给出 了 一个 概念 叫 中 数据 根据 他 的 划分 数据 集 数据 量 在 10 万 以下 的 称为 小 数据 数据 集 在 1000 万 以上 的 称为 大数据 而 在 二者 之间 的 称为 中 数据 Tom Anderson 认为 企业 进行 数据分析 的 投资 收益率 在 中 数据 范围 内 是 最高 的 以下 是 IT 经理 网 编译 Tom Anderson 的 博 文 在 我 参加 了 这个 星期 的 美国 营销 协会 的 第一届 大数据 的 研讨会 后 我 更加 坚信 了 我 这 几 年 与 许多 财富 1000 强 企业 的 营销 人员 沟通 后 的 一个 看法 那 就是 很少 有 公司 能够 分析 到 所谓 大数据 的 量级 而 事实上 它们 也 并 不 需要 其实 大部分 公司 应该 开始 考虑 如何 从 中 数据 开始 大数据 大数据 大数据 人们 到 处在 谈 它 其实 我 发现 真正 处理 大数据 的 研究者 其实 很少 我 认为 我们 应该 把 大数据 的 概念 范围 缩小 引入 一个 新 的 更 有意 义 的 名词 中 数据 来 描述 我们 目前 的 大数据 热潮 要 了解 什么 是 中 数据 进而 理解 大数据 我们 得 先 知道 什么 是 小 数据 小 数据 clip_image 002 上 面的 图 简单 地 按照 数据 记录 的 规模 或者 说 样本 的 规模 对 数据 的 大 中 小 进行 了 划分 小 数据 可以 包括 从 定性 研究 的 某个 访谈 到 几千 个 调查 问卷 的 结果 在 这个 规模 上 定性分析 和 定量分析 可以 从 技术 上 结合 起来 而 这 两者 都 不能 称之为 现在 定义 的 大数据 目前 对 大数据 的 定义 随着 企业 对 数据 的 处理 水平 的 不同 而 不同 通常 的 的 大数据 定义 指 的 是 用 现有 普通 软件 很 难 分析 的 数据 量 而 这个 定义 是从 IT 或者 软件 提供商 的 角度 来说 的 它 描述 了 企业 无法 利用 现有 能力 必须 进行 大量 硬件 软件 升级 进行 有 价值 的 数据分析 的 情况 中 数据 那么 什么 是 中 数据 呢 进入 大数据 时代 有些 我们 认为 是 小 数据 的 数据 集 可能 会 迅速 成长 为 大数据 比如 3 万 到 5 万条 用户 满意度 调查 记录 可以 用 类似 IBM 的 SPSS 软件 分析 可是 如果 把 这些 数据 集中 加入 了 用户 的 评论 这样 的 文本 数据 同样 的 分析 可能 就 会 变得 缓慢 了 这 同样 的 数据 集 现在 需要 更 长 的 时间 来 分析 甚至 可能 导致 分析软件 崩溃 如果 我们 把 同样 的 文本 数据 用 文本 挖掘 的 方式 处理 的 话 新 加入 数据 集 的 数据 将 会 极大 地 增加 数据 量 这 常常 就 会 被 认为 是 大数据 需要 更加 强大 的 软件 来 处理 它 不过 我 认为 一个 更 准确 的 描述 应该 是 中 数据 它 其实 只是 真正 大数据 的 起步 阶段 这 与 IT 经理 网 之前 的 文章 大数据 需 大处着眼 小处着手 中 的 观点 不谋而合 而且 对于 这个 规模 的 数据 量 其实 还是 有 很多 简单 的 处理 手段 的 大数据 好 了 我们 把 大数据 的 一部分 切 出来 叫做 中 数据 现在 我们 可以 重新 定义 大数据 了 为了 理解 大数据 与 中 数据 的 区别 我们 需要 考虑 一些 不同 的 维度 Gartner 的 分析师 Doug Laney 曾经 对 大数据 有 一个 著名 的 描述 把 大数据 分为 3 个 维度 规模 Volume 种类 Variety 和 速度 Velocity 通常 叫做 3V 模型 在理 解 中 数据 与 大数据 的 区别 时 我们 只 需要 考虑 两个 因素 成本 与 价值 成本 以 时间 计量 或者 按照 金钱 计量 与 期望 价值 构成 了 所谓 的 投资 收益率 ROI 这 也 可以 应用 于 大数据项 目的 可行性研究 我们 知道 有些 数据 天然 的 比 其他 数据 具有 更 高 的 价值 100 个 客户 投诉 邮件 可 能比 1000 个 微 博 上 提到 你 的 产品 比起 来 对 你 的 运营 分析 更 有 价值 当然 有 一 点 是 肯定 的 没有 经过 分析 的 数据 是 没有 价值 的 相对 于 中 数据 来说 大数据 或者 说 真正 的 大数据 量 的 分界点 在于 对于 分析 进行 的 投入 相对 成本 包括 可能 从中 发现 不了 什么 的 风险 来说 并 不 具有 吸引力 比 中 数据 更 大 的 数据 量 来说 大数据分析 要么 并 不 现实 要么 对 企业 来说 ROI 太 低 而 中 数据 则 是 正好 在 数据分析 的 最佳 范围 内 可以 在 相对 可控 的 预算 前提 下 进行 有 价值 的 分析 对于 很多 市场 研究人员 来说 中 数据 才 是 一个 真正 能够 提供 有 价值 有 足够 ROI 的 分析 目标 而 真正 大数据分析 则 会 呈现 递减 的 ROI 在 最近 我 去 德国 的 一 次 出差 中 我 有幸 遇到 了 一 位 在 欧洲核子研究中心 从事 大型 对撞机 项目 的 科学家 相对 于 大型 核子 对撞机 来说 普通 的 商业 企业 不 需要 像 那样 的 软件 和 硬件 来 进行 那个 规模 的 大数据分析 对撞机 的 1 亿 5 千 万 个 传感器 每秒 钟 产生 4000 万条 数据 而 实际上 即使 是 欧洲核子研究中心 的 科学家 们 也 不会 去 分析 如此 打 规模 的 数据 量 他们 在 分析 前 过滤 掉 来 99.999% 的 粒子 对撞 数据 对 我们 普通 企业 来说 对 消费者 的 分析 相对 简单 得 多 对于 数据 或者 文本 挖掘 我们 不 需要 EB 或者 PB 级别 的 处理 能力 或者 在 数以千计 的 服务器 上 跑 大型 并发 软件 目前 其实 有 一些 很 好 的 软件 能够 处理 我们 一般 企业 的 中 数据 需求 一 提到 大数据 媒体 常常 提到 的 是 亚马逊 谷 歌 或者 Facebook 就 算是 这些 案例 中 很多 听 上去 更 像是 IT 销售 鼓吹 的 科幻小说 也 并 没有 提到 这些 公司 在 数据分析 中 实际 使用 的 样本 的 量 就 像 欧洲核子研究中心 的 科学家 发现 的 那样 相对 一股脑 处理 全部 数据 的 做法 更 重要 的 是 能够 正确 的 分析 对 研究 相关 的 那 部分 重要 数据 那么 读者 可能 会 问 既然 中 数据 比 大数据 更加 具有 吸引力 为什么 我们 分析 小 数据 不是 更好 吗 这里 的 关键 是 随着 数据 量 的 增加 我们 不但 可以 对 分析 结果 更加 具有 信心 而且 可能 会 发现 一些 传统 的 小 数据 所 不能 发现 的 现象 对 市场分析 来说 这 可能 意味着 发现 了 一个 新 的 细分 产品市场 或者 竞争 对手 的 新 动向 对 药物 研究 来说 可能 意味着 发现 一些 小 的 人群 细分 与 某些 癌症 的 高风险 关联 参考 本站 文章 大数据 显影 Ayasdi 用 拓扑 数据分析 癌症 从而 拯救 生命 中 数据 应该 被 更加 明确 的 定义 而且 也 需要 更多 的 最佳 实践 不幸 的 是 经常 有 一些 企业 的 CEO 或者 CIO 会 要求 IT 人员 采集 所有 的 数据 全面 分析 数据 这样 的 过程 他们 其实 在 制造 真正 的 大数据 这种 数据 量 常常 是 超过 需要 的 这 就 产生 了 我 一直 在 提 的 ROI 的 问题 追求 真正 的 大数据 常常 不能 给 你 带来 任何 优势 经验丰富 的 小 数据 或者 中 数据 的 分析 人员 知道 对于 大数据 的 分析 常常 是 没有 满意 结果 的 而 相对 投入 的 成本 来说 从 ROI 的 角度 是 不 值得 的 因此 对于 大数据分析 而言 中 数据 才 应该 是 我们 真正 需要 瞄准 的 目标 四处 看看 很 容易 就 会 看到 移动 设备 几乎 成为 了 人们 第 五大 附属品 结果 是 组织 中 的 智能 手机 和 平板电脑 产生 了 大量 的 数据流 而 组织 也 正在 努力 管理 并 利用 这些 信息 好多 公司 甚至 不 知道 如何 使用 他们 的 少量 数据 Stephanie Woerner 说 她 是 麻省理工学院 信息 系统 研究中心 研究员 例如 她 听说 组织 的 不同 部门 正在 创建 应用 却 没有 正确 的 数据 标准 相互之间 不能 通信 640 从 开发 人员 角度 看 移动 应用开发 和 大数据 利用 取决于 应用程序 是 为 内部 还是 外部 客户 使用 的 当 我们 观察 一下 那些 正在 构建 应用程序 的 企业 时 他们 真正 有 兴趣 知道 的 一 件 事 是 谁 在 使用 这 一 应用 以及 使用 的 时间 Kinvey 的 CEO Sravish Sridhar 说 如果 它 是 一个 消费 应用 他们 想要 知道 什么 能 促使 更多 的 客户 参与 进来 如果 应用 设计 为 内部 使用 那么 组织 希望 确保 它 是 合规 的 在 这种 情况 下 Sridhar 说 组织 常常 运行 大数据 算法 来 决定 如何 使用 应用程序 适当 利用 大数据 虽然 大数据 可能 会 给 软件 专业 人士 产生 一些 障碍 但 同时 也 不能 忽略 了 它 所 带来 的 机遇 关于 移动 有 一 件 不错 的 事 那 就是 你 可以 开始 构建 应用程序 它 真正 了 解 用户 如何 使用 这些 信息 并 开始 提供 建议 bigtincan 的 CEO 兼 创建人 David Keane 说 即使 一些 行业 在 移动 开发 中 利用 大数据 稍 显 落后 但 有些 已经 显示 出 对 它 的 兴趣 来 Hurwitz Associates 的 首席 技术 策略师 Vikki Kolbe 引用 了 银行 作为 垂直 市场 使用 大数据 的 成功案例 诈骗 检查 曾经 基本上 消失 了 因为 行业 可以 监测 纸 流量 Kolbe 指出 因为 可以通过 移动 吸收 存款 诈骗 行为 正在 上涨 因为 犯罪 份子 已经 知道 如何 攻击 系统 通过 使用 网格 技术 实施 大数据 你 可以 实时 评估 它 是否 是 一个 真正 的 交易 是否 符合 规则 她 说 Kolbe 所 举 的 例子 强调 了 利用 大数据 的 价值 在 规则 范围 内 结合 信息 从而 确定 是否 需要 采取 措施 这些 事 有 企业 没有 做 虽然 有些 企业 有 能力 使用 大数据 来 变得 更 高效 但 Woerner 此时 却 不 确定 它 可以 用于 无线技术 上 这 都 是 要 符合 移动 应用程序 我 只是 不 知道 它 对 移 到 应用 是否 也 起 作用 她 说 2016 年 大数据 发展 趋势 的 33 个 预测 2016 年 大数据 领域 会 发生 什么 情况 考虑 到 如今 在 深层 神经网络 和 规范性 分析 方面 取得 的 进展 你 可能 觉得 这个 问题 很 好 回答 而 实际上 来自 业界 的 大数据 预测 大 不 相同 Datamini 网站 精选 出 了 最 值得 关注 的 33 个 预测 为 您 开启 未知 的 2016 数据 平民 崛起 甲骨文公司 预测 一 种 新型 用户 数据 平民 Data Civilian 会 崛起 该 公司 称 虽然 复杂 的 数据统计 可能 仍 局 限于 数据 科学家 但 数据 驱动 的 决策 不会 是 这样 在 未来 一 年 更 简单 的 大数据 发现 工具 让 业务 分析员 可以 寻找 企业 Hadoop 集群 中 的 数据 集 将 它们 重新 做成 新 的 混 搭 组合 甚至 运用 探索性 机器 学习方法 来 分析 它们 大数据 会 消亡 Nucleus Research 公司 公开 发表 了 不同 意见 预测 我们 所 知道 的 大数据 会 消亡 该 公司 称 在 过去 两 年 每家 公司 及其 人员 似乎 都 推出 了 某种 形式 的 大数据 解决 方案 是 该 告别 新奇 事物 综合症 shiny object syndrome 的 时候 了 用户 会 像 对待 任何 数据 那样 对待 和 访问 大数据 而 不是 着手 解决 大数据分析 这 一 项 庞大 又 艰巨 的 任务 风险投资 公司 更 关注 大数据 给出 的 结论 据 Opera Solutions 公司 的 高级 副总 裁 Keri Smith 声称 由于 风险投资 公司 往 数据 初创 公司 纷纷 投入 资金 是 时候 开始 提出 尖锐 的 问题 了 Smith 问道 大数据 解决方案 真正 的 投资 回报率 RO I 如何 公司 如何 才能 跨过 部门级 部署 这个 阶段 让 大数据 在 整个 企业 创造 的 价值 实现 最大化 又 有 哪些 有意 义 的 使 用场 合适 用于 众多 垂直 领域 要是 贵 公司 现 在 没有 提出 这 类 问题 积极 寻求 答案 应该 很快 就 会 机器 学习 和 人 的 洞察力 组合 渗透 新 行业 Spare5 公司 的 首席 执行官 Matt Bencke 表示 我们 在 2016 年会 看到 数据 绝地 武士 Data Jedis 的 兴起 他 写道 将来 被 人工智能 改变 的 工作会 比 以往 任何 时候 都 要 多 数据 绝地 武士 会 变成 最 抢手 的 员工 机器 学习 和 人 的 洞察力 这 对 组合 会 渗透 到 新 行业 包括 医疗保健 和 安全 行业 员工 需要 灵活 适应 以 提供 不同 服务 不然 就 会 落 在后 面 数据 科学 再 银行界 大 放 光彩 数据 科学 咨询公司 Profusion 的 首席 执行官 Mike Weston 预测 数据 科学 在 银行界 会 大 放 光彩 他 写道 金融业 是 率先 采用 数据 科学技术 方法 的 行业 之一 不过 所有 银行 服务公司 采用 数据 科学 的 步调 远远 没有 统一 2016 年 我 预计 这种 局面 会 有所 改变 更好 地 利用 数据 和 服务 个性化 会 从 金融 市场 进入 到 零售 银行 领域 这 会 给 市场营销 客户服务 和 产品 开 发带 来 深远 影响 人工智能 和 认知 计算 让 个性化 医疗 成为 现实 先进 的 人工智能 引起 机器人 成为 统治者 这种 场景 吓坏 了 Elon Musk 不过 据 Franz 公司 的 认知 科学家 兼 首席 执行官 Jans Aasman 声称 应该 将 人工智能 归 为 友好 的 技术 这 一 列 他 说 2016 年 及 以后 人工智能 和 认知 计算 将 使 个性化 医疗 成为 现实 帮助 拯救 患有 罕见 疾病 的 病人 并 改善 整体 的 医疗保健 状况 首席 数据 官 将 成为 信息 技术 领域 的 新 宠儿 Blazent 公司 首席 技术 官 办公 室 负责人 Michael Ludwig 认为 首席 数据 官 CDO 会 成为 信息 技术 领域 的 新 宠儿 永远 让 办公室 政治 更 显 错综复杂 他 写道 正是 由于 大数据 很 复杂 又 需要 完整 而 准确 的 数据 首席 数据 官 会 变得 越来越 重要 因而 首席 技术 官 和 首席 信息 官 需要 给 首席 数据 官 让出 地方 除非 确立 了 明确 界定 的 角色 并 成立 了 相关 团队 否 则 高层 管理 团队 当中 会 出现 紧张 局势 首席 洞察 官 成为 大数据 整理 过程 的 关键 领导 但 不是 每个 人 都 这么 认为 其中包括 PROS 公司 的 首席 远见 官 Craig Zawada 2016 年 我们 会 开始 看到 被 任命 的 首席 数据 官 日渐式微 这是 过去 的 一 种 角色 相反 2016 年会 出现 首席 洞察 官 这 类人 将 成为 大数据 整理 过程 中 的 关键 领导者 云 服务 被 充分 利用 但是 颇 有 势力 的 CIO 能 重新 发号施令 吗 Cazena 公司 创始人 兼 首席 执行官 Prat Moghe 预测 会 这样 他 写道 2016 年 CIO 们 会 充分 利用 企业 就绪 的 云 服务 作为 中间人 提供 这样 的 云 服务 既 满足 IT 部门 在 治理 合规 和 安全 等 方面 的 要求 又 满足 业务 部门 在 敏捷 性 和 响应 能力 等 方面 的 要求 流 分析 逐渐 成熟 DataTorrent 公司 的 首席 执行官 兼 联合 创始人 Phu Hoang 预测 流 分析 streaming analytics 会 开始 成熟 起来 并 在 大数据 阵营 中 证明 其 价值 他 说 虽然 许多 公司 已经 认可 了 实时 流 非常 重要 这 一 点 但 我们 会 看到 用户 希望 更 进一 步 确定 流 分析 使用 场合 在 接下来 一 年 使用 流 分析 工具 的 客户 会 变得 更加 成熟 要求 流 分析 有 明确 的 投资 回报率 实时 分析 异常 火爆 实时 分析 在 明年 会 很 火爆 这个 我们 懂 不过 据 MongoDB 公司 的 战略 和 产品 营销 副总 裁 Kelly Stirman 声称 一 项 技术 Apache Kafka 比 其余 技术 更 惹人注目 Stirman 写道 Kafka 将 成为 企业 数据 基础设施 的 一个 重要 集成 点 为 构建 智能 分布式 系统 提供 便利 Kafk a 及其他 流 分析 系统 比如 Spark 和 Storm 会 补充 数据库 成为 跨 应用程序 和 数据中心 管理 数据 的 整个 企业 堆栈 的 关键 部分 大数据 让 娱乐 更加 娱乐 喜欢 鼓乐 FirstFuel Software 公司 的 首席 数据 科学家 Badril Raghavan 表示 那么 你 一定 会 爱上 2016 年 在 今后 几 个 月 我们 会 看到 企业 和 个人 利用 数据 和 分析 工具 面对 包括 能源 体育 社会 公益 和 音乐 在 内 的 众多 行业 提供 个性化 引人入胜 的 体验 比如说 人们 将来 可以 利用 数据 根据 个人 喜好 例如 偏爱 鼓乐 改编 歌曲 物 联网 影响 半导体 行业 物 联网 会 如何 影响 半导体 行业 IT 传奇 人物 Ray Zinn 对此 有 几 点 看法 他 写道 你 会 看到 设计 和 制造 出现 更 明显 的 分工 晶圆厂 的 使命 就是 扩大 规模 服务 于 几十亿 消费者 和 新兴 的 物 联网 市场 设计 将 会 与 制造 脱离 开来 分担 市场 风险 创新 将 是 设计公司 的 生存 之 道 而 不断 提高 效率 才 是 晶圆厂 的 致胜 秘诀 问题 是 接下来 会 出现 什么 到时 难免 会 出现 新 的 市场 和 设备 从而 推动 行业 呈现 新 的 井喷 式 增长 物 联网 好比 是 沉睡 的 巨人 不过 我 觉得 它 只是 在 打盹 而已 机器 学习 大数据 自动化 和 人工智能 大放异彩 Infosys 公司 高级 副总 裁 兼 平台 大数据 和 分析部 门主 管 Abdul Razack 表示 机器 学习 大数据 自动化 和 人工智能 在 2015 年 大出风头 明年 会 出 更 大 的 风头 Razack 说 2016 年 企业 更 广泛 地 采用 人工 智能 技术 替代 人工 重复性 任务 的 步伐 会 快速 加快 他 提到 丰田公司 最近 往 人工智能 方面 投入 了 10 亿 美元 大数据 自动化 已经 在 发展 不过 明年 会 得到 更 广 泛 的 应用 人 的 独特 能力 即 拿来 复杂 问题 后 给出 创造性 的 解决 办法 显得 更 重要 特斯拉 的 无人 驾驶 汽车 内置 了 机器 学习 技术 但 明年 机器 学习会 悄悄 进 入 到 千家万户 让 我们 身边 的 物件 不仅仅 是 联网 而已 合并 兴起 的 关键 年 许多 人 预计 2016 年 大数据 领域 会 出现 激动人心 的 事情 Logi Analytics 公司 的 解决方案 工程 和 服务 副总 裁 Charles Caldwell 却 不 这么 认为 如果 我 展望 2016 年 并 不 觉得 会 出现 许多 激动人心 的 事情 其他 厂商 已 给出 了 云 计算 视觉 分析 和 移动 等 方面 的 预测 但 是 那些 大多 是 安定 下来 的 旧 趋势 在 我 看来 2016 年会 是 合并 兴起 和 为 下 一大 热门 打基础 的 一 年 副本 数据管理 CDM 迎来 春天 最 想象 不到 奖 授予 Catalogic Software 公司 的 产品 营销 高级 经理 Peter Eicher 我们 倒 不是 指 他 的 这 一 预测 副本 数据管理 CDM 是 迎来 大好 时期 的 技术 不仅 这个 领域 出现 新 厂商 老派 厂商 也 在 跟风 这 就是 最好 的 佐证 这 完全 合情合理 不 我们 之所以 提名 Peter 是 因为 他 的 这 一 疯狂 预测 纽约 尼克斯 队会 夺得 NBA 总 冠军 他 承认 是的 结果 不是 我 不 可能 一直 预测 正确 不过 话 又 说 回来 这个 预测 已 连续 错 了 42 年 大数据 泄密 事件 频发 大数据 领域 的 沮丧 的 黛比 Debbie Downer 奖 授予 BlueTalon 公司 的 首席 执行官 Eric Tilenius 因为 他 预测 大 企业 爆出 大数据 泄密 事件 的 步伐 可能 会 加快 他 写道 2016 年 缺乏 统一 的 数据 治理 可能 会 导致 企业界 迄今 面临 的 最 大 的 安全 方面 冲击 这 相当于 移动 技术 的 问世 给 传统 企业 边界 带来 的 冲击 依赖 支离破碎 的 方法 来 控制 数据 访问 即 面对 不断 变化 的 数据 格局 采用 不 一致 的 政策 只 会 在 企业 数据 保护 方面 留下 大洞 微 服务 架构 有所 突破 你 在 搞 微 服务 吗 据 SaaS 厂商 Workday 声称 如果 你 现在 没 搞 很快 会 搞 该 公司 声称 很 显然 内部 部署 与 云 之 争 已 结束 云 赢 了 不过 并非 构 建 的 所有 云 架构 都 一个样 微 服务 架构 会 突破 Netflix 等 消费者 互联网 设计 领域 成为 自 向 云 转变 以来 企业 应用软件 领域 最 重大 的 架构 进步 大数据分析 扩大 领域 TARGIT 公司 首席 技术 官 Ulrik Pederson 表示 大数据 有 难度 许多 公司 在 明年 会 竭力 搞好 大数据 他 写道 2016 年 大数 据 分析会 扩大 领域 一些 工具 让 企业 用户 有 可能 在 需要 时 对 大数据 执行 全面 的 自助式 探索 不 需要 IT 部门 的 大力 指导 对应 于 我 的 第 一个 预测 我 预计 先进 分析 项目 在 众多 行业 会 大幅 增加 然而 这 并 不 意味着 它们 会 成功 要是 听到 许多 厂商 和 客户 在 成功 实施项目 上 遇到 困难 我 也 不会 觉得 惊讶 认知 技术 数据 科学会 有 进展 国际 数据分析 研究所 International Institute of Analytics 预测 便于 嵌入式 分析 的 分析 微 服务 会 大行其道 这家 独立 研究 和 咨询公司 还 预测 认知 技术 数据 科学 和 数据 精选 等 领域 会 取得 进展 哦 该 组织 表示 由于 许多 大学 开设 新 课程 分析 人才 危机 有望 得到 缓解 非 数据 专业人才 也 会 投身 大数据 OLAP-on-Hadoop 提供商 AtScale 公司 的 首席 营销 官 Bruno Aziza 表示 不是 数据 专业人才 的 那些 人 也 会 积极 投身 于 大数据 他 写道 随着 Hadoop 变得 更 容易 被 非 数据 专业人才 访问 营销 人员 会 开始 访问 更多 的 数据 以便 做出 更 合理 的 决策 可以 借助 Hadoop 更 深入 更 全面 地 了解 数据 这 让 营销 人员 能够 洞察 消费行为 从而 做出 决策 并 了解 客户 消费 旅程 背后 的 流程 高性能 计算 渐 成 主流 存储 巨头 DDN 预测 我们 会 看到 更多 的 高性能 计算 技术 进入 到 主流 特别 是 由于 它 涉及 存储 该 公司 表示 2016 年 来自 高性能 计算 行业 的 存储 数据 管 理 和 应用程序 加速 等 技术 会 继续 以 更快 的 速度 被 利用 起来 以 满足 企业 对 性能 和 规模 越来越 高 的 要求 因而 会 以 更快 的 速度 取代 传统 的 IT 基础设施 开源 大数据 遍地开花 开源 大数据 技术 给 你 留下 了 深刻 印象 Pentaho 公司 的 首席 执行官 Quentin Gallivan 表示 你 还 没有 看到 任何 实际 东西 Gallivan 写道 像 Spark Docker Kafka 和 Solr 这些 很 酷 的 新 工具 会 遍地 开花 这些 新兴 的 开源 工具 旨在 能够 对 PB 级 数据 进行 大规模 大批量 的 分析 它们 会 从 青春期 阶段 进入 到 壮 年期 阶段 Spark 淘汰 MapReduce 拯救 Hadoop RDBMS-on-Hadoop 厂商 Splice Machine 公司 的 联合 创始人 兼 首席 执行官 Monte Zweben 表示 Spark 会 淘汰 MapReduce 但是 会 拯救 Hadoop 他 写道 MapReduce 相当 深奥 具有 速度 慢 批处理 的 特性 又 加上 非常 复杂 因而 对 许多 企业 来说 毫无 吸引力 由于 速度快 Spark 要 自然 得 多 对 程序员 来说 很 方便 Spark 会 给 Hadoop 注入 活力 201 6 年 基于 Hadoop 的 项目 十之八九 会 是 与 Spark 有关 的 项目 云 厂商 发布 自己 的 Spark 平台 即 服务 解决方案 Snowflake Computing 公司 的 首席 执行官 Bob Muglia 表示 但是 这 并 不 意味着 每个 Spark 项目 会 涉及 Hadoop 如今 Spark 是 Hadoop 发行 版 的 一部分 与 Hadoop 有着 广泛 的 联系 随着 Spark 独自 行动 建立 一个 独立 的 有 活力 的 生态 系统 预计 这种 情况 在 2016 年会 发生 变化 实际上 可以 预计 各 大云 计算 厂商会 发布 各自 的 Spark 平台 即 服务 PaaS 解决方案 我们 会 看到 Elastic Spark 吗 可能性 很大 Apache Hadoop 将 被 重置 并非 丢弃 Teradata 公司 的 企业 系统 总经理 Dan Graham 表示 企业 组织 会 对 Apache Hadoop 进行 重置 处理 随着 Hadoop 及 相关 开源 技术 跨过 收集 知识 的 早期 阶段 炒作 渐渐 消退 企业 会 对 部署 的 Hadoop 按 重置 键 而 不是 丢弃 运用 汲取 的 经验 教训 尤其 是 治理 数据 集成 安全 和 可靠性 方面 的 经验 教训 主 数据管理 MDM 派 上 用场 杂物 抽屉 问题 是 Hadoop 社区 面临 的 最大 挑战 之一 但 根本 不用 害怕 主 数据管理 MDM 派 得 上 用场 Reltio 公司 的 首席 执行官 兼 创始人 Man ish Sood 写道 MDM 会 变得 无处不在 长期以来 MDM 这 门 技术 只有 大 公司 才 用 得 起 大公 司 拥有 庞大 的 IT 团队 又 有 硬件 软件 和 为期 多年 的 实施项目 所 需 的 庞大 预算 新 一 批 数据 驱动 的 应用程序 会 内置 MDM 作为 基本 要求 由于 同时 提供 操作 功能 和 分析 功能 每个 应用程序 可靠 的 数据 基础 由 MDM 引擎 来 支撑 Hadoop 将 处于 十字路口 2016 年 Hadoop 将 处于 十字路口 它 会 往 哪个 方向 走 Altiscale 公司 的 首席 运营 官 Mike Maciag 给出 了 他 的 预测 2016 年 我们 会 看到 Hadoop 行业标准 得到 巩固 2015 年 年初 我们 看到 开放 数据 平台 计划 ODPi 正式 启动 该 计划 制定 了 标准 为 大数据 生态 系统 的 关键 项目 如何 协同 运行 指 明了 方向 由于 标准化 给 客户 带来 的 好处 变得 更加 显而易见 ODPi 的 成员 数量 在 这 一 年 翻 番 我们 预计 2016 年 Hadoop 会 得到 更 大 的 发展 和 认可 让 新 的 技术 和 应用程序 得以 满足 由 ODPi 制定 的 Hadoop 生态 系统 标准 物 联网 2.0 出现 Zebra Technologies 公司 预测 我们 会 看到 物 联网 2.0 出现 物 联网 市场 会 由 过去 的 闭 源 专 有的 第 一代 解决方案 变成 更 成熟 基于 行业标准 可 灵 活 适应 的 解决方案 借助 开源 方法 企业 组织 能够 从 数量 更多 的 服务 提供商 及其 各自 的 API 当中 作 一个 选择 后 稀缺 经济 post-scarcity economy 日渐 兴起 OpenText 公司 首席 执行官 Mark Barrenechea 预测 物 联网 可能 预示 着 后 稀缺 经济 post-scarcity economy 日渐 兴起 他 写道 可以 将 算法 想象 成 这种 应用程序 对 物 联网 及 我们 生活 中方 方面 面的 数 十 亿 个 互联 设备 生成 的 彼此 关联 的 海量 信息 进行 大 数据分析 拥有 数据 分析 数据 改进 和 创新 成为 企业 成功 的 关键 这 一切 得益 于 互联 数字化 社会 生产 工作 负载 与 分析 技术 充分 结合 MapR Technologies 公司 的 首席 执行官 John Schroeder 预测 能够 同时 处理 分析 型 工作 负载 和 事务型 工作 负载 的 融合 平台 会 迎来 巨大 飞跃 2016 年 由于 各 大 领先 公司 获得 将 生产 工作 负载 与 分析 技术结合 起来 迅速 调整 以 适应 客户 偏好 竞争 压力 和 商业 环境 所 带来 的 好处 我们 会 看到 融合 方法 成为 主流 方法 这种 融合 加快 了 企业 组织 从 数据 到 行 动 的 周期 并 缩短 了 数据分析 到 业务 影响 之间 的 时间差 小众 解决方案 吃香 看好 2016 年会 出现 单一 架构 的 另 一个 支持者 是 Datameer 公司 的 首席 执行官 Stefan Groschupf 他 写道 某个 技术类 别是 新 类别 时 会 出现 众多 公司 各自 的 产品 旨在 为 这个 领域 的 一小 部分 提供 解决方案 这样一来 客户 只好 购买 多 个 工具 试图 弄清 楚 如何 结合 使用 这些 工具 最后 这种 方法 根本 行不通 客户 倾向 于 单一 厂商 提供 的 集成 产品 架构 或者 覆盖 范围 广泛 的 产品 2016 年 将 标志 着 大数据产品 开始 出现 这种 转型 外包 大行其道 大数据 服务 提供商 Absolutdata 公司 的 首席 执行官 Anil Kaul 预测 外包 在 2016 年会 大行其道 他 写道 我们 可以 从 大数据 获得 众多 有 价值 的 信息 可是 访问 这些 信息 颇具 挑战性 而且 通常 不在 平常 商业智能 的 范围 之内 如今 许多 公司 在 与 第三方 合作 制定 并 执行 大数据分析 策略 将 外部 专家 整合 到 大数据 团队 当中 也 许是 公司 在 这个 迅速 变化 的 领域 保持 领先 一 步 的 最佳 途径 营销 大数据分析 市场 的 十大 产品 模式 VB 近日 发布 了 营销 大数据分析 生态 研究报告 报告 将 目前 火爆 的 营销 数据分析 产品市场 中 的 超过 800 家 厂商 的 产品 分为 十大 类 应用 模式 上图 分别 是 1 品牌 社会化 分析 2 SEO SEM 3 Growth Marketing CRO 转化率 优化 4 电子商务 分析 5 移动 分析 6 大数据分析 7 跨平台 活动 管理 营销 自动化 8 客户 洞察 9 广告 效果 分析 10 呼叫中心 报告 还 指出 营销 大数据分析 是 CMO 为 中心 的 市场 下图 随着 企业 在 数字 营销 领域 的 投入 加大 CMO 们 面临 更多 的 压力 来 证明 其 投资 回报 而 营销 分析 产品 和服 务 正是 展示 价值 的 关键 CMO 为 中心 的 营销 分析 市场 2012 盘点 大数据 的 前世 今生 Big Data 是 先知 关键 报告 电影 成真 不远 矣 最近 一直 在 报章杂志 上 看到 讨论 有关 Big data 相关 的 应用 横跨 金融 交易 电子商务 决策 制定 广告营销 医疗 用药 等 以前 在 几乎 没有 听闻 这 类型 的 技术 所以 经过 笔者 调查 把 目前 所知 跟读 分享 Big data 其实 是 巨 大数据 数据库 加上 处理 方法 的 一个 总称 其中 包含 信息 领域 的 Machine Learning 机器 学习 Data Mining 数据分析 Artificial Intelligence 人工智能 以及 现在 最 火红 的 Hadoop 档案 处理 系统 这些 技术 由于 近年来 计算器 处理 速度 与 存储 装置 的 性能 快速 提升 使得 实时 处理 大量 数据 变成 可能 存在 已 久 的 各 领域 信息 技术 相互 融合 在 这个 当下 爆出 应用 火花 甚至 世界各国 的 教育 当局 都 开始 考虑 是否 要 将 海量 数据 的 处理 分析 技术 成立 科 系 或是 学程 来 因应 未来 数年 极 可能 会 因为 此 领域 的 急速 成长 而 出现 的 人才 缺口 Big Data 名称 的 由来 海量 数据 又称 大数据 大数据 即 Big data 名词 在 2010 年 由 IBM 所 提出 而 海量 资料 则 的 特性 包含 三 种 层面 巨量 实时性 及 多样性 1 巨量 海量 资料 的 特色 就 在于 庞大 政府 企业 以及 及时 敢 测 器 等 数据 包罗万象 很 容易 便 达到 数 TB Tera Bytes 甚 至上 看 PB Peta Bytes 之 谱 2 实时性 海量 数据 通常 具有 时效性 一旦 串流 到 运算 服务器 就 须 立即 使用 实时 得 结果 才能 发挥 其 最大 价值 3 多样性 海量 数据 的 范畴 不仅 止 于 结构化 数据 还 包含 各类 非 结构化 的 数据 诸如 文字 音频 视讯 点击 串流 日志 文件 等等 引用 来源 而 处理 海量 数据 Big data 的 技术 现今 最 火红 的 则 非 Hadoop 莫 属 了 喔 bigdata_chart 什么 是 Hadoop 根据 Hadoop 的 创办人 Doug Cutting 所 言 Hadoop 就 只是 帮 一 只 黄色 的 填充 大象 取 的 名字 而已 没有 什么 特 别的 意思 纯粹 只是 好记 而已 而 Hadoop 技术 的 诞生 则 是 因为 因特网 数据 的 爆炸性 成长 传统 的 文件 系统 无法 负荷 储存 跟 分类 从而 根据 Google 搜寻器 的 相关 的 学术论文 为 蓝图 演 变成 一 套 如何 储存 处理 分析 TB Tera Bytes 甚至 PB Peta Bytes 等级 的 数据处理 方法 Hadoop 是 百分 之一 百 免费 由 Java 程序 语言所 编写 的 Open Source 一 种 从 根本 结构 上 与 现存 技术 不同 且 先进 的 储存 处理 分析 海量 数据 的 技术 执行 Hadoop 使用者 无须 仰赖 昂贵 的 或是 具有 专利 的 软硬件 平 台 Hadoop 可以 在 便宜 且 工业 规格化 的 服务器 群 上 执行 平行 数据处理 以及 分析 有 了 Hadoop 没有 什么 数据 量 是 过 大 的 在 现今 资料量 爆炸 的 时代 企业 学术 政府 等 组织 可以 利用 从 之前 被 认为 是 无用 的 资料 找出 从来 没 被 发现 的 参考 价值 Hadoop 基本上 可以 处理 任何 数据 型态 不论 是 结构化 或 是非 结构化 log 纪录 文件 照片 声音 通讯 纪录 或是 电子邮件 不管 是 什么 数据 你 都 可以 汇入 Hadoop Cluster 并且 不 用作 任何 前处理 它 就 会 帮 你 回答 你 从来 不曾 想 过 的 问题 Hadoop 把 看似 毫无 关联 的 资料 背后 所 隐含 的 讯 息 呈现 出来 用户 便 可以 根据 更多 的 参考资料 做出 对应 决策 了 以下 就 几 个 实例 来 跟 读者 分享 目前 Big data 现今 的 应用 IBM Watson 医生 诊断 辅助 系统 Big Data 也 可以 当 医生 IBM Watson 机器人 也 可以 利 用来 协助 医生 听诊 原因 是 这样 医生 可能 跟 你 讲 五 句 话 就 差不多 确定 你 是 生 什么 病 了 接下来 可能 都 是 跟 你 闲话 家常 而 已经 有 一些 美国 的 医疗机构 为了 避免 医生 的 疏失 开始 与 IBM 合作 现在 Watson 会 陪同 医生 听诊 听诊 完 它 会 透过 病征 列出 可能 病患 可能 患 疾病 是 哪些 医生 可 能 问诊 完 想到 的 病征 可能 只有 三 五 个 可是 Watson 会 跟从 海量 数据分析 的 角度 帮 他 列出 高达 20 个 病征 选项 这 大大 的 可以 减少 医生 疏忽 的 机会 医生 看 了 Watson 的 分析报告 以后 就 可知 道 可以 再 多 问 病人 什么 问题 来 缩小 看 诊 判断 误差 尤其 是 远 距 医疗 时 这个 服务 特别 受用 不过 Watson 机器人 主要 还是 做 协助 的 工作 而 不会 告诉 你 就是 这个 病 最后 要 把关 负 责任 的 还是 医生 本人 美国 平价 连锁 零售业 商场 Target 猜 你 怀孕 了 没 Target 从 女性 消费 族群 的 购买 行为 研发 出 一 套 领先 同业 的 怀孕 预测 模型 Target 的 资料 分析 专家 发现 当 某些 女性 从 购买 有 香味 的 乳液 转而 购买 无 香味 的 乳液 或是 开始 采购 叶酸 钙片 镁 与 锌 等 营养 补充品 他们 就 会 大胆 推测 这 名 女性 可能 已经 怀孕 塔 吉特 的 专家 将 过去 女性 消费 族群 的 数据 进行 串 流 分析 研发 出 怀孕 预测 模型 这个 模型 会 列出 25 种 孕妇 最 有 可能 购买 的 产品 并 依据 女性 消费者 的 行为 计算 出 他们 的 怀孕 预测 分数 塔 吉特 一旦 发现 这 名 女性 消费者 可能 已经 怀孕 就 会 立刻 寄出 相关 商品 的 促销 广告 塔 吉特 甚至 还 会 分析 这些 女性 通常 在 一星 期中 的 哪 一 天 出门 购物 并且 在 前一天 就 抢先 寄送 广告 函 给 她 不过 根据 从事 电子商务 的 专家 表示 目前 应用 Big Data 在 电子商务 的 实际 例子 还是 属于 稀有 动物 购物网站 所 推荐 的 东西 还 只是 根据 公司 的 促销 策略 而已 并 没有 把 消费者 的 消费 模式 浏览 纪录 以及 个人 资 料 作 差异化 的 推荐 行 机制 Amazon 以及 Netflix 网络 消费 经验 我 想 台湾 大多 数人 的 网 购 经验 都 来自 Yahoo 或是 PChome 如果 你 曾 在 Amazon 购物 过 其 经验 绝对 截然不同 一 开始 你 一定 会 看到 一些 鬼 打 墙 无厘头 的 推荐 他们 会 根据 你 现在 浏览 的 商品 跟 你 说 曾经 浏 览 过 这 商品 的 人 又 看过 了 什么 或是 买 这个 商品 的 人 他们 也 会 购买 什么 商品 然后 给 你 一 份 推荐 清单 其中 还 包括 你 自己 的 浏览 以及 购物 纪录 这种 推荐 方式 是 根 据 历史 购买 纪录 计算 的 喔 根据 统计资料 这种 推荐 方式 让 Amazon 在 一 秒钟 能够 卖出 79.2 样 商品 呢 根据 2012 年 的 数据 美国 最大 的 在线 影音 出租 服务 的 网站 NETFLIX 统计 每 十 部 他 推荐 的 影片 大概 有 7.5 部 以上 使用者 会 选择 接受 这样 的 推荐 机 率 非常 之 高 更 神奇 的 是 你 看 完 这个 片子 你 可以 针对 这个 片子 给 几 颗 星 的 评价 在 你 下 完 评价 之前 他 已经 对 你 做 了 预测 说 你 上下 不会 超过 半 颗 的 误差 这些 计算 是 根据 你 收视 这些 片子 的 喜好 包含 导演 明星 的 组合 当然 他 背后 有 个 算法 他 可能 是 Data Mining 数据 探勘 的 方式 或是 加上 一些 Machine Learning 机器 学习 的 功能 其实 这 都 是 长期 对 户 的 行为 做 Big data 分析 之后 淬炼 出来 的 什么 别 闹 了 Big data 除了 做 电子商务 还 可以 挤 牛奶 做 Big dairy Big Data 也 可以 用来 挤 牛奶 根据 彭 博 新闻 周刊 报导 这是 一家 牛乳 农场 的 故事 因为 这个 农场 的 两个 帮手 孩子 要 到 城里 上 大学 挤 牛奶 人手 会 突然 不够 这个 牛乳 农场 决定 率先 使用 最新 的 Big data 技术 来 帮助 他们 他们 使用 一个 机器人 来 挤 牛奶 这个 机器人 会 自动 找出 乳牛 乳头 装 上 挤奶 装置 机器人 可以 记录 每 一头 乳牛 长期 分泌 牛乳 的 统 计 资料 找出 优化 的 挤奶 策略 以前 他们 要 分析 这些 牛乳 数据 都 要 先 把 样本 送到 有 网络 连接 的 地方 在 把 数 据传 送到 可 分析 的 实验室 里面 可是 现在 只要 用 智能 型 手机 他们 还 搭 上 智能型 手机 的 APP 还有 外部 传感器 连 上 云端 系统 就 可以 直接 分析 这些 牛乳 资料 知道 生 菌 数 或是 乳牛 是否 健康 有没有 感染 乳腺炎 他们 这 套 仪器 要价 20 万 美金 来 挤 牛奶 但 是从 2007 年到 2011 年 一 头牛 可以 多生 产出 1142 磅 的 牛乳 因为 Big Data 挤 牛奶 也 可以 变 的 更 有效率 也 更 不 花 人力 了 另外 不 晓得 大家 有没有 常常 塞 在 车 阵 中 动弹 不得 看着 导航 预计 抵达 的 时间 一 分 一 秒 的 往后 推迟 的 经验 却 又 不行 要求 导 航机 转换 道路 的 窘况 根据 在 卫星 导航 业 工作 的 朋友 表示 欧洲 的 卫星 导航 大厂 早就 已经 把 海量 数据分析 的 概念 导入 路径 规划 的 的 算法 里面 了 可以 替 驾驶 预知 交通 装 况 喔 只是 台湾 的 用户 可能 还要 再 等 一阵子 荷兰 商 导 航机 厂 TomTom 中文版 才 会 支持 这么 棒 的 功能 TomTom 卫星 导航 HD Traffic TomTom 利用 实时 监测 超过 八 千 万 支 匿名 的 移动电话 一 百 万台以上 的 TomTom Live 卫星 导 航机 在 路面 上 的 移动 速度 搭配 RDS-TMC 的 道路交通 信息系 统 建构 一个 完整 而且 实时 的 交通 数据库 透过 GPRS 将 实时 的 道路 信息 例 如 某 路段 的 现在 平均 速度 红绿灯 交换 频率 路段 在 每 星期 不同 日子 的 平均 速度 道路 施工 状况 以及 事故 状况 的 数据 以 每 两 分钟 一 次 的 频率 及时 推 播 给 卫星 导航 机 甚至 装 在 Apple iphone 或是 Android phone 上 的 TomTom 导航 app 路径 规划 算法 便 可以 根据 现在 的 路况 做 实时 修改 提供 驾驶人 一 条 现在 的 优化 路径 节省 宝贵 的 时间 即便 你 身陷 车 阵 当中 用 路人 也 可以 精准 的 知道 delay 的 时间 目前 根据 统计资料 使用 此 服务 的 驾驶 平均 可以 节省 15% 的 行车 时间 上图 引用 自 TomTom Live Traffic 为 纽约 曼哈顿 的 实时 路况 数据 传统 的 最 短 或是 最 快速 路径 规划法 搭配 Real-Time 路况 数据 帮助 驾驶 避免 进入 壅塞 或是 施工 路段 左图 为 最 短路 径 规划 右图 为 真实 用 路 时间 历史 纪录 可以 看到 红绿灯 的 多寡 频率 以及 真实 行驶 速度 大大 影响 了 路径 规划 的 策略 呢 引用 自 TomTom 此外 这种 运用 实时 数据 运算 建立 的 卫星 导航 路径 规划 不仅仅 可以 用 在 一般 开车 的 用 路人 身上 更 可以 帮助 运输业 建立 车队 管理系统 怎么样 更 有效率 的 规划 车队 分配 最佳 路径 规划 多 中继 点 路径 规划 让 运输 业者 可以 用 最小 的 车队 规模 最少 的 油耗 量 达到 最佳 的 运输量 以及 最 精准 的 递送 时间 在 全球 一 片 减少 节能 减 少 碳 的 声浪 中 Big data 的 技术 帮助 TomTom 宣称 自己 绿色企业 也 帮助 其 其 解决方案 使用者 加入 绿色企业 的 一 员 而 笔者 没想到 的 是 用 海量 数据 也 可以 成为 赢得 大选 的 利器 之一 我们 网友 戏称 脸 书 治国 马 宗 痛 也 许是 另类 Big Data 不 知道 有没有 利用 这种 技术 来 打 选战 啊 美国 的 欧 巴马 倒是 走 在 时代 尖端 喔 Barack Obama 用 Big Data 打赢 大选 数据分析 Data mining 在 欧 马 巴 竞选 中 发挥 关键 且 重要 的 作用 欧 巴马 竞选 阵营 的 数据分析 团队 为 竞选 活动 搜集 储存 和 分析 了 大量 数据 帮助 其 竞选 团队 成功 策划 多 场 活动 为 欧 巴马 竞选 筹集 到 10 亿 美元 资金 上图 为 欧 巴马 在 胜 选 后 第 一 张 分享 到 推 特 上 的 照片 今年 春天 欧 巴马 竞选 阵营 的 数据分析 团队 注意 到 影星 乔治 克 鲁尼 George Clooney 对 美国 西海岸 40 岁 至 49 岁 的 女性 具有 非常 大 的 吸引力 她们 是 最 有 可能 为了 在 好莱坞 与 乔治 克隆 尼 和 欧 巴马 共进 晚餐 而 自 掏腰包 的 族群 而 最终 乔治 克隆 尼 在 自家 豪宅 举办 的 筹款 宴会 上 为 欧 巴马 筹集 到 数 百 万 美元 的 竞选 资金 不只 在 西岸 竞选 团队 同样 希望 东海岸 也 能 如法炮制 乔治 克隆 尼 效应 的 成功 经验 最后 Big Data 数据分析 把 箭头 指向 了 莎拉 杰西卡 帕克 于是 一 场 在 莎拉 杰西卡 帕克 的 纽约 West Village 豪宅 与 欧 巴马 共进 晚餐 的 募款 竞争 便 诞生 了 对于 普通 民众 而言 他们 根本 不 知道 这次 活动 的 想法 源于 欧 巴马 数据分析 团队 对 莎拉 杰西卡 帕克 粉丝 研究 的 重大 发现 这些 粉丝 喜欢 竞赛 小型 宴会 和 名人 竞 选 主管 在 此次 选战 中 打造 了 一个 规模 五 倍 于 2008 年 竞选 时 的 数据分析 部门 这个 由 几十 人 组成 的 数据分析 团队 的 具体 工作 被 严格 保密 有关 这个 团队 的 更多 细 节 是 不会 对外 透露 的 因为 欧 巴马 竞选 阵营 牢牢 固守 着 他们 自认 为 比 罗姆尼 竞选 阵营 有 优势 的 地方 即 Data 上图 为 欧 巴马 的 数据分析 团队 工作情况 源自 时代 杂志 这种 协助 筹款 的 技术 随后 又 被 用于 预测 投票 结果 使 他们 可以 准确 了解 每 一类 人群 和 每 一个 地区 选民 在任 何 时刻 的 态度 这 带来 了 巨大 的 优势 当 第一次 电视 辩论 结束 后 选民 的 投票 倾向 发生 改变 而 数据分析 团队 可以 立即 知道 什么样 的 选民 改变 了 态度 什么样 的 选民 仍 坚持 原来 的 投票 选择 再者 每天 晚间 高达 6.6 万 次 大选 结果 被 模拟 以 考虑 多种 不同 情况 并 于 每天 上午 获得 结果 了解 在 这 各州 胜出 的 可能性 从而 针对性 地 分配 资源 这种 由 根据 数据分析 的 决策 方式 在 欧 巴马 成功 连任 的 过程 中 发挥 了 重要 作用 从前 依赖 预感 和 经验 的 华盛顿 特区 竞选 专家 地位 正在 迅速 下降 并且 被 善于 利用 大批 量 数据分析 的 专家 和 程序 设计师 所 取代 在 政治界 Big data 的 时代 已经 到来 Linkedin 等于 职场 版 的 脸 书 不 知道 各位 读者 有没有 使用 Linkedin 的 经验 笔者 曾 在 海外 工作 过 一 段 时间 发现 老外 常用 专业 工作 上 的 社交 软件 叫做 Linkedin 刚好 也 有 机会 在 此 网站 上面 登录 Linkedin 用户 可以 把 自己 的 专长 工作 技能 学 经历 论文 专利 发表 等 相关 数据 放在 个人档案 中 与 大家 分享 就 像 脸 书 一样 大家 可以 互 相 连结 甚至 连队 朋友 的 专业 技能 类似 按 赞 的 Endorse 背书 功能 也 有 Linkedin 到底 跟 Big Data 有 什么 关系 呢 我们 可以 从 页面 观察 到 的 数据分析 包括 1 谁 在 浏览 你 的 档案 2 在 过去 15 天 中 有 多少 人 浏览 过 你 的 页面 3 在 过去 20 天 中 你 的 档案 出现 在 关键词 搜寻 中 的 次数 4 正在 浏览 的 你 自己 数据 页面 的 人 他们 又 浏览 了 哪些 人 的 页面 5 根据 的 你 档案 你 可能 会 认识 谁 6 你 的 工作 技巧 在 现今 是 当红 还是 退烧 各种 统计数据 的 呈现 可以 说是 族 繁 不及 备 载 用户 可以 根据 这些 数据 修改 或是 增进 自己 履历 页面 的 丰富 度 聊 解 你 自己 目前 在 就业市场 的 竞争力 或是 比较 跟 具有 类似 背景 的 人 他们 的 学 经历 又是 如何 甚至 可以 跟 他们 互相 连结 切磋 职场 心得 当然 履历 经验 越是 丰富 的 的 人 常常 就 会 有 猎人 头 公司 的 成员 跟 你 联络 或是 推荐 职 缺 给 你 喔 Linkedin 目前 是 国外 相当 火红 的 职场 社交 网站 国内 目前 的 普及 度 还是 不 高 不过 在外 商圈 的 员工 使用率 算是 比较 活跃 一 点 从 上述 的 例子 看来 Big Data 的 应用 还 真是 包罗万象 我 想 不久 的 将来 很多 六 七 年级 生 小时候 的 回忆 闪电 霹雳 车 动画 里面 风 见 隼 人 的 智能 驾驶 辅助 系统 阿斯拉 出现 在 路上 或是 关键 报告 里面 的 预测 犯罪 的 先知 也 成为 警方 办案 的 利器 我们 应该 也 不会 觉得 奇怪 就让 我们 拭目以待 吧 金融 行业 如何 利用 大数据 掘金 有人 曾经 形容 推动 大数据 应用 就 好比 先 铲 下 一大 把 沙子 再 从 沙砾 中 挖掘 黄金 由于 沙子 含金量 不见得 高 所以 挖掘 过程 难免 辛苦 但 一旦 真 能 找到 价值 不菲 的 黄金 一切 辛苦 代价 都 很 值得 经营 百货 量贩 零售 连锁 加盟店 或 电子商务 的 企业 不时 需要 面对 为数 庞大 但 忠诚度 未必 很 高 的 顾客 群 如何 让 广大 顾客 愿意 在 自己 的 场 域 里 消费 甚至 愿意 扩大 消费 规模 无疑 是 一门 不得不 做 却 又 不 容易 做 的 苦功 所以 推动 大数据 加 值 应用 的 迫切性 很 高 大数据 概念 同样 的 道理 以 消 金 消费型 金融 为首 的 金融 事业 一样 面对 为数 庞大 但 忠诚度 未必 很 高 的 顾客 群 一样 企盼 顾客 多 加 关照 自己 不 做 他 想 一样 希望 从 口袋 掏出 更多 钱 选用 更多 商品 与 服务 在 此 前提 下 金融业 投入 大数据 淘金 热潮 自然 也 是 合情合理 唯一 不同 之 处 在于 金融业 是 一个 必须 接受 政府 高度 管制 的 行 业 有 许多 法令 规章 亟待 遵循 比方 说 即使 同一 金 控 集团 旗下 拥有 从事 不同 业 别的 个体 然 不同 个体 间 意欲 交互 运用 个别 客户 资料 是 受到 法令 限制 的 所以 金融业 推动 大数据 应用 或许 没 办法 像 零售业 那般 大开 大 阖 或许 需要 融入 更多 精巧 的 设计 以 银行 而论 能够 靠着 大数据分析 做到 哪些 事情 若 将 守势 攻势 予以 区 隔 关于 守势 部分 被 需要 优先 被 满足 的 即 是 遏止 诈骗 或 非法 洗钱 等 不当 行径 以 避 免 银行 蒙受 不必要 的 钱财 或 商誉 损失 透过 大数据 信用卡 诈骗 无 所 遁形 例如 墨西哥 的 Banco 银行 长期 饱受 层出不穷 的 信用卡 侧 录 盗 刷 事件 困扰 亟 欲 追溯 并 捣毁 犯罪 集团 的 源头 无奈 迟迟 找 不 出 正确 的 章法 倘若 运用 传统 资料 分析 技术 难免 旷 日 费时 完全 跟不上 犯罪 集团 的 蔓延 速度 几经 苦思 决定 采用 大数据分析 技术 并 找 来 大批 统计 专家 助阵 再 根据 盗 刷 时间 盗 刷 地区 等 复杂 资料 维度 进行 抽丝剥茧 终 能 利用 短短 不到 一 天 的 分析 时间 从 看似 庞杂 的 事件 中 理 出头 绪 成功 将 不 宵 份子 一 网 成 擒 让 该 银行 得以 迅速 止血 此 一 案例 无疑 为 大数据分析 应用 做 了 非常 漂亮 的 诠释 无独有偶 身为 全球 业务量 排名 第 一 的 信用卡 发卡 组织 VISA 也 凭借 大数据分析 技术 巧妙 化解 了 信用卡 诈骗 盗 领 等 事件 的 侵扰 VISA 何以 必须 仰赖 大 数据分析 技术 只 因为 其 握有 全球 规模 最大 的 付费 网络系统 VisaNet 借以 执行 信用卡 的 支付 验证 每天 需要 处理 逾 1 亿 次 的 授权 交易 并 与 数以百万计 的 ATM 进行 连线 存取 所以 每天 皆 会 新增 上 亿 笔 交易 记录 一 年 累积 下来 资料量 少 说 数 十 TB 要 在 如此 庞大 的 资料 中分 析 数亿 个 账户 之间 的 关联 运用 传统 资 料 分析 技术 并非 做 不到 但是 必须 花 上 至少 一个 月 时间 此 一 分析 与 防 制 速度 能够 实时 应付 此起彼落 的 伪 卡 交易 答案 显然 是 否定 的 缘于 此 故 VISA 在 4 年前 决定 导入 Hadoop 运用 分散式 运算 架构 处理 并 分析 大量 数据 结果 硬是 将 原本 得 历时 一个 月 的 分析 时间 大幅 缩短 到 15 分钟 内 完成 终 至 能 以 最快 速度 洞悉 各地 的 可疑 交易 旋即 对 银行 提出 预警 竭尽所能 遏 阻 诈骗 交易 举例来说 当 某 一 使用者 在 英国 伦敦 刷卡 消费 结果 此后 不到 几 分钟 又 在 香港 进行 刷卡 这种 明显 悖逆 常理 的 交易 行为 看似 容易 防 制 但 若 仅 倚靠 过往 技术 其实 仍 有 极 高难度 如今 VISA 运用 大数据分析 技术 即 可在 第 一时间 察觉 异状 力阻 相同 事件 在 各地 扩散 之 势 另一方面 以 个 资 法 为 例 无庸置疑 的 金融业 肯定 是 最 容易 触 法 的 重点 产业 之一 若干 寿险 业者 为了 避免 自己 沦为 泄露 个 资 的 疑犯 而 不 自知 遂 由 IT 部门 设 计 了 爬虫 随时 针对 各个 公开 媒体 进行 搜寻 一旦 收集 到 疑似 个 资 外泄 的 结果 再 加以 分类 整理 进一步 研判 这些 泄露 在外 的 个 资 究竟 是否 为 自己 所 流出 以便 于 实时 采取 因应 对策 而 这些 资料 搜集 与 过滤 的 历程 并 非一 蹴 可 几 而是 历经 了 浩大 工程 确实 得来 不易 考量 及 此 该 寿险 业者 也 正在 认真 思索 如何 从 这个 资料 洪流 里 挖掘 箇 中 价 值 进而 对 业务 部门 产生 助益 由此 开启 了 无限 的 想象 空间 藉由 精准 推荐 实现 以 客 为 尊 至于 攻势 部分 则 一如 零售 等 其他 产业 的 应用 情境 意 即 从 大量 顾客 的 行为 记录 中 找出 值得 耕耘 的 商业 契机 例如 位 在 西班牙 的 Santander 银行 利用 大数据分析 技术 挖掘 顾客 的 近期 需求 进而 在 每周 发送 给 顾客 的 讯息 中 个别 巧妙 置入 该 顾客 可能 深感 兴趣 的 商品 暨 相关 优惠 信息 藉 此 带动 顾客 采购 频度 与 数量 的 提高 终 至为 该行 创造 可观 利润 新加坡 花旗银行 则 是 将 大数据 应用 触角 予以 延伸 不仅 用以 带动 自家 商品 或 服务 的 销售 业绩 也 将 与 之 合作 的 外部 商家 餐厅 纳入 整 条 应用 价值链 利用 消费者 的 信用卡 交易 记录 加以 分析 研判 继而 适时 提供 相关 商家 或 餐厅 的 优惠 讯息 举例来说 某 一 消费者 采纳 了 新加坡 花旗银行 所 提供 的 此项 推荐 服务 后 端 系统 便 会 根 据 他 的 所有 刷卡 交易 历程 包含 消费 时间 或 地点 等等 分析 其 购物 与 饮食 习惯 譬如 偏好 吃 泰国 菜 某 天 傍晚 时刻 该 名 消费者 在 一地 刷卡 购物 后 银行 便 随即 送 讯息 告知 他 身处 的 周遭 有 关于 邻近 泰式 餐厅 的 优惠 信息 值得一提 的 新加坡 花旗银行 所 运用 的 大数据分析 系统 还 具备 了 自我 学习 进步 的 功能 也就是说 银行 为 消费者 提供 商品 推荐 讯息 后 当然 有的 会 获得 采纳 有的 则 不 获 青睐 所以 系统 会 根据 采纳 推荐 的 比例 持续 提高 后续 推荐 的 精准 度 期许 带给 消费者 更 大 的 贴心 与 便利 可以 而 知 假设 你 身为 银行业 的 业务 主管 身处 在 百家争鸣 的 激烈 竞 局 中 你 做到 精准 推荐 而 同业 或许 做 不到 或许 不如 你 做 得到 位 如此一来 你 在 消费者 眼 里 就 多 了 一 份 别人 所 不 具备 的 附加 价值 那么 你 在 竞 局 中 脱颖而出 的 胜算 自然 比 同业 高出 一大 截 由此可见 大数据分析 确实 魅力 无穷 即便 后起之秀 亦 能 扭转 市场 游戏规则 另外 大数据 亦 是 改变 金融 产业 竞争 格局 的 触媒 为 一些 新兴 业者 提供 了 切入 市场 的 契机 例如 保险业界 有 部分 后起之秀 便 运用 大数据 开启 了 有别 传统 的 商业 模式 透过 诸如 剎 车 频率 行车 速度 等 驾驶 行为 进行 分析 比对 据此 研判 该 名 驾驶 出现 意外 事故 的 机率 再 根据 机率 大小 弹性 收受 不同 等级 的 保费 换言之 驾驶 行为 者 即可 适用 于 较 低 的 保费 然而 习惯性 采取 危险 驾驶 的 族群 保费 则 急遽 升高 终 至 能 站 在 保险 业者 的 经营 角度 于 利润 风险 两端 天平 之间 巧妙 找出 最 佳 的 平衡点 从事 小额 贷款服务 的 新兴 业者 ZestCash 一向 标榜 让 人人 都 能 贷款 让 人 不禁 好奇 何以 有 业者 愿意 甘 冒 高风险 承 作 一些 已 遭 金融机构 拒 于 门外 的 贷款 业务 其中 的 奥妙 就 在 大数据分析 一般 银行 通常 取决 FICO 信用卡 记录 评分 来 决定 是否 放款 但 此 一 评分 机制 仅 考量 不到 20 种 变量 难免 失之偏颇 而 ZestCash 则 是 利用 大数据分析 技术 探测 数千 个 变量 所以 能够 巧妙 挖掘 出 更多 真相 一些 被 银行 认定 为 高风险 的 贷款 案件 到 了 ZestCash 手中 可能 变成 偿债能力 无虞 的 贷款 案件 一来 一 往 之间 后者 做到 更多 生意 却 未必 承担 更 大 风险 得以 在 市场 中 杀出重围 全都 归功 于 大数据 大数据 的 发展 需要 扎扎实实 的 应用 不能 总是 玩 概念 更 需要 多方 面的 积累 资源 提升 技术 水平 在 数据 存储 数据分析 和 应用 场景 上 不断 开拓 创新 如此 才 能 真正 触摸 到 大数据 的 灵魂 在 8 月 31 日 举行 了 百度 百家 BIG 大 对话 中 IT 人类 动力 实验室 主任 可 穿戴 设备 之 父 全球 七大 权威 大数据 专家 之一 的 阿莱克斯 彭 特兰 向 与会 人士 介 绍 了 人工智能 与 大数据 方面 的 最近 进展 和 思考 这 也 引发 了 社会 上 对 大数据 的 新 一轮 关注 大数据 在 国内 已经 形成 应用 热潮 最近 两 年 大数据 概念 在 中国 非常 热 各方 面的 应用 也 已经 开始 推进 最为 著名 的 便是 刚刚 结束 的 巴西 世界杯 比赛 的 赛事预测 在 其他 方面 上海 等 大城市 利用 大 数据 进行 智慧 交通管理 一些 电商 网站 也 利用 大数据 进行 客户 行为 和 购买 预测 提升 了 精细化 营销 的 水平 国内 最为 重视 大数据 的 公司 以 BAT 三家 互联网 巨头 为 最 腾讯 有 数亿 社交 用户 的 交流 信息 阿里巴巴 有 亿万 网 购 用户 的 交易 行为 数据 百度 掌握 了 中国 互联网 用户 最为 集中 的 搜索 行为 和 流量 指向 数据 所以 这些 公司 都 拥有 了 很 好 的 大数据 应用 的 基础 以 百度 为 例 百度 的 世界杯 大数据 预测 在 巴西 世界杯 期间 帮助 很多 人 更好 的 观看 比赛 和 预测 赛果 而 百度 糯米 的 专 享 座 服务 更是 创造 了 大数据 趣味 应用 的 经典 之 作 当然 央视 与 百度 的 合作 在 春节 期间 对 春运 客流 的 分析 让 很多 人 第一次 感受 到 了 大数据 的 威力 而 与 联合国 启动 战略 合作 共建 大数据 联合 实验室 更是 开创 了 联合国开发计划署 的 先例 c 8177 f3e 6709 c 93 d 06 f 97 ee 19 c3df 8dcd 1005498 jpg 什么 是 大数据 数据采集 能力 至关重要 按照 百科 的 解释 大数据 big data 或 称 巨量 资料 指 的 是 所 涉及 的 资料量 规模 巨大 到 无法 通过 目前 主流 软件 工具 在 合理 时间 内 达到 撷取 管理 处理 并 整理 成为 帮助 企业 经营 决策 更 积极 目的 的 资讯 即便 如此 有关 大数据 也 仍然 没有 大家 都 能 普遍 接受 的 统一 定义 可以 说 数据 量 大 并非 大数据 再 大量 的 数据 如果 不能 被 利用 也 不能 被 称为 大数据 而 单一 领 域 的 大量 的 数据 的 集合 更 不是 真正 意义 上 的 大数据 根据 一般 的 理解 大数据 应该 是 围绕 特定 的 主题 而 将 看起来 毫不相干 的 数据 集成 在 一起 构成 统一 视图 然后 寻 找到 期间 合理 的 关联 因素 从而 超越 简单 的 统计分析 而 得出 意想不到 的 结论 阿莱克斯 彭 特兰 教授 指出 了 大数据 应用 比较 成功 的 几 个 领域 包括 营销 场景 的 预测 城市 管理 疾病 预测 金融 预测 等等 这些 方面 都 要 依靠 海量 的 数据 积累 和 不同 的 客户 应用 场景 互联网 搜索引擎 具有 先天 优势 百度 是 世界 人口 最 多 国家 的 最大 搜索引擎 最近 也 在 积极 加强 国际 布局 刚刚 又 高调 进入 葡语 市场 十几 年来 积累 了 大量 的 数据资料 这是 其他 互联网 公司 无 法比 拟 的 优势 大数据 之 大 更多 的 意义 在于 人类 可以 分析 和 使用 的 数据 在 大量 增加 通过 这些 数据 的 交换 整合 和 分析 人类 可以 发现 新 的 知识 创 造 新 的 价值 并 让 很多 常态 化 的 认知 判断 思维 定势 产品 形态 服务 模式 形成 全新 的 面貌 和 演进 方向 显然 百度 面向 的 是 全网 用户 的 全 方面 使用 因此 是在 这些 领域 数据资料 最全 的 公司 最 有 能力 展开 大数据 领域 的 探索 通过 大数据 的 分析 百度 实现 了 从 搜 信息 到 搜 产品 的 转变 也 在 数据 利用 方面 不断 创新 2cf 5e 0fe 9925 bc 310 ec 6718 e5ddf 8db 1cb 137008 jpg 大数据 不仅仅 要 大 更 需要 先进 的 数据分析 与 应用 能力 在 国内 拥有 海量 数据 的 公司 不少 比如 银行 航空 通信 运营商 但 这些 公司 对 数据 的 利用 显然 不够 限于 体制 与 人员结构 上 的 问题 至今 在 大数据 方面 才 刚刚 起步 互联网 在 这方面 已经 捷足先登 了 腾讯 阿里 都 有 自己 的 大数据 应用开发 团队 百度 在 2013 年初 就 成立 了 百度 研究院 其中 第 一个 重点 方向 的 就是 深度 学习 并 为此 而 成立 Institute Of Deep Learning IDL 作为 大数据 领域 的 领先 研究机构 为 百度 这 两 年 在 大数据 领域 的 进展 做好 了 技术 与 人才 准备 本次 世界杯 预测 模型 也 正是 由 百度 深 度 学习 研究院 派遣 资深 数据 科学家 协助 大数据 部 研发 团队 共同 构建 的 其 小组赛 阶段 的 预测 成功率 为 58.33% 淘汰赛 阶段 全部 预测 准确 媒体报道 显示 在 李彦 宏 亲自 推动 下 百度 深度 学习 研究院 吸引 了 一 大批 世界级 科技 精英 的 加盟 比如 前 Facebook 资深 科学家 徐伟 美国 新泽西 州立 大学 统计 系 教授 张 潼 等 同时 还 邀请 到 谷 歌 大脑 之 父 吴 恩 达 的 加盟 5fdf 8db 1cb 134954518 a 9872554 e 9258 d 1094 a0b jpg 大数据 的 应用 还 需要 载体 不能 称为 无本之木 横空出世 的 小米 手机 特斯拉 的 电动车 乐 视 的 超级 电视 海尔 的 空气 盒子 引发 热潮 的 微软 小 冰 热播 的 纸牌 屋 之类 的 产品 它们 和 传统 的 创新型 产品 似乎 并 无 很大 差异 但 背后 其实 都 有 大数据 应用 的 影子 以 大 悦城 为 例 当 消费者 想 去 一个 商家 百度 会 通过 大数据 存储 和 分析 告诉 他 这个 商家 在 几 层 里面 有 多少 人 消费者 想 离 店 百度 地图 将 指引 具体 路线 怎么 去 停车场 更 准确 地 找到 自驾 车辆 大数据 的 价值 要 通过 相应 的 产品 体现 出来 比如 智能 可 穿戴 设备 就 离不开 大数据 的 应用 否则 将 变成 死气沉沉 的 玩具 在 大数据 的 利 用上 国内 比较 成熟 的 领域 包括 互联网 金融 方面 的 风险 控制 网 购领 域 的 智能 推荐 以及 物 联网 交通管理 等 比较 成功 的 产品 有 阿里巴巴 的 余额 宝 咕咚 智能 手 环 百度 的 百度 指数 等 在 大数据 的 应用 上 百度 可以 说是 不遗余力 实际上 百度 也 早已 超越 搜索 成为 集合 网页 贴吧 图片 知道 新闻 等 优势资源 的 跨 屏 整合营销 平台 覆盖 了 网 友 所有 的 关键 营销 时刻 百度 通过 知心 搜索 轻 应用 语音 搜索 LBS 方圆 定位 技术 等 技术 百度 正 努力 实现 让 搜索引擎 像 人脑 一样 智能 数据 显示 2 013 年 百度 净利润 有 三分 之 二 支出 具有 科技 感 的 移动 项目 上 智能 手 环 智能 手表 电子秤 等等 都 有 涉及 还 据说 在 研发 无人 驾驶 自行车 总体 上 说 大数据 的 发展 需要 扎扎实实 的 应用 不能 总是 玩 概念 更 需要 多方 面的 积累 资源 提升 技术 水平 在 数据 存储 数据分析 和 应用 场景 上 不断 开拓 创新 如 此 才能 真正 触摸 到 大数据 的 灵魂 260 亿 元 大数 据 项目 落户 郑东新区 2016 北京 大数据 展 阿里 云 百度 腾讯 一大 拨 高大 上 互联网 企业 正 悄然 在 郑东新区 白沙 组团 集聚 12 月 30 日 上午 总 投资 260 亿 元 的 白沙 大数据 产业园 和 河南 投资 集 团 总部 入 区 项目 正式 落户 郑州 郑东新区 大数据 产业 园区 建成 后 将 吸引 数千 家 与 大数据 云 计算 相关 的 互联网 企业 入驻 在 此 形成 完整 的 大数据 开发 和 应 用 产业 链条 成为 全国 领先 中部 一流 的 大数据 产业 基地 据 介绍 白沙 大数据 产业园 项目 总 规划 占地 面积约 2000 亩 南 至 白沙 组团 永盛 西路 北 至 豫 兴 大道 东至 前程 路 西 至 锦绣 路 总 建筑 面积约 300 万 平方米 建设 周期 2 至 5 年 为 促进 整体 合作 的 顺利 进行 河南 投资 集团 总部 及 所属 企业 将 迁入 白沙 组团 另外 利用 与 阿里巴巴 集团 的 战略 合作关系 河南 投资 集团 将 协助 引入 百度 腾讯 等 知名 互联网 云 计算 企业 入驻 大数据 产业园 全部 建成 后 将 实现 产值 超 2000 亿 元 税收 突破 60 亿 元 新增 就业 岗位 3 万余 个 了解 更 多 详情 请 咨询 2016 大数据 组委会 010 5890 7096 186 1264 8493 看 工程造价 行业 是 如何 玩 转 大数据 的 工程造价 行业 一直 被 比作 老中医 行业 认为 造价师 有 经验 就 有 价值 为什么 无非 是 其 自身 通过 项目 的 实践 积累 了 大量 的 经验 数据 造价 行业 一直 被 比作 老中医 行业 认为 造价师 有 经验 就 有 价值 为什么 无非 是 其 自身 通过 项目 的 实践 积累 了 大量 的 经验 数据 数据 和 经验 跟随 员工 流动 企业 就 无法 从 公司 层面 进行 数据 和 经验 累积 分析 甚至 有效 利用 造成 大量 的 信息 资源 白白 浪费 造价 行业 亟需 有效 地 方式 对 庞大 的 数据 和 经验 值 进行 挖掘 利用 其 价值 实现 降低 成本 提升 效益 的 目的 随着 信息化 的 建设 大数据 涌入 工程造价 行业 这 对 造价 行业 来说 可谓 是 一 次 质 的 发展 建设 行业 工程 体量 大 周期 长 涉及 范围 广 材 价 数据 庞杂 难 获取 传统 数据 信息 录入 方式 耗时 耗 力 等 导致 传统 造价 行业 数据 信息 的 利用 仍 停留 在 初加工 阶段 海量 的 数据 只是 摆设 数据 价值 仍 是 空谈 大数据 的 出现 不 在于 掌握 庞大 的 数据 信息 而 在于 将 这些 含有 意义 的 数据 进行 专业化 处理 提高 对 数据 的 加工 能力 通过 加工 实现 数据 的 增值 造价 通 中国首家 建设 行业 大数据 服务平台 以 大数据 为 核心 打造 建设 工程造价 行业 数据 应用 新 体系 1 海量 材 价 数据 一键 查询 造价 通 推出 查 价 服务 材 价 数据 覆盖 326 个 城市 超过 5 亿 条 价格 信息 首创 五大 行业 信息 价 更 有 遥遥领先 同行 1 个 月 数据 更新 提供 最全面 最 及时 最 精准 最 专业 的 数据 信息 2 创建 非标 材料 设备 询价 圈 专业 询价 工程师 一对一 服务 开启 7 24 小时 秒 回 时代 全国 12 万家 诚信 供应商 精准 报价 打造 造价 行业 信息 资源共享 数据 平 台 3 打造 企业 数据 解决方案 企业 云端 数据库 通过 云 存储 空间 自动 分类 存储 建材 信息 通过 权限 管理 任务 分配 技术 维护 等 方式 保证 数据库 安全 可靠 通过 数 据 库 的 统计 分类 功能 进行 实时 监控 控制 数据 的 有效性 4 历史 数据分析 使 数据 循环 利用 通过 对 历史 造价 大数据分析 测算 得出 该 建材 的 历史 价格走势 得出 造价 指标 指数 生成 价格 走势图 由此 预测 材料 在 近期 的 波动 幅度 更好 地 对 造价 成本 进行 管控 以 大数据 技术 作为 支撑 造价 通 实现 了 造价 行业 海量 数据录入 存储 整合 分析 指导 的 闭合性 全过程 造价 行业 的 数据 不再 只是 苍白无力 的 量 大 价值 的 温度 和 深度 慢慢 彰显 大数据 技术 更好 地 满足 造价 行业 现阶段 的 需求 是 顺应 时代 发展 的 产物 工程造价 行业 企业 要 建立 信息化 的 意识 以 开放 务实 包容 的 态度 理解 和 运用 科学技术 手段 不断 提升 企业 的 竞争力 谋求 长远 的 发展 数据 及 大数据 技术 的 出现 使得 各行各业 面临 着 新 的 变革 这些 变革 或者 大大 推进 了 行业 的 发展 或者 逐渐 颠覆 传统 的 运行 和 发展 模式 例如 互联网 和信 息 行业 的 快速 发展 使 其 具备 了 新 的 内涵 通过 深度 的 数据管理 数据挖掘 引言 数据 及 大数据 技术 的 出现 使得 各行各业 面临 着 新 的 变革 这些 变革 或者 大大 推进 了 行业 的 发展 或者 逐渐 颠覆 传统 的 运行 和 发展 模式 例如 互联网 和 信息 行业 的 快速 发展 使 其 具备 了 新 的 内涵 通过 深度 的 数据管理 数据挖掘 数据分析 等 展现 大数据 可以 对 行业发展 起到 预测 预警 指引 等 作用 大数据 将 其 精准 客 观 科学 的 价值 转化 为 一 种 生产 元素 渗透 到 传统 行业 的 各个 环节 中 去 从而 带来 某些 甚至 是 本质 上 的 变革 正文 传统 的 物质 世界 因为 时空 限制 信息 是 严重 不 对称 的 我们 以往 很多 的 商业 模式 都 是 基于 信息 不 对称 的 物质 世界 而 建立 的 很多 商业 模式 都 是 因为 赚取 信息 不对 称 的 利润 而 生存 如 电视台 报纸 网络 等 广告 模式 当 世界 上 的 人 事 物 都 因为 产生 大量 数据 而 构 建起 关联 关系 让 人类 获 得了 无限 的 信息 对称 一切 基于 信 息 不 对称 的 物质 世界 而 建立 的 商业 模式 势必 获得 变革 未来 主流 的 商业 模式 之一 将 是以 大数据 为 基础 的 产业 互联网 医疗 行业 也 是 一样 医学 大数据 广泛 涉及 人类 健康 相关 的 各个 领域 如 临床 医疗 公共卫生 医药 研发 医疗 市场 健康管理 气候 与 环境 精神 与 心理学 人类 遗传学 与 组 学 社会 人口学 等等 一般 地 讲 大数据 具有 4V 特征 1 数据 容量 Volume 大 常常 在 PB 1PB 等于 2 的 50 次方 B 级 以上 2 数据 种类 Variety 多 常常 具有 不同 的 数据 类型 结构化 半 结构化 和 非 结构化 和 数据 来源 3 产生 和 更新 速度 Velocity 快 如 实时 数据流 时效性 要求 高 4 科学 价值 或 商业 价值 Value 大 常常 蕴藏 着 新知 识 或 具有 重要 预测 价值 人类 已 进 人 大数据 时代 国际数据公司 的 研究 结果 表明 近 几 年 全球 产生 的 数据 量 高达 数 个 ZB 基于 这样 一个 大数据 的 概念 我们 会 在 各行各业 比如 医疗 行业 将 迎来 深度 的 行业 变革 甚至 颠覆 性 的 变革 且 看 下面 一个 有关 医疗 行业 大数据 应用 的 例子 和 你 一样 的 病人 Lloyd 的 大数据 故事 我们 看到 了 这样 一个 故事 如果 一 位 医生 还 在 抱怨 病人 得了 搜索 病 指 看病 前 习惯 先 上网 查查 自己 可能 得了 什么 病 那么 这个 医生 大概 已经 落伍 了 基于 大数据 在 医疗 领域 的 深度 应用 美国斯坦福大学 医学院 一群 富有 创新 精神 的 医学专家 正和 硅谷 的 医疗 产业 专家 合作 推进 一个 最新 的 科研项目 和 你 一样 的 病人 通过 这个 智能 系统 病人 有 望 自查 疾病 这 也 减少 了 医生 因 经验 累积 有限 而 导致 的 误诊 或 漏诊 的 案例 这个 系统 有望 成为 医生 的 好 帮手 也 可能 颠覆 现 有的 医疗 模式 在 斯坦福大学 医学院 已有 令人 脑 洞 大开 的 科研进展 医生 们 开发 的 这个 名为 和 你 一样 的 病人 的 系统 里 积累 了 上 百 万条 药物 治疗方案 病例 信息 等 数 据 登录 者 键入 身体 状况 年龄 不适 部位 等 系统 就 会 给出 一个 完全 个性化 的 诊断 结果 以及 理想 的 治疗方案 这种 系统 筛 选出 的 治疗方案 可 能比 医生 的 方案 效 果 更好 能 让 更多 病人 获得 真正 属于 他们 的 最 优 治疗 因为 我们 都 知道 医生 的 治疗 水平 很大 部分 来自 于 医学 积累 也就是 经验 但 这种 积累 不论 是 30 年 还是 5 0 年 依然 是 有限 的 它 一定 没有 拥有 全体 病人 就医 数据 的 电脑 系统 见多识广 医学 大数据 颠覆 传统 医疗 的 几 个 场景 场景 之一 组 学 大数据 精准 医疗 人类 通过 开展 组 学 研究 及 不 同组 学 间 的 关联 研究 从 环境 生活方式 和 行为 等 暴露 组 学 至 个体 细胞 分子 水平 上 的 基因组 学 表观 组 学 转录 组 学 蛋白 组 学 代 谢 组 学 宏 基因组 学 再 到 个体 健康 和 疾病 状态 的 表型 组 学 等 利用 大数据 将 各种 组 学 进行 综合 及 整合 既 能 为 疾病 发生 预防 和 治疗 提供 全面 全新 的 认识 也 有利于 开展 个体化 医学 即 通过 系统 整合 生物 医学 与 临床 数据 可以 更 准确 地 预测 个体 患病 风险 和 预后 有 针对性 地 实施 预防 和 治疗 场景 之 二 大数据 虚拟 药物 研发 快速 识别 生物 标志物 和 研发 药物 利用 某种 疾病 患者 人群 的 临床 数据 和 组 学 数据 可以 快速 识别 有关 疾病 发生 预后 或 治疗 效果 的 生物 标志物 在 药物 研发 方面 医学 大数据 使得 人们 对 病因 和 疾病 发生 机制 的 理解 更加 深入 从而 有助于 识别 生物 靶点 和 研发 药物 同时 充分 利用 海量 临床 数据 和 组 学 数据 已有 药物 的 研究 数 据 和 高通 量 药物 筛选 能 加速 药物 筛选 过程 场景 之 三 生物 大数 据 流行病 防治 快速 筛 检 未知 病原 和 发现 可疑 致病 微生物 通过 采集 未知 病原 样本 数据 对 病原 进行 测序 并将 未知 病原 与 已知 病原 的 基因 序列 进行 比对 从而 判断 其 为 已知 病原 或 与其 最 接近 的 病原 类型 据此 推测 其 来源 和 传播 路线 开展 药物 筛选 和 相应 的 流行 疾病防治 场景 之 四 互联 网 大数据 公 卫 监测 利用 互联网 大数 据以 及 有关 专业数据 实时 开展 公共卫生 监测 公共卫生 监测 包括 传染病 监测 慢性 非 传染 性疾病 及 相关 危险 因素 监测 健康 相关 监测 如出 生 缺陷 监测 食品安全 风险 监测 等 此外 还 可以通过 覆盖 全国 的 患者 电子 病历 数据库 进行 疫情 监测 通过 监测 社交 媒体 或 频繁 检索 的 词条 来 预测 某些 传染病 的 流行 场景 之 五 大数据 健康管理 实时 开展 大数据 健康管理 通过 可 穿戴 设备 对 个体 体征 数据 如 心率 脉率 呼吸 频率 体温 热 消耗量 血压 血糖 血 氧 体 脂 含量 等 数据 的 实时 连续 监测 和 流 数据挖掘 分析 提供 实时 健康指导 与 建议 更 科学 地 实施 个性化 健康管理 大数据 医学 研究 上面 列举 了 价格 医学 大数据 变革 医疗 行业 的 几 个 场景 但 这些 远 不是 医学 大数据 应用 的 全部 大数据 还 在 医学 研究领域 发挥 变革性 的 作用 本人 在 先前 的 博客 中 已 有 相关 讨论 这里 再 举 两个 例子 1 大数据 疾病谱 研究 了解 人群 疾病谱 的 改变 这 有助于 制定 新 的 疾病防治 策略 全球 疾病 负担 研究 是 一个 应用 大数据 的 实例 该 研究 应用 的 数据 范围 广 数据 量 巨大 近 4700 台 并 行 台式 计算机 完成 了 数据 准备 数据 仓库 建立 和 数据挖掘 分析 的 自动化 和 规范化 计算 应用 大数据 研究 人群 疾病谱 2 大数据 人群 队列 研究 以 大数据 为 导向 的 人群 队列 研究 逐渐 成为 医学 研究 的 热点 超大规模 队列 研究 具有 大 样本 如数 十 万 人群 前瞻性 如数 十 年 长期 随访 多学科 如 基础 临床 预防 信息 等 多学科 合作 多 病种 如 对 多种 疾病 进行 研究 多 因素 如 探讨 多种 危险 因素 整合 性 如 监测 系统 信息 系统 医保 系统 的 整合 共享性 如 生物 标本 和 数据 资源 的 共享 等 特点 经过 长期 随访 能够 产出 大量 人群 数据 基于 大数据 的 人群 队列 研究 更 具有 科学性 可靠性 和 权威性 医学 大数据 颠覆 传统 医疗 不是 命题 问题 只是 时间 问题 正如 本人 对流 行 的 颠覆 一 词 的 观点 颠覆 是 可能 的 但 不是 瞬间 的 而是 逐渐 的 颠覆 不 是 否定 颠覆 是 变革 颠覆 是 发展 医学 大数据 颠覆 传统 医疗 也 是 这样 医学 大数据 是 变革 传统 医疗 医学 大数据 是 发展 传统 医疗 想 看 更多 的 临床 医疗 科研 的 精品文章 也 可以 关注 我 的 微 信 公众 号 LinkLab 关于 大数据 抗癌 你 知道 多少 打开 微 信 点击 发现 使用 扫 一 扫 即 可将 网页 分享 至 朋友 圈 数据 猿 导读 谈到 大数据 更多 的 人 愿意 将 其 与 商业 价值 紧密 联系 但 近年来 技术 的 不断 发展 大数据 不仅 是 企业 的 摇钱树 更 成 了 为 公众 造福 的 主力军 c8ea 15 ce 36 d3d 539315 ef6c 13 d 87 e 950352 ab 055 jpg 作者 金 又 南 来源 数据 猿 生活 质量 的 普遍 提高 让 人们 愈发 关注健康 大数据 医疗 行业 也 风生 水 起 但 其实 大数据 为 医疗 行业 带来 的 利好 并 不 只是 挂号 便捷 在线 付费 那么 简单 从 苹果 奇 乔布 斯利 用 大数据 延寿 的 消息 起 大数据 抗癌 的 关注度 便 持续 走高 然而 你 真的 了解 大数据 抗癌 吗 大数据 又是 怎样 帮助 癌症 患者 治疗 的 呢 大数据 抗癌 是 什么 据 世界卫生组织 WHO 2015 年 最新 的 统计资料 显示 统计资料 显示 仅 2012 年 一 年 就 有约 1400 万新 发 癌症 病例 和 820 万 例 癌症 相关 病例 死亡 在 未来 20 年 里 新发 病 例数 将 增加 约 70% 即 死亡 病例 将 从 由 2012 年 的 1400 万 上升 到 2200 万 因此 提高 癌症 治愈率 势在必行 万能 的 大数据 也 就 自然 挺身而出 了 如 字面 意思 而言 大数据 抗癌 作为 精准 医疗 的 重要 研究 方面 就是 利用 逐 趋 完善 的 大数据挖掘 与 分析 处理 技术 对 世界 难解 疾病 癌症 进行 治疗 帮助 提高 治愈率 简单 来说 大数据 抗癌 有 两 方面 一 是 收集 病患 的 医疗 数据 提供 更为 个性化 的 诊治 二 是 进行 自身 DNA 和 肿瘤 DNA 的 重新 排序 通过 大数据 的 帮助 结合 医疗 技术 达到 减轻 患 癌 者 的 伤痛 甚至 痊愈 的 目的 大数据 帮助 癌症 患者 美国 作为 大多数 研究 行业 的 最前沿 阵地 美国 也 毫无 意外 的 成为 了 大数据 抗癌 第 一 发言人 美国 临床 肿瘤 协会 是 一个 非盈利 机构 目前 正在 积极 将 大量 原始 癌症 数据 转化 为 可用 信息 以期 帮助 未来 的 癌症 患者 现 有的 癌症 研究 资料 数量 巨大 而 庞杂 在 美 国 每 四 个人 里 就 有 一 个人 死 于 癌症 癌症 病患 数量 太 大 获取 搜索 和 利用 这些 原始 癌症 数据 的 重要性 不言而喻 在 170 万 美国 癌症 患者 中 只有 3% 的 患者 参与 了 临床 研究 美国 临床 肿瘤学 协会 的 前任 主席 Peter Paul Yu 表示 和 参与 临床 研究 的 患者 相比 大多数 未 参与 的 癌症 患者 年龄 较大 且 发病 情况 更加 多样化 所以 临床 研究 的 结果 并 不能 代表 美国 所有 患 癌病 人 的 情况 IT 技术 和 大数据 可以 帮助 医生 学习 到 更多 的 癌症 病患 情况 也 能 帮助 患者 降低 治病 成本 美国 临床 肿瘤学 协会 已经 发布 了 新产品 Cancer LinQ 这是 一个 肿瘤 研究分析 工具 目前 在 SAP HANA 平台 上 运行 这个 工具 使用 大数据 算法 从 病人 的 电子 病历 EHRs 译注 2004 年 小 布什 总统 开始 在 美国 推行 电子 病历 截至 2014 年 全 美 大多数 医院 和 患者 都 使用 电子 病历 中分 析 病人 的 实际 情况 在 Cancer LinQ 的 每个 层级 上 使用 的 算法 都 比 前 一级 更加 先进 利用 这种 递进 的 算法 更加 精确 地 解析 原始 数据 CancerLinQ 通过 以下 几 种 方式 帮助 医生 癌症 患者 和 研究人员 实时 监测 临床 数据 指标 持续 跟踪 病人 身体 状况 提高 治疗 效率 研究 病灶 发展 趋势 从 上千 患者 的 病灶 中分 析 病灶 发展 趋势 获得 确定 的 数据 识别 并 分析 患者 的 共同 病灶 医生 可以 从 一个 病人 的 治疗方法 中 掌握 治疗 类似 身体 状况 和 病症 的 患者 的 方法 更好 地 使用 电子 病历 EHRs 通过 对 电子 病历 进行 匿名 化 处理 医生 可以 了解 到 每个 病人 接受 的 治疗 方式 以及 每个 疗程 对 病人 的 治疗 效果 但 专家 认为 协同 工作 是 医疗 行业 面临 的 挑战 他 引用 了 美国 国家 卫生 信息 技术 协调 办公室 的 话 一个 协同 性 较 强 的 医疗 生态 系统 能够 方便 医生 为 不同 的 病人 提供 适合 他们 的 治疗 建议 病人 也 能 得到 更 精准 的 治疗 目前 美国 病人 的 电子 病历 信息 已 上传 至 CancerLinQ 平台 CancerLinQ 的 第一版 预计 在 2016 年 正式 投入 使用 中国 互联网 产业 活儿 越来 越好 中国 在 大数据 行业 脚步 一直 不停 国内 人口 众多 大数据 医疗 可谓 帮 了 不少 的 忙 说 到 大数据 治 癌 最近 国内 最为 红火 的 就是 互联网 巨 头 百度 与 医学 大佬 北京协和医院 的 强 强 联手 12 月 22 日 百度 与 北京 协和 医学院 召开 签约 发布会 双方 将就 癌症 研究 展开 合作 此外 百度 公司 董事长 兼 CE O 李彦 宏 个人 出资 赞助 3000 万 元 用以 此次 项目 中 食管癌 研究 项目 负责 专家 表示 深入 开展 相关 医学 研究 需要 进行 的 全 基因组 测序 和 比对 过程 会 产生 大量 数据 这些 数据 的 存储 生物学 分析 临床 相关性 分析 都 需要 巨大 的 数 据 存储 与 运算 能力 此次 合作 将 结合 北京 协和 医学院 分子 肿瘤 国家 重点 实验室 的 医学 研究 技术 和 百度 的 大数据 高效 储存 检索 与 智能 分析 技术 完成 全 基因组 测序 及 测序 结果 的 生物 信息 分析 工作 并 根据 大数据分析 结果 进一步 深化 与 食管癌 基因 检测 治疗 相关 的 医学 研究 日本 尽管 近年来 经济 增长 势头 不如 中国 迅猛 但 一向 专注 高精尖 的 日本 在 全球 大势 大数据 的 面前 可 一点儿 也 不含糊 这不 近日 日本国 立 癌症 研究中心 的 研究 团队 宣布 其 已经 研究开发 出 一 种 全新 的 癌症 检测 方法 只 需要 采集 少量 的 血液 样本 就 能够 全面 地 对 与 癌症 相关 的 60 种 基因 物质 进行 综合 检测 该 成果 对症下药 的 处理 利用 病患 以往 就医 的 数据 研究 再 结合 采取 少量 患者 最新 的 血样 便 能 准确 获取 患者 的 最新 病况 避免 了 早期 提取 患者 癌变 部位 的 组织 来 进行 检测 为 患者 带来 的 负担 此外 最新 的 研究成果 表明 尽管 不同 种类 的 癌症 相关 的 基因 物质 异常 存在 差异 但 部分 基因 物质 异常 情况 却是 各种 癌症 所 共通 的 因此 以 某种 特定 的 基因 物质 异常 为 标 靶 的 抗癌 药品 如果 能够 对 某种 特定 种类 的 癌症 产生 疗效 就 有 可能 也 会 对 其他 种类 的 癌症 有所 作用 总体 看来 大数据 抗癌 虽然 仍然 在 路上 但 各 国都 不吝 投入 的 在 这 一 高端 领域 探明 方向 大数据 治 癌 有 极大 可能 还 会 不断 深入 探索 但 可以 肯定 的 一 点 是 癌症 狂魔 是 内外 力作 用 的 共同 结果 保持 良好 的 生活 习惯 远离 疾病 才 是 确保 长寿 的 最 关键 步骤 最近 关于 四 种 大数据 营销 模式 的 文章 成为 营销 圈 内 热点 文章 根据 广告 与 大数据 之间 的 关联 和 丰富 度 将 基于 数据 的 营销 进行 以下 分类 1 关联 模式 根据 结果 进行 数据 关联 分析 如 传统 超市 行业 将 纸尿裤 与 啤酒 一起 促销 的 经典案例 2 精准 定向 模式 根据 用户 的 精准 信息 进行 精准 化 推荐 也 是 社交 媒体 最 常用 的 营销 手段 3 动态 调整 模式 将 用户 行为 列入 大数据 维度 以 动态 的 运算 结果 来 实现 营销 效果 最大化 代表 企业 如 谷 歌 4 粉丝 爆炸 器 模式 跨平台 打通 账户 体系 以 海量 用户 和 数据 维度 刻画 用户 脸谱 为 企业 寻找 与其 匹配 用户 代表 企业 有 阿里 妈妈 数据 广度 和 深度 决定 营销 模式 互联网 时代 精准 化 营销 一直 是 营销 界 的 主要 命题 也 由于 互联网 在 获取 数据 方面 的 便利 和 优势 使得 精准 化 营销 具有 了 诸多 可能性 毋庸置疑 数据 的 丰富 度 是 绝 对 精准 营销 的 最 核心 要素 即 只有 具备 足够 丰富 数据 的 前提 下 其 基于 数据 模型 运算 才 是 科学 和 有效 的 以上 四 种 形态 也 可视 为 数据 丰富 度 不断 提升 前提 下 的 营销 形式 的 进化 如 当 平台 只 掌握 产品 销量 等 简单 数据 时 只能 通过 数据 的 关联性 来 进行 营销 但 基本 是 不 考虑 关联性 背后 的 科学性 的 而 随着 可 掌握 信息 的 不断 提升 尤其 是 社会化 媒体 的 出现 用户 的 标签 以及 社交 平台 信息 均 可成 为 判定 用户 标签 的 重要 指标 营销 的 精准 度 大幅 提升 而 在 铁 哥 看来 大数据 之 大 并非 只 在 数据 之 广 更 在于 数据 之 深 即 只有 掌握 了 更多 维度 的 数据 其 基于 数据 的 运算 结果 才 是 真正 科学 和 趋于 真实 的 如 阿里 妈妈 为 代表 的 粉丝 爆炸 器 模式 乃是 通过 跨平台 方式 打通 账号 体系 以 丰富 的 数据 维度 来 刻画 用户 的 行为 脸谱 由于 阿里 妈妈 数据 横跨 媒体 工具 购物 等 产品 多 平台 其 数据 的 广度 和 深度 优势 相对而言 极为 明显 因此 其 数据 的 运算 结果 也 是 最 接近 真实 的 阿里 投资 背后 的 大数据 布局 在 移动 互联网 时代 阿里 明显 加大 了 产品 投资 和 收购 的 力度 先后 投资 高德 UC 浏览器 新浪 微 博 快 的 等 产品 当 坊间 都 在 讨论 收购 背后 的 战略 布局 时 铁 哥 建议 诸位 不妨 将 目光 转向 大数据 的 布局 层面 阿里 此前 手 握 最大 的 线 上 交易 数据 此前 也 根据 此 发布 了 线 上 交易 报告 而 事实 是 海量 交易 数据 固然 有 明显 优势 但 对于 基于 多维度 数据 的 人物 脸谱 刻画 而言 依然 略 显 单薄 随着 产品 布局 的 完善 阿里 通过 产品 账号 体系 的 打通 获 得了 多 平台 多维度 的 数据 集合 了 地图 出行 浏览 新闻 社交 购物 等 多维度 在 刻画 用 户 脸谱 预测 用户 行为 方面 具有 极大 优势 大数据 的 精准 营销 并非 是 如今 简单 信息 的 呈现 而是 通过 大数据 的 模型 搭建 来 预测 用户 行为 以此 来 提高 营销 的 转化率 基于 大数据 的 用户 行为 预测 已经 有 不少 企业 对外 有所 表述 但 在 铁 哥 看来 用户 行为 预测 的 背后 除了 数据 海量 以及 多维度 之外 数据 的 真实 和 关键 维度 的 占有量 是 最为 重要 的 如 出行 如 地图 如 社交 阿里 在 此 刚 需 高频 产品 中 占得 数据 优势 也 意味着 获 得了 未来 精准 营销 的 最 核心 和 关键 的 战略 资源 阿里 妈妈 作为 阿里 精准 营销 的 实施者 责任 重大 未来 大数据 营销 格局 走向 如 前文 所 讲 精准 营销 关键 在 数据 之 大 和 广 而 数据 的 获取 和 整合 能力 也 将 成为 营销 企业 未来 的 主要 竞争 点 1 互联网 巨头 瓜分 精准 营销 市场 互联网 巨头 由于 其 产业链 比较 广 尤其 在 移动时代 通过 资金 和 用户 优势 不断 延伸 其 产品线 如 阿里 的 大手笔 收购 百度 在 地图 和 外卖 市场 的 发力 腾讯 的 社交 和 游 戏 等 产业链 的 布局 这 也 便 意味着 互联网 巨头 企业 在 战略性 数据 的 获取 层面 已经 具有 一定 优势 基于 移动 的 精准 营销 战争 未 开始 已经 结束 2 人物 脸谱 刻画 将 成为 主流 营销 模式 以往 广告业 将 品牌 广告 和 营销 广告 是 区别 对待 的 品牌 广告 更 在意 所 投放 平台 的 逼 格 而 营销 广告 更 擅长 用 多媒体 形式 引导 用户 产生 购买 而 事实 是 在 粉丝 爆炸 器 的 营销 模式 之下 此 两 种 广告 形式 是 可以 进行 完美 结合 的 即 通过 人物 行为 刻画 来 有 针对性 的 进行 广告 形式 的 投放 也 即将 广告投放 至 真正 的 购买 目标 用户 那里 实现 品牌 和 销量 的 双丰 收 粉丝 爆炸 器 的 营销 模式 本质 上 仍 是 通过 人物 脸谱 刻画 为 用户 寻找 真正 的 核心 目标 用户 广告主 怎 能 有 理由 不 接受 但 我们 必须 看到 虽然 多数 平台 都 打着 精准 营销 的 招牌 但 由于 数据 获取 量 以及 运营 经验 等 诸多 限制 真正 能 做到 的 其实 并 不 多 自 07 年 开始 从 阿里 体系 内 发 展 起来 的 阿里 妈妈 不断 整合营销 资源 将 其 触角 已经 由 直通车 钻 展 伸向 了 全网 这 对于 忽悠 家 显然 不是 个 好消息 母婴 的 市场 需求量 越来越 大 带动 母婴 电商 的 规模 也 越发 庞大 尤其 是在 全面 放开 二 孩 政策 的 号召 下 母婴 电商 将 迎来 新 蓝 海 奶粉 对 电商 来 说是 块 大 蛋糕 慧 思 拓 H T HiEC 电商 大数据 为 您 解读 婴幼儿 奶粉 如何 玩 转 电商 近年来 母婴 市场 需求量 一直 呈 上升 趋势 使得 母婴 电商 备受 热 捧 2015 年 7 月 全面 放开 二 孩 政策 的 消息 传出 后 母婴 电商 迎来 了 又 一大 好 时光 伴随 着 互联网 浪潮 下 成长 起来 的 80 90 后 宝 爸 宝 妈 越来越 多 母婴 电商 市场 有望 迎来 突破性 增长 虽说 市场 蛋糕 更 大 了 而 争夺 蛋糕 的 品牌 厂商 也 纷至沓来 跃跃 欲 试 作为 婴幼儿 刚 需 品 的 奶粉 免不了 一 场 恶战 了 慧 思 拓 H T HiEC 电商 大数据 通过 2015 年 11 月 天猫 商品 数据 及 京东 评论 数据 以 进口 品牌 惠 氏 雅 培 和 国产 品牌 合生 元 为 例 为 您 解读 婴幼儿 奶粉 如何 玩 转 电商 01 大数据 解析 婴幼儿 奶粉 战绩 惠 氏 在 中国 一直 是 婴幼儿 奶粉 的 首选 品牌 2015 年 11 月 在 天猫 的 销售量 销售额 双高 领先 2015 年 11 月 国产 品牌 合生 元 销售量 接近 雅 培 的 4 倍 销售额 超过 雅 培 8 倍 2015 11 1 2015 11 30 天猫 旗舰店 销售量 单位 件 4ec 2d 5628535 e5dde 979 e3c 071 c6a 7efce 1b 6253 jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 2015 11 1 2015 11 30 天猫 旗舰店 销售额 单位 万 元 b 8389 b 504 fc2d 56289 b 496 f2e 01190 ef 76 c 66 c 74 jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 随着 双 11 活动 奶粉 也 迎来 了 消费者 热 议 高峰期 从 购买 日期 可以 看出 三 品牌 从 11 月 1 日 开始 一直 处于 循环 上升 趋势 双 11 当 天惠 氏 和 雅 培 速 上升 达到 峰值 超过 合生 元 双 11 之后 三 品牌 评论 数 迅速 回落 2015 11 1 2015 11 30 京东 已 购 用户 评论 趋势 评论 数 caef 76094 b 36 acafd 590 d7e 37 bd 98 d 1001 e 99 cb9 jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 合生 元 惠 氏 和 雅 培 评论 数 前 三 的 地区 均 为 广东 江苏 和 北京 由于 广州 是 合生 元 的 产地 因此 广东省 的 用户 对此 品牌 的 认知度 远 高于 其它 地区 评论 数 占 比高 达 23% 而 对于 进口 品牌 惠 氏 和 雅 培 来说 北京地区 的 优势 明显 高于 其它 地区 评论 数 占 比 居 第 一 合生 元 7a 899 e 510 fb 30 f 242 efbad1ccf 95 d 143 ad4b 034 f jpg 6609 c 93 d 70 cf3bc 7daa 28 cf3d 600 baa1cd 112 a0a jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 惠 氏 3bf 33 a 87 e 950352 a 228 b 64175443 fbf2b 3118 bc3 jpg 18 d8bc 3eb 13533 fab 651 d 231 afd3fd 1f 40345 bcd jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 雅 培 4610 b 912 c8fcc 3ce 8c 0f 882 c 9545 d 688 d 53 f 20 e5 jpg 4a 36 acaf2edda 3cc 80 d4f 83 f 06 e 93901213 f 92 f9 jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 02 大数据 解析 消费者 印象 总体 来看 消费者 对 合生 元 印象 最好 93.5% 评 5 分 评分 均值 也 最高 为 4.88 分 雅 培 略 低于 合生 元 评分 均值 为 4.86 分 惠 氏 的 评分 最低 5 分 以 下 低分 占 到 了 12.1% 比 合生 元 多 出 了 近 一半 2015 11 1 2015 11 30 京东 已 购 用户 评分 均值 86 d 6277 f9e 2f 0708 b 42 a6a 1fee 24 b 899 a 901 f 286 jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 2015 11 1 2015 11 30 京东 已 购 用户 评分 占 比 说明 合生 元 评论 数量 N 1377 惠 氏 评论 数量 N 6525 雅 培 评论 数量 N 1805 962 bd 40735 fae6cd 1362 ea7e 08 b 30 f 2443 a 70 fde jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 双 11 的 促销 活动 相关 词 备受 热 议 如 活动 便宜 价格 实惠 等 为了 宝宝 的 健康 家长 们 在 是否 正品 的 问题 上 热情 非常 高 有关 商品 的 评论 中 最 受 关注 的 是 日期 味道 相关 词 也 受到 了 热 议 如 味道 口味 好喝 草莓 巧克力 等 热 议 购买 词 词 云 说明 评论 数量 N 9707 7dd 98 d 1001 e 939012125 cd 217 cec 54 e 736 d 1968 d jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 热 议 商品 词 词 云 说明 评论 数量 N 9707 bba1cd 11728 b 4710 f 269 bdd3c 4cec 3fdfc 03236 e jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 购买 相关 评论 中 正面 评论 占 69% 其中 对 品牌 的 正面 评论 最 多 负面 评论 8.7% 其中 吐 槽 最 多 的 是 物流 商品 相关 评论 中 正面 评论 52.7% 其中 消费者 对于 口感 的 好评 最 多 负面 评论 10.2% 其中 对 质量 的 差 评 最 多 奶粉 购买 相关 评论 正 负面 占 比 说明 评论 数量 N 9707 0ff 41 bd5ad 6eddc 40 aa5f 4e 43 edbb6fd 5266336 a jpg 21 a 4462309 f 79052596007210 bf3d 7ca 7bcbd 5b 6 jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 奶粉 商品 相关 评论 正 负面 占 比 说明 评论 数量 N 9707 9f 510 fb 30 f 2442 a7b 576 bdbad 643 ad4bd 11302 b0 jpg b 8014 a 90 f 603738 d 232 b4c 3db 41 bb 051 f 819 ec 48 jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 正面 评论 中 消费者 对于 品牌 和 价格 满意度 最高 雅 培 在 品牌 口感 质量 上好 评 率 高于 其它 两个 品牌 惠 氏 仅 有 服务 好评 率 高于 其它 两个 品牌 合生 元 则 在 价格 正品 促销 三 方面 比 其它 两个 品牌 高 负面 评论 中 惠 氏 在 物流 方面 的 占 比 最为 突出 达 36.9% 雅 培 和 合生 元 则 在 价格 上 的 占 比较 高 分 别为 27.5% 22.6% 婴幼儿 奶粉 正面 相关 评论 指标 说明 合生 元 评论 数量 N 1377 惠 氏 评论 数量 N 6525 雅 培 评论 数量 N 1805 42 a 98226 cffc1e 170 f 08 cc2e 4d 90 f 603738 de 97 e jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 婴幼儿 奶粉 负面 相关 评论 指标 说明 合生 元 评论 数量 N 1377 惠 氏 评论 数量 N 6525 雅 培 评论 数量 N 1805 3b 292 df5e 0fe 9925 a1f 1294 f 33 a 85 edf8db 1712 b jpg 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 03 消费者 声音 消费者 对 婴幼儿 奶粉 好感 点 口感 合生 元 口感 好 孩子 喜欢 喝 这个 牌子 的 奶粉 惠 氏 宝宝 喜欢 喝 奶粉 有点 甜甜 的 味道 雅 培 价格 实惠 效果 很 好 奶 味 很 浓香 保质期 合生 元 生产 日期 很 新 送货 快 给 宝宝 囤 货 惠 氏 宝宝 喜欢 吃 日期 很 新鲜 雅 培 大 品牌 值得 信赖 送货 快 生产 日期 是 10 月份 很 棒 质量 合生 元 质量 没得说 一直 喝 这个 牌子 的 惠 氏 东西 很 好 质量 值得 信赖 支持 一下 雅 培 一直 给 孩子 喝 的 这个 奶粉 质量可靠 消费者 对 婴幼儿 奶粉 抱怨 点 口感 合生 元 我家 大宝 不 喜欢 喝 说好 难 喝 惠 氏 不 太 甜 孩子 不 太 喜欢 雅 培 换 过 包装 后 口味 也 变 了 以前 的 宝贝 很 爱 喝 现在 不 喜欢 了 保质期 合生 元 日期 久 了 点 赢 在 便宜 惠 氏 日期 太 早 了 不敢 再 买 了 雅 培 又是 旧 日期 的 还有 几 个 月 过期 有点 失望 质量 合生 元 一直 都 在 京东 买 这次 的 有点 潮 惠 氏 质量 真心 不怎么样 冲 奶 的 时候 老 有 一 团 一 团 的 冲 不 开 雅 培 不 太 好 融化 老是 会 结块 数据 来源 慧 思 拓 HiEC 电商 大数据 监测 产品 04 把 控 母婴 电商 质量 备战 2016 2015 年 是 奶粉 动荡 的 一 年 综上 可见 奶粉 大战 已然 硝烟弥漫 各 品牌 厂商 纷纷 使出 浑身解数 但 质量 始终 是 根本 电商 平台 应 继续 在 质量 上 严格 把 控 同时 提高 电商 平台 的 物流 及 服务 2016 年 1 月 1 日 二 孩 政策 已 落地 母婴 电商 将 迎来 新 一轮 机遇 和 挑战 大数据 研究 不能 忽悠 本报 记者 李新 玲 中国青年报 2013 年 11 月 07 日 12 版 几 个 盲人 分别 摸 到 了 大象 的 鼻子 耳朵 腿 尾巴 和 躯体 这 张 瞎子摸象 的 照片 在 2013 中国 计算机 大会 上 出现 多次 好几 位 报告人 和 讲 都 不约而同 地 选 了 这 张 照片 来 表达 对 大数据 目前 研究进展 的 态度 作为 国内 计算 领域 规格 最高 规模 最大 的 学术会议 2012 中国 计算机 大会 上 大数据 是 出现 频率 最高 的 主题词 几乎 每个 主讲者 每场 论坛 都 涉及 这 几 个 字 同时 中国计算机学会 也 在 大会 举行 期间 正式 成立 了 专家 委员会 中国工程院 院士 李国杰 担任 主任 一 年来 大数据 3 个 字 持续 升温 社会 对于 大数据 的 关注 也 从 最初 的 必要性 重要性 转向 如何 获得 数据 如何 进行 处理 如何 进行 利用 大数据 面临 大 挑战 计算机 大会 专门 组织 的 大数据 主题 论坛 可谓 高 规格 阵容 主讲者 有 中国工程院 院士 中科院计算机所 研究员 李国杰 中国工程院 院士 东北大学 教授 柴 天佑 中国科学院 院士 北京大学 教授 鄂 维南 中国科学院 院士 上海交通大学 副 校长 梅 宏 等 IT 技术 广泛 的 应用 使 我们 获 得了 巨 大数据 从 这些 数据 当中 我们 可以 得到 很多 东西 也 使 计算机 系统 软件技术 生产 生活 包括 数学基础 研究 面临 新 的 挑战 和 机遇 论坛 主持人 国防科技大学 王 怀民 教授 说 梅 宏 院士 认为 信息 界 当前 的 几 个 最 热点 的 问题 大数据 云 计算 移动 互联网 本质 上 都 是 互联网 计算 及其 延伸 产生 的 效果 包括 更快 的 网络 带宽 更 广大 的 网络 接入 更 强 的 计算 能力 更 小 的 计算 设备 和 更 低 的 存储 成本 不过 他 同时 也 指出 大数据 不仅 带来 对 软件技术 编程语言 的 挑战 同时 也 让 人类 社会 面临 着 能耗 挑战 因为 目前 全球 范围 内 的 数据中心 服务器 和 散热 系统 每年 大概 需要 消耗 30 亿 瓦 的 电能 而 这 相当于 20 座 核电站 的 发电量 一个 大型 数据中心 的 能耗 非常 巨大 甚至 比 一座 中型 美国 城市 的 耗电量 还要 高 历史 上 设计 计算机 系统 的 主要 目标 是 充分 发挥 CPU 的 计算 性能 较 少 关心 如何 满足 持续 的 数据 存取 要求 现在 存储 问题 尚未 解决 又 遇上 大数据 应用 计算机 系统 的 负载 发生 了 本质性 变化 虽然 CPU 进展 很快 每年 50% 60% 的 增长 但 负载 增加 更 大 以前 数据 是 围着 CPU 转 的 现在 变 过来 了 是 围 绕 数据 转 李国杰 院士 认为 计算机 系统 结构 需要 革命性 的 重构 重点 是 数据 如何 搬运 要 由 过去 的 大象 搬 木头 转变 为 蚂蚁 搬 大米 李国杰 院士 透露 中科院 网络 数据 科学 与 技术 重点 实验室 的 天玑 网络 大数据 平台 已经 完成 了 面向 网络 大数据 金融 大数据处理 的 一体机 原型 系统 并 已经 在 淘宝 腾讯 等 相关 企业 和 大数据 情报 处理 领域 进行 了 试用 中国工程院 院士 柴天佑 则 描述 了 工业 大数据 的 特殊 数据 量 大 类型 多 变化 速度快 复杂 工业 系统 中 许多 机理 不 清 难以 用 数学 模型 来 描述 其 特征 大 数据 的 应用技术 为 研究 复杂 工业 系统 开辟 了 新 途径 大数据 研究 和 应用 不能 忽悠 大数据 是 什么 呢 每个 人 都 有 每个 人 的 理解 我 自己 也 是 带 着 问题 来 的 2013 年中 国 计算机 学 会海 外 杰出 贡献奖 获得者 美国 特拉华 大学 电子 与 计算机 工程 终身 教授 高 光荣 在 做 大会 报告 时 展示 了 瞎子摸象 的 照片 这位 从事 计算机 系统 结构 研究 的 国际 知名 学者 介绍 了 自己 近些年 从事 数据 研究 的 成果 不过 他 认为 大数据 的 提法 过热 明显 有 炒作 的 味道 急于求成 做 研究 不要 贪 快 有些 研究 不会 立竿见影 一 项 研究工作 需要 很多 年 无论 是 美国 还是 中 国 我们 在 大数据 研究 上 都 才 刚刚 开始 他用 了 一个 新学 会 的 词 不能 忽悠 不过 在 大数据 主题 论坛 上 高 光荣 教授 仍 未 得到 答案 当 李国杰 院士 从 系统 结构 的 角度 柴天佑 院士 从 工业 应用 鄂 维南 院士 是从 数学 的 角度 梅 宏 院士 从 软件 的 角度 进行 一 一 阐述 之后 一名 学生 提出 了 一个 问题 能 不能 请 各位 老师 用 一句话 说说 大数据 的 本质 是 什么 大数据 带来 什么样 的 变化 一句话 说 清 一个 问题 似乎 让 主讲者 都 有些 为难 柴天佑 院士 认为 从 用 大数据 进行 研究 的 角度 来 谈 超出 现 有的 理论 方法 技术 工具 能 处理 一个 数据 群 就 叫 大数据 而 李国杰 院士 认为 大数据 被 大 字 给 忽悠 了 它 更多 的 是 多样化 变化 快 不仅 有 快 数据 还有 真伪 两 方面 的 数据 大数据 是 一个 处理 数据 的 方法 不是 数据 本身 的 规模 梅 宏 直接 表示 很 难 回答 大数据 这个 词 不是 技术 生产 科学 意义 比较 明确 的 定义 它 给 人 的 联想 太 多 的 空间 了 用 一句话 我 说 不 出来 之前 他 提到 大数据 将 不会 是 一个 可 完全 解决 的 问题 只能 是 逐步 逼近 缓解 的 技术 目前 尚 不 存在 有效 的 大数据 技术 针对 研究人员 如何 获 数据 的 问题 李国杰 院士 回答 政府 应该 是 首要 的 公众 数据 来源 者 政府 掌握 大量 的 各类 数据 但是 现在 数据 公开 还 没有 做好 此外 研究人员 还 可以 向 企业 要 数据 通过 协议 相互 交换 搞 技术 的 做 科学研究 的 共同 交流 才能 出 成果 大数据 研究人员 短缺 计算机 大会 的 特邀 讲者 来自 美国 北卡 来 罗纳 州立 大学 分 校史 德利 阿霍 尔特 Stahley Ahalt 教授 是 创新 计算 研究所 的 负责人 他 认为 大数据 已经 存在 需要 新 的 工具 来使 数据 消费者 进行 大规模 应用 在 他 看来 数据 的 产 生者 包括 大学 政府 医疗保健 机构 工业界 等 而 数据 使用者 是 科学家 公民 政府 医务人员 商业界 从 2010 年 开始 每 两 天 产生 的 数据 就 相当于 历史 上 到 2003 年 产生 的 数据 总和 所以 需要 数据 科学 对 这些 数据 进行 分析 挖掘 利用 互联网 使得 数据 的 移动 共享 和 发现 更 容易 更快 的 处理器 更多 和 更 廉价 的 存储 容量 他 介绍 了 大数据 在 美国 社会管理 风暴潮 预测 以及 生物 基因 诊断 方面 的 成功 应用 一家 名为 美国 快捷 药方 的 公司 宣称 已有 10 亿 个 药方 数据 用于 分析 使 病人 的 邮购 处方 更为 合理 经济 他们 通过 预测 模型 找到 了 400 个 影响 因素 来 发现 因 病人 不 遵循 用药 规定 带来 的 风险 而 这 一 项 每年 带来 的 损失 高达 3170 亿 美元 UPS 公司通过 分析 从 成千上万 台 送货 车 上传 感器 传回 的 数据 减少 530 万 英里 行程 减少 发动机 的 闲置 达 1000 万 分钟 节省 65 万 加伦 的 燃料 减少 二氧化碳 排放量 达 6500 公吨 阿霍 尔特 教授 提供 了 一 系列 数字 大数据 的 应用 可以使 美国 每年 节省 医疗 节省 费用 达到 3000 亿 美元 这 相当于 西班牙 全年 的 医疗保健 花费 欧洲 公共 管理部门 每年 可 节省 2500 亿 欧元 节省 1% 的 汽油 油耗 15 年 可以 节省 680 亿 美元 采用 数据 信息 决策 的 公司 可 使 生产率 提升 5% 6% 而 因为 大数据 开发 及 使用 也 可以 创造 无数 新 的 工作机会 全球 范围 内 到 2015 年 大数据 和 分析 工作机会 有望 超过 400 万 个 每个 大数据 的 工作 能够 产生 3 个 相关 的 工作 对于 美国 而言 到 2015 年 将 有 190 万新 的 大数据 工作机会 但 将 由于 人才 短缺 仅 有 1 3 的 岗位 能 招 到 人 2020 年 美国 针对 数据 相关 的 管理员 和 软件 开发者 的 需求 预计 增长 约 32% 在 2012 年 的 一 项 调查 中 78% 的 被调查者 认为 确实 存在 大数据 方面 的 人才 短缺 那么 大数据 科学家 要 具备 什么样 的 IT 技能 呢 阿霍 尔特 表示 数 据 科学家 要 对 计算机 科学 背景 有 全面 了解 包括 对 应用软件 建模 数据 分析 等 要 有 商业 头脑 以及 对 数据 提炼 融合 的 能力 数据 科学家 还 必须 能够 获取 数 据 集 对 它们 进行 数学建模 以及 懂得 建立 模型 的 所 需要 的 数学 理论 他们 必须 能 发现 并 阐明 数据 揭示 的 问题 即 从 数据 中 发现 合适 的 问题 返回 目录 放大 缩小 全文 复制 ico8 gif 上一 篇 下 一 篇 ico9 gif 几 个 盲人 分别 摸 到 了 大象 的 鼻子 耳朵 腿 尾巴 和 躯体 这 张 瞎子摸象 的 照片 在 2013 中国 计算机 大会 上 出现 多次 好几 位 报告人 和 讲 都 不约而同 地 选 了 这 张 照片 来 表达 对 大数据 目前 研究进展 的 态度 作为 国内 计算 领域 规格 最高 规模 最大 的 学术会议 2012 中国 计算机 大会 上 大数据 是 出现 频率 最高 的 主题词 几乎 每个 主讲者 每场 论坛 都 涉及 这 几 个 字 同时 中国计算机学会 也 在 大会 举行 期间 正式 成立 了 专家 委员会 中国工程院 院士 李国杰 担任 主任 一 年来 大数据 3 个 字 持续 升温 社会 对于 大数据 的 关注 也 从 最初 的 必要性 重要性 转向 如何 获得 数据 如何 进行 处理 如何 进行 利用 大数据 面临 大 挑战 计算机 大会 专门 组织 的 大数据 主题 论坛 可谓 高 规格 阵容 主讲者 有 中国工程院 院士 中科院计算机所 研究员 李国杰 中国工程院 院士 东北大学 教授 柴 天佑 中国科学院 院士 北京大学 教授 鄂 维南 中国科学院 院士 上海交通大学 副 校长 梅 宏 等 IT 技术 广泛 的 应用 使 我们 获 得了 巨 大数据 从 这些 数据 当中 我们 可以 得到 很多 东西 也 使 计算机 系统 软件技术 生产 生活 包括 数学基础 研究 面临 新 的 挑战 和 机遇 论坛 主持人 国防科技大学 王 怀民 教授 说 梅 宏 院士 认为 信息 界 当前 的 几 个 最 热点 的 问题 大数据 云 计算 移动 互联网 本质 上 都 是 互联网 计算 及其 延伸 产生 的 效果 包括 更快 的 网络 带宽 更 广大 的 网络 接入 更 强 的 计算 能力 更 小 的 计算 设备 和 更 低 的 存储 成本 不过 他 同时 也 指出 大数据 不仅 带来 对 软件技术 编程语言 的 挑战 同时 也 让 人类 社会 面临 着 能耗 挑战 因为 目前 全球 范围 内 的 数据中心 服务器 和 散热 系统 每年 大概 需要 消耗 30 亿 瓦 的 电能 而 这 相当于 20 座 核电站 的 发电量 一个 大型 数据中心 的 能耗 非常 巨大 甚至 比 一座 中型 美国 城市 的 耗电量 还要 高 历史 上 设计 计算机 系统 的 主要 目标 是 充分 发挥 CPU 的 计算 性能 较 少 关心 如何 满足 持续 的 数据 存取 要求 现在 存储 问题 尚未 解决 又 遇上 大数据 应用 计算机 系统 的 负载 发生 了 本质性 变化 虽然 CPU 进展 很快 每年 50% 60% 的 增长 但 负载 增加 更 大 以前 数据 是 围着 CPU 转 的 现在 变 过来 了 是 围 绕 数据 转 李国杰 院士 认为 计算机 系统 结构 需要 革命性 的 重构 重点 是 数据 如何 搬运 要 由 过去 的 大象 搬 木头 转变 为 蚂蚁 搬 大米 李国杰 院士 透露 中科院 网络 数据 科学 与 技术 重点 实验室 的 天玑 网络 大数据 平台 已经 完成 了 面向 网络 大数据 金融 大数据处理 的 一体机 原型 系统 并 已经 在 淘宝 腾讯 等 相关 企业 和 大数据 情报 处理 领域 进行 了 试用 中国工程院 院士 柴天佑 则 描述 了 工业 大数据 的 特殊 数据 量 大 类型 多 变化 速度快 复杂 工业 系统 中 许多 机理 不 清 难以 用 数学 模型 来 描述 其 特征 大 数据 的 应用技术 为 研究 复杂 工业 系统 开辟 了 新 途径 大数据 研究 和 应用 不能 忽悠 大数据 是 什么 呢 每个 人 都 有 每个 人 的 理解 我 自己 也 是 带 着 问题 来 的 2013 年中 国 计算机 学 会海 外 杰出 贡献奖 获得者 美国 特拉华 大学 电子 与 计算机 工程 终身 教授 高 光荣 在 做 大会 报告 时 展示 了 瞎子摸象 的 照片 这位 从事 计算机 系统 结构 研究 的 国际 知名 学者 介绍 了 自己 近些年 从事 数据 研究 的 成果 不过 他 认为 大数据 的 提法 过热 明显 有 炒作 的 味道 急于求成 做 研究 不要 贪 快 有些 研究 不会 立竿见影 一 项 研究工作 需要 很多 年 无论 是 美国 还是 中 国 我们 在 大数据 研究 上 都 才 刚刚 开始 他用 了 一个 新学 会 的 词 不能 忽悠 不过 在 大数据 主题 论坛 上 高 光荣 教授 仍 未 得到 答案 当 李国杰 院士 从 系统 结构 的 角度 柴天佑 院士 从 工业 应用 鄂 维南 院士 是从 数学 的 角度 梅 宏 院士 从 软件 的 角度 进行 一 一 阐述 之后 一名 学生 提出 了 一个 问题 能 不能 请 各位 老师 用 一句话 说说 大数据 的 本质 是 什么 大数据 带来 什么样 的 变化 一句话 说 清 一个 问题 似乎 让 主讲者 都 有些 为难 柴天佑 院士 认为 从 用 大数据 进行 研究 的 角度 来 谈 超出 现 有的 理论 方法 技术 工具 能 处理 一个 数据 群 就 叫 大数据 而 李国杰 院士 认为 大数据 被 大 字 给 忽悠 了 它 更多 的 是 多样化 变化 快 不仅 有 快 数据 还有 真伪 两 方面 的 数据 大数据 是 一个 处理 数据 的 方法 不是 数据 本身 的 规模 梅 宏 直接 表示 很 难 回答 大数据 这个 词 不是 技术 生产 科学 意义 比较 明确 的 定义 它 给 人 的 联想 太 多 的 空间 了 用 一句话 我 说 不 出来 之前 他 提到 大数据 将 不会 是 一个 可 完全 解决 的 问题 只能 是 逐步 逼近 缓解 的 技术 目前 尚 不 存在 有效 的 大数据 技术 针对 研究人员 如何 获 数据 的 问题 李国杰 院士 回答 政府 应该 是 首要 的 公众 数据 来源 者 政府 掌握 大量 的 各类 数据 但是 现在 数据 公开 还 没有 做好 此外 研究人员 还 可以 向 企业 要 数据 通过 协议 相互 交换 搞 技术 的 做 科学研究 的 共同 交流 才能 出 成果 大数据 研究人员 短缺 计算机 大会 的 特邀 讲者 来自 美国 北卡 来 罗纳 州立 大学 分 校史 德利 阿霍 尔特 Stahley Ahalt 教授 是 创新 计算 研究所 的 负责人 他 认为 大数据 已经 存在 需要 新 的 工具 来使 数据 消费者 进行 大规模 应用 在 他 看来 数据 的 产 生者 包括 大学 政府 医疗保健 机构 工业界 等 而 数据 使用者 是 科学家 公民 政府 医务人员 商业界 从 2010 年 开始 每 两 天 产生 的 数据 就 相当于 历史 上 到 2003 年 产生 的 数据 总和 所以 需要 数据 科学 对 这些 数据 进行 分析 挖掘 利用 互联网 使得 数据 的 移动 共享 和 发现 更 容易 更快 的 处理器 更多 和 更 廉价 的 存储 容量 他 介绍 了 大数据 在 美国 社会管理 风暴潮 预测 以及 生物 基因 诊断 方面 的 成功 应用 一家 名为 美国 快捷 药方 的 公司 宣称 已有 10 亿 个 药方 数据 用于 分析 使 病人 的 邮购 处方 更为 合理 经济 他们 通过 预测 模型 找到 了 400 个 影响 因素 来 发现 因 病人 不 遵循 用药 规定 带来 的 风险 而 这 一 项 每年 带来 的 损失 高达 3170 亿 美元 UPS 公司通过 分析 从 成千上万 台 送货 车 上传 感器 传回 的 数据 减少 530 万 英里 行程 减少 发动机 的 闲置 达 1000 万 分钟 节省 65 万 加伦 的 燃料 减少 二氧化碳 排放量 达 6500 公吨 阿霍 尔特 教授 提供 了 一 系列 数字 大数据 的 应用 可以使 美国 每年 节省 医疗 节省 费用 达到 3000 亿 美元 这 相当于 西班牙 全年 的 医疗保健 花费 欧洲 公共 管理部门 每年 可 节省 2500 亿 欧元 节省 1% 的 汽油 油耗 15 年 可以 节省 680 亿 美元 采用 数据 信息 决策 的 公司 可 使 生产率 提升 5% 6% 而 因为 大数据 开发 及 使用 也 可以 创造 无数 新 的 工作机会 全球 范围 内 到 2015 年 大数据 和 分析 工作机会 有望 超过 400 万 个 每个 大数据 的 工作 能够 产生 3 个 相关 的 工作 对于 美国 而言 到 2015 年 将 有 190 万新 的 大数据 工作机会 但 将 由于 人才 短缺 仅 有 1 3 的 岗位 能 招 到 人 2020 年 美国 针对 数据 相关 的 管理员 和 软件 开发者 的 需求 预计 增长 约 32% 在 2012 年 的 一 项 调查 中 78% 的 被调查者 认为 确实 存在 大数据 方面 的 人才 短缺 那么 大数据 科学家 要 具备 什么样 的 IT 技能 呢 阿霍 尔特 表示 数 据 科学家 要 对 计算机 科学 背景 有 全面 了解 包括 对 应用软件 建模 数据 分析 等 要 有 商业 头脑 以及 对 数据 提炼 融合 的 能力 数据 科学家 还 必须 能够 获取 数 据 集 对 它们 进行 数学建模 以及 懂得 建立 模型 的 所 需要 的 数学 理论 他们 必须 能 发现 并 阐明 数据 揭示 的 问题 即 从 数据 中 发现 合适 的 问题 大数据 疾病 预测 靠 谱 吗 百度 预测 上周末 上线 了 最新 的 产品 疾病 预测 利用 用户 的 搜索 数据 并 结合 气温 变化 环境 指数 人口 流动 等 因素 建立 预测 模型 实时 提供 几 种 流行病 的 发 指数 这是 继 世界杯 赛果 预测 之后 百度 预测 的 又 一 款 产品 目前 百度 疾病 预测 提供 流感 肝炎 肺结核 和 性病 四 种 疾病 的 活跃 度 流行 指数 以及 各种 疾病 相关 的 城市 和 医院 排行榜 用户 可以 查看 过去 30 天 以内 的 数据 和 未来 7 天 的 预测 趋势 中国 疾病 防控 中心 还 提供 了 流感 的 监测 数据 作为 流感 疫情 预测 模型 的 辅助 参数 以上 是 介绍 和 地址 这 东西 靠 谱 度 如何 个人 见解 有 一定 道理 但 不能 信任 百度 这 货 还 不是 抄袭 谷 歌 的 疾病 预测 嘛 其实 其 原理 在 大数据 时代 很 有特色 就是 依靠 以往 的 数据 做出 回归 分析 然后 代 入 现阶段 各种 参数 来 预测 说白了 也就是 小学 时候 学 的 线性 回归 方程 的 终极 加强 版 罢了 其 结果 肯 定比 靠 看看 星星 烧 烧 乌龟壳 来得 靠 谱 些 但是 我们 还是 不可 直接 使用 这样 的 结论 因为 大数据 的 核心 思想 就是 只要 取样 足够 大 就 能 排除 噪音 但是 有些 噪音 是 不会 因为 取样 大 就 被 稀释 的 如果 这样 说 太学 术 我 就 举 个 比较 简单 的 例子 谷 歌 流感 预测 模型 是 基于 这样 一 种 假设 因为 在 万恶 的 米 帝 看病 难 看病 贵 等 问题 一直 得不到 解决 所以 水深 火 热 的 米 国 人民 一旦 觉得 自己 有点 不 舒服 又 不是 极其 难受 就 不会 去 医院 而 往往 是 自己 上网 根据 自己 的 症状 自我 诊断 而 作为 米 国 搜索引擎 龙头 老大 的 Google 自然 是 经常 被 用来 干 这种 事情 于是 谷 歌 认为 像 流感 这么 容易 传播 的 疾病 一旦 在 某个 社区 或是 某个 村庄 发现 那里 很多 人 都 开始 搜索 流感 的 症状 比如 流涕 低烧 等 那 很 有 可能 就是 那里 正在 爆发 流感 如此 再 结合 一些 气候 和 人口 流动 的 数据 就 可以 预测 流感 啦 这个 方法 确实 出奇 的 准 而且 快 但是 总是 会 有 那么 几 下 明明 没有 发生 流感 但是 这个 模型 却 认为 有 较 高 几率 发生 了 流感 查 了 半 天 以后 发现 因为 每 到期 末 考试 总会 有 那么 几 个 住满 了 医学 生 流行病 学生 的 宿舍 在 网上 搜索 复习资料 绝对 不靠 谱 影响 疾病 的 因素 太 多 目前 没有 过 任何 一个 模型 能 预测 疾病 我 是 学医 的 人体 尚有 太 多 奥秘 无法 建立 数据 模型 我 所 理解 的 大数据 大数据 一 词 时下 的 热门 程度 无需 赘言 这 一两 年来 互联网 相关 的 任何 活动 会议 必不可少 大数据 板块 刚刚 结束 的 第 13 届 中国 互联网 大会 也 专 设 了 大数据 论坛 对于 任何 一个 大数据 的 从业者 或 初 接触 者 或 许都 会 有 个 共同 的 感触 大数据 很 有用 大数据 该 怎么 用 关于 大数据 的 著作 和 文章 铺天盖地 似乎 也 共 同在 传递 一个 信息 越来越 多 的 行业 人士 开始 关注 并 实际 探索 大数据 的 应用 我们 正在 一起 描绘 着 大数据 巨大 效用 的 蓝图 但 在 实践 的 路上 我们 都 还 在 起步 阶段 小步 前行 大数据 根 基于 互联网 数据 仓库 数据挖掘 云 计算 等 互联网 技术 的 发 展为 大数据 的 应用 奠定 了 基础 然而 实践 应用 尚 处于 在 探索 中 前进 同样 作为 探索 学习 我 想 从 我 个人 的 理解 角度 分享 并 与 大家 探讨 四 个 问题 大数据 是 什么 大数据 可以 做 什么 大数 据 实际 做 了 什么 大数据 要 怎么 做 首先 大数据 是 什么 引用 3 个 比较 常用 的 大数据 定义 1 需要 新 处理 模式 才能 具有 更 强 的 决策 力 洞察 发现 力 和 流程 优化 能力 的 海量 高 增长率 和 多样化 的 信息 资产 Gartner 2 海量 的 数据 规模 Volume 快速 的 数据 流转 和 动态 的 数据 体系 Velocity 多样 的 数据 类型 Variety 巨大 的 数据 价值 V alue IDC 3 或 称 巨量 数据 海量 数据 大 资料 指 所 涉及 的 数据 量 规模 巨大 到 无法 通过 人工 在 合理 时间 内 达到 截取 管理 处理 并 整理 成为 人类 所 能 解读 的 信息 Wiki 其他 关于 大数据 的 定义 也 大抵 类似 我们 可以 用 几 个 关键词 对 大数据 做 一个 界定 首先 规模大 这种 规模 可以 从 两个 维度 来 衡量 一 是从 时间序列 累积 大量 的 数据 二 是在 深度 上 更加 细化 的 数据 其次 多样化 可以 是 不同 的 数据 格式 如 文字 图片 视频 等 可以 是 不同 的 数据 类别 如 人口 数据 经济 数据 等 还 可以 有 不同 的 数据 来源 如 互联网 传感器 等 第 三 动态化 数据 是 不停 地 变化 的 可以 随着 时间 快速 增加 大量 数据 也 可以 是在 空间 上 不断 移动 变化 的 数据 这 三个 关键词 对 大数据 从 形象 上 做 了 界定 但 还 需要 一个 关键 能力 就是 处理 速度快 如果 这么 大规模 多样化 又 动态 变化 的 数据 有 了 但 需要 很 长 的 时间 去 处理 分析 那 不 叫 大数据 从 另 一个 角度 要 实现 这些 数据 快速 处理 靠 人工 肯定 是 没 办法 实现 的 因此 需要 借助 于 机器 实现 最终 我们 借助 机器 通过 对 这些 数据 进行 快速 的 处理 分析 获取 想要 的 信息 或者 应用 的 整套 体系 才能 称为 大数据 我们 可以 用 下 面的 图示 给 大数据 定义 图 1 大数据 定义 365 对 大数据 概念 有 了 界定 后 那 大数据 可以 做 什么 呢 想要 应用 大数据 从 流程 上 来说 大概 是 这样 图 2 大数据 应用 模式 365 首先 我们 要 有 数据源 然后 对 数据 进行 收集 和 存储 在 这 基础 上 再 进行 分析 和 应用 形成 我们 的 产品 和 服务 而 产品 和 服务 也 会 产生 新 的 数据 这些 新 数据 会 循 环 进入 我们 的 流程 中 当 这 整个 循环 体系 成为 一个 智能化 的 体系 通过 机器 可以 实现 自动化 那 也许 就 会 成为 一 种 新 的 模式 不管 是 商业 的 或者 是 其他 然后 具体 到 实际 的 应用 中 我 认为 大数据 能够 实现 的 应用 可以 概括 为 两个 方向 一 是 精准 化 定制 二 是 预测 首先 精准 化 定制 主要 是 针对 供需 两 方 的 获取 需方 的 个性化 需求 帮助 供方 定准 定位 目标 然后 依据 需求 提供 产品 最终 实现 供需 双方 的 最佳 匹配 图 3 大数据 应用 方向 一 精准 化 定制 365 具体 应用 举例 也 可以 归纳 为 三类 一 是 个性化 产品 比如 智能化 的 搜索引擎 搜索 同样 的 内容 每个 人 的 结果 都 不同 或者 是 一些 定制 化 的 新闻 服务 或者 是 网游 等 第 二 种 是 精准 营销 现在 已经 比较 常见 的 互联网 营销 百度 的 推广 淘宝 的 网页 推广 等 或者 是 基于 地理位置 的 信息 推送 当 我 到达 某个 地方 会 自动 推送 周边 的 消费 设施 等 第 三 种 是 选址 定位 包括 零售店 面的 选址 或者 是 公共 基础设施 的 选址 这些 全都 是 通过 对 用户 需求 的 大数据分析 然后 供方 提供 相对 定制 化 的 服务 应用 的 第 二 个 方向 预测 预测 主要 是 围绕 目标 对象 基于 它 过去 未来 的 一些 相关 因素 和 数据分析 从而 提前 做出 预警 或者 是 实时 动态 的 优化 图 4 大数据 应用 方向 二 预测 365 从 具体 的 应用 上 也 大概 可以 分为 三类 一 是 决策 支持 类 的 小 到 企业 的 运营 决策 证券投资 决策 医疗 行业 的 临床 诊疗 支持 以及 电子政务 等 二 是 风险 预警 类 的 比如 疫情 预测 日常 健康管理 的 疾病 预测 设备 设施 的 运营 维护 公共 安全 以及 金融业 的 信用 风险管理 等 第 三 种 是 实时 优化 类 的 比如 智能 线路 规划 实时 定价 等 以上 呢 是 各种 文献资料 里 对于 大数据 可以 用来 做 什么 的 一些 畅想 事实上 也许 大数据 可以 做 的 事情 可以 扩展 到 方方面面 但是 我们 再 看 现实 中 大数 据 实际 应用 到 了 什么 程度 呢 我 认为 目前 大数据 真正 实现 了 商业化 的 应用 只有 一 种 就是 互联网 营销 其他 我们 前面 列举 的 方向 会 有些 初步 的 应用 但 基本 都 还 停留 在 探索 的 阶段 比如 疫情 预测 无 抵押 信用 贷款 等 对于 准确性 精细 度 可 推广性 等 方面 还有 推敲 造成 大数 据 实际 应用 与 目标 蓝图 之间 差距 的 主要 原因 是 什么 我 认为 是 数据源 的 问题 你 必须 先 获得 数据 然后 才能 应用 数据 因此 数据 的 可 获取 性 成为 大数据 在 具体 行业 应用性 评价 的 一个 重要 维度 可以 从 数据 的 标准化 开放性 和 集中度 几 个 维度 衡量 数据 可 获取 性 同时 获取 了 数据 之后 在 应用 数据 方面 可以 从 大数据 应用 的 潜在 价值 维度 来 衡量 包括 效率 的 提升 成本 降低 或者 是 新 模式 的 产生 此外 还 可以 从 大数据 行业应用 的 可复制 推广性 的 角度 来 衡量 不仅 包括 在 本行业 内 的 推广 同时 也 包括 跨行业 的 推广性 从 三个 维度 我 个人 对 大数据 在 各 行业应用 的 可能性 做 了 一个 定位 但 这个 定位 还是 非常 定性 和 粗略 的 具体 可能 还 需要 对 行业 有 更多 的 大数据 应用 的 探讨 和 探索 图 5 大数据 应用 行业 定位 对于 专门 从 事 大数据 应用 的 企业 来说 大数据 要 怎么 做 我 认为 可以 从 两个 维度 发展 首先 一个 重点 任务 就是 要 累积 数据 以 自身 拥 有的 互联网 数据 及 大数据 技术 两个 资源 为 基础 从 一些 细分 应用 切入 比如 可以 先 从 企 业 角度 继而 扩展 到 行业 甚至 跨行业 的 角度 从 细分 应用 先 有 一些 产品 的 产出 这 会 成为 获取 更多 数据 的 入口 同时 也 为 大数据 更 广 应用 提供 了 方向 借鉴 但 还有 一 点 对于 平台 型 的 互联网 企业 在 确定 与 哪些 企业 或者 行业 数据 结合 应用 大数据 时 可以 有 一些 筛选 条件 比如 是不是 发挥 了 平台 属性 另外 这种 应用 是不是 具有 可复制 或 推广性 不是 只 局 限于 某 一个 企业 内 至少 是 可以 应用 到 整个 行业 中 的 以上 是 我 个人 对 大数据 的 一些 思考 也 希望 可以 跟 更多 的 朋友 对于 大数 据 实际 应用 上 有些 探讨 和 学习 大数据 的 未来 在 分析 着 云端 时代 来临 大数据 Big Data 的 需求 大增 如何 有效 运用 大数据 创造 商机 已 成 众家 业者 关心 的 焦点 巨量 信息 可以 分析 未来 创造 商机 IBM 华生 实验室 博士 张书 平 提到 透过 大数据 的 分析 技术 人类 在 社群 媒体 上 的 互动 与 喜好 生活 周遭 的 各种 数据 都 可以 被 归纳 整理 成 有意 义 的 信息 只要 能 够 掌握 大数据 并且 实时 分析 就 能 有效 的 改变 交通 运输 能源 医疗 等 产业 进而 创造 庞大 商机 例如 驾驶 可以 透过 大数据 来 了解 汽车 运作 的 状况 在 适当 的 时机 通知 车主 更换 零件 大幅 降低 维修 成本 汽车 制造商 不 只是 生产 硬件 更 能够 成为 贴近 人心 的 服 务 业 而 在 汽车运输 方面 巨量 信息 能 有效 的 调控 货柜 的 冷藏 系统 并 掌握 货柜 箱 的 内部 状况 减少 运输 过程 中 商品 的 坏 损 率 大数据 由于 南方 地区 四季 用电量 变化 较大 不易 掌控 用电 情形 容易 造成 能源 的 浪费 这时 就 可以 透过 大数据 的 分析 预测 未来 的 用电 状况 因应 不同 情境 使用 适合 的 发 电机 至于 在 医疗 领域 透过 大数据 可以 发展 紧急 照护 系统 帮助 医生 更快 了解 病患 的 状况 张书 平 提到 象是 IBM 提出 的 新生儿 急救室 透过 大数据 让 医生 可以 迅速 掌握 新生儿 的 生理 状况 并 给予 实时 治疗 提高 新生儿 的 存活率 尽管 大数据 为人 类 生活 描绘 出 美好 愿景 英特尔 实验室 互动 与 经验 研究 博士 Melissa Gregg 却 点 出 未来 巨量 信息 带来 的 焦虑 与 恐惧 她 表示 人 们 不 确定 自己 看到 的 是否 是 真相 对于 难以 掌握 的 庞大 信息 会 感到 不安 不是 信息量 越 大 越好 而是 要 进一步 思考 你 到底 要 从 大数据 中 获得 什么 这些 资料 如 何 运用 这 才 是 面对 大数据 的 正确 态度 此外 Melissa Gregg 也 提到 随着 大数据 的 时代 来临 隐私权 的 议题 也 会 浮上 台面 透过 手机 网络 悠游 卡 信用卡 监视 录像 器材 的 使用 日 常 生活 中 的 一切 行为 都 产生 数位 资料 并 留下 轨迹 等于 是 把 我们 的 自由权 交给 大数据 的 掌握者 而 现今 也 没有 确切 的 法律 可以 保障 人民 未来 如何 维护 隐私权 将 是 一大 考验 未来 三 年 中国 CIO 将 越来越 关注 云 计算 和 大数据 Gartner 公司 刚刚 发布 的 一个 研究报告 2013 以至 未来 三 年 云和 大数据 都 是 中国企业 IT 投资 的 重点 2014 年 近 80% 的 中国企业 将 在 云 计 算 方面 增加 投资 中国企业 对 公共 云和 私有 云 不偏不倚 中国 CIO 们 越来越 关注 业务 如 上图 2013 年 中国 客户 头 三 位 的 IT 开支 是 云 计算 大数据 及信息 管理 数据中心 整合 这 三个 方面 都 大大 高于 全球 同行 在 虚拟化 IT 现代化 移动 技术 IT 治理 VoIP 及 统一 通信 与 协作 方面 则 明显 比 全球 同行 低 2013 2016 年 中国 CIO 前 三 位 的 重点 技术 事项 是 1 商业智能 应用 2 云 计算 3 移动 技术 2014 年 将近 80% 的 中国 客户 将 在 云 计算 方面 增加 预算 中国企业 对 公共 云和 私有 云 的 偏好 基本 持平 27% 的 企业 选择 外 中 公共 云 27% 的 企业 选择 内部 私有 云 22% 的 企业 选择 托 管式 私有 云 服务 23% 的 企业 选择 限制 环境 的 公共 云 服务 2013 年 中国 CIO 们 前 十大 战略 优先 事项 排 在 前 三 位 的 是 1 改善 IT 部门 和 人员 队伍 2 交付 业务 解决方案 3 打造 数字 业务 解决方案 大数据 时代 的 Google 市场 智能 平台 Ekho 获得 120 万 美元 投资 去年 春天 发布 了 多功能 市场 情报 平台 一 年后 创业 公司 Ekho 今天 宣布 获得 首轮 120 万 美元 投资 Ekho 的 市场 情报 和 产品开发 平台 主要 面向 社交 媒体 应用 可以 捕获 分析 并 应用 各种 用户 数据 Ekho 的 核心 技术 是 基于 各种 数据源 创建 数据 集 和 可视化 层 这些 数据 可以 是 用户 在 社交 媒体发布 的 信息 网站 采集 的 一手 用户资料 或 电子邮件 等 Ekho 的 平台 还 为 现 有的 数据 密集型 应用 提供 了 足够 的 弹性 与 常见 的 定位 明确 的 市场 智能 平台 不同 Ekho 和 Ekho 的 客户 也 能开发 自己 的 多功能 定制 应 用 涵盖 社交 媒体 销售 营销 用户 获取 和 维护 竞争 情报 会员 奖励 计划 等 各个 营销 领域 Ekho 的 客户 情报 数据库 能 基于 CRM 和实 时 的 社交 媒体 数据流 发掘 销售 线索 Ekho 此外 Ekho 的 内容 发布 应用 还 能 帮助 用户 开展 更加 精准 和 有效 的 内容 营销 例如 克利夫兰 医院 可以 根据 社交 媒体 中关 于 老年痴呆症 最好 的 帖子 制作 自己 的 自 媒 体 内容 Ekho 内 建 的 一些 工具 还 能 根据 地理位置 人口 统计 以及 账号 的 影响力 来 展示 社交 数据 上图 Ekho 的 市场 智能 平台 整合 了 自然语言 处理 机器 学习 内容 营销 按 需 发布 趋势 预测 等 各种 性感 功能 这家 加利福尼亚 创业 公司 的 伟大 远景 是 成为 物 联网 时代 的 万能 数据 平台 编者按 从 某种 意义 上来 说是 成为 大数据 时代 的 Google