本文共 1185 字，大约阅读时间需要 3 分钟。
大数据计算技术
大数据概念
大数据计算体系
数据采集与建模
大数据分析算法
大数据处理技术
数据可视化
Hadoop计算体系
HDFS/HBase存储架构
MapReduce计算模型
图并行计算框架
流计算
内存计算
大数据概念
数据是什么？
数据科学是什么？
大数据基本属性是什么？
什么是大数据（Big Data）？ 4V
Volume: 数据量异常庞大，一般达到PB量级
Variety: 数据呈异构化，数据来源呈多样性
Velocity: 数据处理要求时效性
Value: 单个数据无价值，但大规模数据拥有巨大价值
什么是大数据？
数据种类的多样性：文字、语音、图片、视频、信息等
数据对象的多样性：个人信息、个人数据、商业服务数据、社会公共数据、自然界数据、物质世界的数据
数据来源的多样性：在数据层面打破现实世界的界限，多家公司的共享替代一家公司的数据
大数据概念——数据的定义
数据的定义
数据的基本定义
计算机学科中数据的定义
数据的多样化
数据的形式多样化
数据的来源多样化
数据的范围多样化
数据转换过程
数据-信息-知识-价值转换模型
大数据概念——基本属性
Volume：大数据的超大规模
规模体现
带来的影响：
数据存储架构：
基于行-键表格存储格式的关系型数据库？
基于分布式文件系统的分布式数据库！
计算模型：
离线批处理计算框架（ MapReduce）
BSP图并行计算框架（Pregel、Hama）
交互式计算模型
大内存计算系统
Variety：大数据来源多样性与异构性
大数据类型划分：
依结构特征划分
依时效性划分
依关联特性划分
依数据类型划分
依数据来源划分
带来影响：
数据存储、管理和快速查询异常困难
Value：价值低密度特性
区别于传统数学统计学方法的关键之处
传统数学统计学
大数据分析计算方法
处理对象
局部数据或数据子集
以数据整体或完整数据集作为处理对象
处理方法
基于抽样调查的随机分析方法
机器学习方法
通过数据的积累来训练和改进算法和计算程序
结果正确性
取决于随机抽样模型产生的数据集的代表性
处理数据量越大，
计算结果越越优化
大数据技术特征
大数据算法特性
大数据计算系统特性
大数据开发技术特性
大数据算法特性
大数据计算
传统统计学
样本空间
整个数据集
基于独立同分布原理抽取样本集
计算方法
机器学习方法
按照固定数学模型进行预测
优势 避免样本失真
预测结果的精度改进是一个动态
大数据计算系统特性
大数据计算系统
传统数据库系统
优势
基础模型
分布式文件系统
NoSQL非关系型数据库
关系型模型
支持非结构化或异构数据的存储和处理
支持分布式系统部署
支持超大规模数据集完成快速查询操作
存储格式
基于键值对的列存储格式
基于主键的行存储格式
更优的查询效率
更好的对计算模型的支持
转载地址：http://meznz.baihongyu.com/