对象存储与nosql,对象存储与大数据分析

大数据的存储

⼤数据的存储⽅式是结构化、半结构化和⾮结构化海量数据的存储和管理，轻型数据库⽆法满⾜对其存储以及复杂的数据挖掘和分析操作，通常使⽤分布式⽂件系统、No SQL 数据库、云数据库等。

站在用户的角度思考问题，与客户深入沟通，找到色尼网站设计与色尼网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都做网站、成都网站制作、成都外贸网站建设、企业官网、英文网站、手机端网站、网站推广、域名与空间、雅安服务器托管、企业邮箱。业务覆盖色尼地区。

结构化、半结构化和⾮结构化海量数据的存储和管理，轻型数据库⽆法满⾜对其存储以及复杂的数据挖掘和分析操作，通常使⽤分布式⽂件系统、No SQL 数据库、云数据库等。

1 分布式系统：分布式系统包含多个⾃主的处理单元，通过计算机⽹络互连来协作完成分配的任务，其分⽽治之的策略能够更好的处理⼤规模数据分析问题。

主要包含以下两类：

1）分布式⽂件系统：存储管理需要多种技术的协同⼯作，其中⽂件系统为其提供最底层存储能⼒的⽀持。分布式⽂件系统 HDFS 是⼀个⾼度容错性系统，被设计成适⽤于批量处理，能够提供⾼吞吐量的的数据访问。

2）分布式键值系统：分布式键值系统⽤于存储关系简单的半结构化数据。典型的分布式键值系统有 Amazon Dynamo，以及获得⼴泛应⽤和关注的对象存储技术(Object Storage)也可以视为键值系统，其存储和管理的是对象⽽不是数据块。

2 Nosql 数据库：关系数据库已经⽆法满⾜ Web2.0 的需求。主要表现为：⽆法满⾜海量数据的管理需求、⽆法满⾜数据⾼并发的需求、⾼可扩展性和⾼可⽤性的功能太低。No SQL 数据库的优势：可以⽀持超⼤规模数据存储，灵活的数据模型可以很好地⽀持 Web2.0 应⽤，具有强⼤的横向扩展能⼒等，典型的 No SQL 数据库包含以下⼏种：

3 云数据库：云数据库是基于云计算技术发展的⼀种共享基础架构的⽅法，是部署和虚拟化在云计算环境中的数据库。

NoSQL 数据库和对象云存储的区别

1、使用冗余，每个人的好友信息都在数据库中有存储，就是你说的记录一对一关系

2、数据缓存到内存，数据访问很快

3、状态信息修改异步，比如一个人登陆了，他的好友不是马上就知道，中间间隔几秒也没有关系

4、数据可能不放在关系数据库中，可能使用nosql数据库，比如mongodb,bigtable,cassandra等

不属于对象存储的存储类型

块存储和文件存储不属于对象储存

对象数据组成结构

与块存储和文件存储管理数据的方式不同，对象存储是以对象的形式管理数据的。对象和文件最大的不同，就是在文件基础之上增加了元数据。一般情况下，对象分为三个部分：数据、元数据以及对象id。

对象的数据通常是无结构的数据，比如：图片、视频或文档等；对象的元数据则指的是对象的相关描述，比如：图片的大小、文档的拥有者等；对象id则是一个全局的唯一标识符，用来区分对象的。

从数据结构来看，这三种存储有着根本不同。块存储的数据结构是数组，而文件存储是二叉树（B,B-,B+,B*各种树），对象存储基本上都是哈希表。

数组和二叉树都是老生常谈，没有太多值得说的，而对象存储使用的哈希表也就是常听说的键值（KeyVaule型）存储的核心数据结构，每个对象找一个UID（所谓的“键”KEY），算哈希值（所谓的“值Vaule”）以后和目标对应。找了一个哈希表例子如下：

键值对应关系简单粗暴，毕竟算个hash值是很快的，这种扁平化组织形式可以做得非常大，避免了二叉树的深度，对于真·海量的数据存储和大规模访问都能给力支持。所以不仅是对象存储，很多NoSQL的分布式数据库都会使用它，比如Redis，MongoDB，Cassandra 还有Dynamo等等。