大数据工程师做什么工作，大数据工程师如何
要成为一名大数据工程师，您需要以可以按顺序学习的循序渐进的方式获取跨大数据系统的知识。例如，首先学习数据分析和挖掘所需的MATLAB、SPSS和SAS技能后，您可以找到一份数据分析师的工作，然后继续学习其他技能，最终成为一名大数据工程师。
我们想要传达的是成为大数据工程师必须掌握的知识体系。初学者可以从简单的事情开始，逐渐学习更深层次的知识。如果你有足够的耐心和毅力去参加高考，你一定能做到。
目前大数据工程师月薪2万起，但是2万一个月很有吸引力吗？而且大数据工程师很好找工作。
首先，由于篇幅限制，这部分主要包括三个方面：数据可视化、机器学习和算法。
数据可视化
右
R除了作为一种编程语言之外，还具有强大的统计计算能力和有用的数据可视化系统。我推荐大家看一下《R数据可视化手册》这本书。
《R数据可视化手册》 重点讲解R的绘图系统并引导读者通过它实现数据可视化。本书介绍了150 多种快速绘制高质量图形的技术，每种技术都用于解决特定的绘图需求。通过目录，读者可以快速识别遇到的问题并找到相应的解决方案。同时，作者介绍了一些总结的绘画技巧，并在大部分技巧之后进行了一些讨论和扩展。《R数据可视化手册》专注于解决具体问题，是R数据可视化的实用秘诀。《R数据可视化手册》中的大部分绘图案例都是在R包ggplot2中实现的，它以强大、灵活的绘图而闻名，充分展示了ggplot2生动、信息丰富的方面。本书清楚地解释了如何绘制点图、线图和直方图、添加注释、更改轴和图例、使用面以及选择颜色。
这本书可以在网上购买，当然也有电子版。这里我给大家展示一个用R制作的可视化作品。
D3.js
D3（数据驱动文档）是一个数据库文档操作JavaScript 库，允许您将数据与HTML、SVG 和CSS 结合起来创建交互式数据图表。
电子图
ECharts是一个用于数据可视化的纯JavaScript图标库，包括混搭图表、拖放重新计算、数据视图创建、动态类型切换、图例切换、数据区域选择、值范围漫游、多维度等，具有丰富的功能比如堆叠。
ECharts（Enterprise Charts商业产品图表库）是一个基于HTML5 Canvas的纯Javascript图表库，提供直观、生动、交互式、可定制的数据可视化图表。创新的拖拽重算、数据视图、数值范围漫游等功能极大地提升了用户体验，方便用户挖掘和整合数据。
ECharts 为商业产品提供了通用的图形库。底层基于ZRender，创建坐标系、图例、提示、工具箱等基本组件，用于创建线（面）、直方图（条）、散点图。支持图表（气泡图）、K线图、饼图（圆环图）、地图、强制布局图表以及任意维度的多图表堆叠混合显示。
Excel
您可以应用和选择许多Excel 公式函数。 Microsoft Excel 允许您执行计算、分析信息以及管理电子表格和网页中的数据信息列表和数据图表。实现了许多有用的功能，为您带来方便。用户。支持的组合包括Word、PowerPoint、Access、InfoPath、Outlook 和Publisher。
事实上，如果你想进入大数据行业，学好Excel是基础，Excel完全能够满足你日常工作中的图表和数据可视化需求。
Python
Python的科学堆栈非常成熟，包含机器学习、数据分析等各种应用场景相关的模块。数据可视化是发现数据和显示结果的重要组成部分，但迄今为止其发展落后于R等工具。
幸运的是，过去几年出现了许多新的Python 数据可视化库，填补了部分空白。 matplotlib 已成为事实上最重要的数据可视化库。此外，还有许多其他库，例如vispy、bokeh、seaborn、pyga、folium、networkx 等。其中一些库构建在matplotlib 之上，而其他库则构建在matplotlib 之上。其他功能。
报表类：FineReport
工作场所中数据可视化最常见的场景是报告。大数据工程师需要进行的可视化不仅仅是表格数据的展示，还包括从数据仓库中提取的数据的实时呈现和展示。
FineReport是中国最好的报表工具之一。其强大的功能完全满足大多数企业日常办公数据呈现的需求。 FineReport实现的结果是，它与Excel不同，它是一个数据呈现和分析平台，背后有一个数据中心。让您可以完全控制数据，而Excel 则专注于独立数据分析。
机器学习
机器学习基础知识
聚类
将物理或抽象对象的集合划分为由相似对象组成的类的过程称为聚类。聚类产生的簇是同一簇内彼此相似且与其他簇中的对象不同的数据对象的集合。 “物以类聚，人以群分。”自然科学和社会科学中存在很多分类问题。聚类分析（又称群体分析）是研究（样本或指标）分类问题的统计分析方法。尽管聚类分析起源于分类学，但聚类并不等同于分类。聚类和分类之间的区别在于聚类所需的类是未知的。聚类分析的内容非常丰富，包括系统聚类方法、有序样本聚类方法、动态聚类方法、模糊聚类方法、图论聚类方法、聚类预测方法等。
聚类也是数据挖掘中一个非常重要的概念。
传统聚类分析的主要计算方法包括：
1. 分区方法
2. 层次方法
3. 基于密度的方法
4. 基于网格的方法
5. 基于模型的方法
当然，也有聚类的方法。这些包括传递闭包方法、布尔矩阵方法、直接聚类方法、相关分析聚类和基于统计的聚类方法。
依次地
时间序列（或动态序列）是同一统计指标的值按发生时间排序的序列。时间序列分析的主要目的是根据现有的历史数据预测未来。组成部分：长期趋势、季节变化、周期性变化、不规则变化。
类型：
绝对数时间序列
期间系列：按期间总计指标组织的时间序列。
相对时间序列
将同类相关指标按时间顺序排列的时间序列称为相对时间序列。
平均时间序列
平均时间序列是指相似平均指标按时间顺序排列的时间序列。
确保序列中每个时期的指标值的可比性
(1)周期长短最为一致。
(2)总体范围必须一致
（三）指标经济内容应统一
(4)计算方法需要统一
（5）计算价格与计量单位等效。
推荐系统
定义：利用电子商务网站向客户提供产品信息和建议，帮助用户决定购买哪些产品，模拟销售人员帮助客户完成购买流程。 ”
推荐系统包含三个重要模块：用户建模模块、推荐对象建模模块和推荐算法模块。通用推荐系统模型的流程如图所示。推荐系统将用户模型的兴趣需求信息与推荐对象模型的特征信息进行匹配，利用相应的推荐算法进行计算和筛选，找到用户可能感兴趣的推荐对象并进行推荐。用户。
回归分析
回归分析是确定两个或多个变量之间相互依赖的定量关系的统计分析方法。回归分析根据变量数量分为一元回归分析和多元回归分析，线性回归根据因变量数量分为一元回归分析和多元回归分析。根据自变量和因变量的关系，可以将它们之间的关系类型分为线性回归分析和非线性回归分析。当回归分析仅涉及一个自变量和一个因变量，且它们之间的关系可以近似为一条直线时，这种回归分析称为线性回归分析。当回归分析包含两个或多个自变量且自变量之间存在线性相关时，称为多元线性回归分析。
文本挖掘
文本挖掘又称文本挖掘、文本数据挖掘等。它大致相当于文本分析，一般指在文本处理过程中产生高质量的信息。高质量信息通常是通过分类和预测（例如模式识别）生成的。文本挖掘通常涉及处理输入文本（通常使用派生的语言特征和去噪进行分析，然后插入数据库），生成结构化数据，最后评估和解释输出。 “高质量”文本挖掘通常是指相关性、新颖性和兴趣的组合。典型的文本挖掘方法包括文本分类、文本聚类、概念/实体挖掘、生成准确分类、意见分析、文档摘要和实体关系建模（即学习命名实体之间的关系）。
决策树
决策树是一种决策分析方法，通过创建决策树，根据已知的各种情况发生的概率，计算净现值的期望值大于或等于零的概率，来评估项目风险并做出决策。直观应用概率分析的图形方法。这种类型的决策分支称为决策树，因为它以图形方式描绘为树的分支。机器学习中的决策树是一种预测模型，表示对象属性与对象值之间的映射关系。熵=算法ID3、C4.5 和C5.0 生成树算法使用熵来衡量系统的混乱程度。该度量基于信息论中的熵概念。
决策树是一种树结构，其中每个内部节点代表一个属性的测试，每个分支代表一个测试输出，每个叶节点代表一个类别。
分类树（决策树）是一种非常常用的分类方法。它是监督学习的一种，所谓监督学习，其中我们给定大量的样本，每个样本都有一组属性和类别，而这些类别是预先确定的，通过学习我们可以获得一个分类器。马苏。该分类器可以对新出现的事件进行分类。对象被给予正确的分类。这种机器学习称为监督学习。
支持向量机
支持向量机(SVM) 最初由Corinna Cortes 和Vapnik 于1995 年提出。它在解决小样本、非线性和高维模式识别方面表现出许多独特的优势，可以推广并应用于功能仿真和其他机器学习问题。
在机器学习中，支持向量机（SVM，也支持向量网络）是与相关学习算法相关联的监督学习模型，可以分析数据并识别分类和回归分析的模式。
贝叶斯分类
贝叶斯分类是分类算法的一种，所有这些算法都是基于贝叶斯定理，因此统称为贝叶斯分类。贝叶斯分类是一种统计分类方法，其分析方法的特点是将所有的不确定性都表达为概率，必须利用概率规则进行学习和推理。
神经网络
神经网络有两种类型：生物神经网络和人工神经网络。人工神经网络（ANN），也称为神经网络（NN）或连接模型，是模仿动物神经网络的行为特征并执行分布式并行信息处理的算法数学模型。这类网络依靠系统的复杂性，通过协调大量内部节点之间的互连关系来实现信息处理的目的。
人工神经网络：一种数学模型，使用类似于大脑中突触连接的结构来处理信息。在工程和学术界，它们通常被简称为“神经网络”或类似神经网络的网络。
机器学习工具
马胡特
Mahout 是Apache 软件基金会（ASF）的一个开源项目，提供机器学习领域经典算法的可扩展实现，让开发者更轻松、更快捷地创建智能应用程序，目的就是如此。 Mahout 包括聚类、分类、推荐过滤、频繁子项挖掘等的许多实现。此外，可以使用Apache Hadoop 库将Mahout 有效地扩展到云。
斯帕克·穆里布
MLlib是一个机器学习库，提供了集群中使用的多种算法，用于分类、回归、聚类、协同过滤等（更多信息请参见Toptal关于机器学习的文章信息）。其中一些算法还可以应用于流数据，例如使用普通最小二乘法或K 均值聚类（等等）计算线性回归。 Apache Mahout（Hadoop 机器学习库）已放弃MapReduce，转而使用Spark MLlib。
TensorFlow（基于Google）
TensorFlow是Google基于DistBelief开发的第二代人工智能学习系统，其名字来源于其独特的运行原理。 Tensor是一个N维数组，Flow是基于数据流图的计算，TensorFlow是使用张量从图像的一端流向另一端的计算过程。 TensorFlow 是一个将复杂数据结构传输到人工智能神经网络进行分析和处理的系统。
TensorFlow 可用于许多深度机器学习领域，例如语音识别和图像识别。 DistBelief（2011 年开发的深度学习基础设施）的各个方面都得到了改进。它可用于小至智能手机，大至数千台设备。 运行在数据中心服务器的各种设备上。 TensorFlow 是完全开源的，任何人都可以使用。
亚马逊机器学习
Amazon Machine Learning 是一项使各个级别的开发人员都能利用机器学习技术的服务。 Amazon Machine Learning 提供可视化工具和向导，可以指导您逐步创建机器学习模型，而无需学习复杂的机器学习算法和技术。一旦您的模型准备就绪，Amazon Machine Learning 就可以让您的应用程序使用简单的API 轻松获得预测能力，而无需实现自定义预测生成代码或管理基础设施。
Amazon Machine Learning 使用与Amazon 内部数据科学家社区多年来使用的机器学习技术相同的技术，因此它稳定、可靠且易于扩展。该服务使用强大的算法来检测现有数据中的模式并创建机器学习模型。然后，Amazon Machine Learning 使用这些模型来处理新数据并为您的应用程序生成预测。
亚马逊机器学习具有高度可扩展性，每天可以生成数十亿个预测，并以高吞吐量实时交付它们。 Amazon Machine Learning 不需要对硬件或软件进行前期投资，并且您使用时付费，因此从小规模开始，随着应用程序的增长而扩展。
DMTK（微软分布式机器学习工具）
DMTK 是微软的分布式机器学习工具包。
DMTK包括以下项目：
DMTK框架(Multiverso):参数服务器架构机器学习
LightLDA: 适用于大型主题模型的可扩展、快速且轻量级的系统。
分布式词嵌入： 文本嵌入分布式算法。
分布式Skipgram mix: 用于嵌入不明确文本的分布式算法
算法
一致性
数据一致性一般是指相关数据之间的逻辑关系是否正确、完整。数据存储完整性模型可以被认为是存储系统和数据用户之间的协议。如果用户遵循这个规则，就会得到系统承诺的访问结果。常用的一致性模型有：
a. 严格一致性（线性化、严格/原子一致性）：读取的数据始终是最后写入的数据。这种一致性只有在存在全局时钟的情况下才可能实现，而这在分布式网络环境中是不可能的。
b. 顺序一致性：所有用户都以相同的顺序看到对相同数据的操作，但该顺序不一定是实时的。
c. 因果一致性：只有因果写操作应该以相同的顺序对所有用户可见；非因果写操作并行执行，不保证顺序。因果一致性可以认为是顺序一致性的性能优化，但是在实现过程中建立和维护因果依赖图是非常困难的。
d. 管道一致性（PRAM/FIFO 一致性）：因果一致性模型的进一步弱化，其中特定用户完成的写操作被所有其他用户顺序地、不同地看到，无需保证用户会认出你。写入操作的顺序类似于一次连接一个管道。实施相对容易。
e. 弱一致性：顺序一致性只需要访问共享数据结构。对同步变量的操作是顺序一致的、全局可见的，并且只有在没有等待处理的写操作时才能执行，以保证对关键区域的顺序访问。同步时，所有用户看到相同的数据。
f. 发布一致性：弱一致性不区分用户是否要进入或退出临界区。发布一致性是通过两种不同的操作语句来区分的。当需要写入时，用户获取该对象，写入后释放。获取和释放之间形成一个关键部分。提供发布一致性意味着所有用户必须能够在发布操作发生时看到它。
g.最终一致性：如果没有新的更新，更新最终将通过网络传播到所有副本点，所有副本点最终将变得一致。不保证您在此过程中看到的是新写入的数据。采用最终一致的模型有一个重要要求。也就是说，允许读取旧数据。
h. Delta一致性：系统在Delta时间内达到一致性。在此期间会出现不一致的窗口。这可能是由日志传送过程引起的。这些是本书的原话。我也不知道。数据库完整性是指数据库中数据的准确性和兼容性。数据库完整性是通过各种完整性约束来保证的，因此数据库完整性设计可以说是数据库完整性约束的设计。它还包括身体完整性。域完整性。参照完整性。用户定义的一致性。它可以是主键。检查约束条件。外键一次实现一个。这个比较常用
帕克索斯
Paxos算法是一种基于消息传递的共识算法，由Leslie Lamport（LaTeX中的“La”，现供职于微软研究院）于1990年提出。该算法被认为是同类算法中最有效的。
Paxos算法解决的问题是分布式系统如何就特定值（分辨率）达成共识。一个典型的场景是，在分布式数据库系统中，每个节点都有一致的初始状态，如果每个节点执行相同的一组操作，最终都会获得一致的状态。为了确保每个节点执行相同的命令序列，必须对每条指令运行“一致性算法”，以确保每个节点看到的指令是一致的。通用共识算法可以应用于很多场景，是分布式计算中的一个重要问题。因此，自20 世纪80 年代以来，共识算法的研究一直在进行。节点通信有两种模型：共享内存和消息传递。 Paxos算法是一种基于消息传递模型的共识算法。
筏
Raft是斯坦福大学提出的一种更容易理解的共识算法，旨在取代目前广泛使用的Paxos算法。目前有多种主流语言的开源实现，其中包括我在本文中使用的基于JGroups 的Raft 协议实现。
在Raft 中，每个节点可以处于以下三种状态之一：
follower：所有节点都以follower状态开始。如果没有收到领导者消息，则成为候选状态。
候选人：向其他节点“征求选票”，如果获得多数选票，则成为领导者。这个过程称为领导者选举。
阅读器：对系统的所有更改都首先经过阅读器。为每个更改写入一个日志条目。读者收到变更请求后，过程如下，这个过程称为日志复制。
将日志复制到所有follower节点（复制条目）
仅当大多数节点响应时才发送日志
通知所有关注者节点日志已发送
所有关注者也发送日志
整个系统现在处于一致状态
八卦
顾名思义，八卦算法的灵感来自于办公室八卦。一个人八卦的话，在有限的时间内所有人都会知道八卦信息。八卦有许多其他名称，因为这种技术类似于传播病毒。 “八卦算法”、“趋势传播算法”、“病毒感染算法”、“谣言传播算法”。
但八卦并不新鲜。以前所有的洪水搜索和路由算法都属于这一类。不同的是Gossip为这类算法提供了清晰的语义、具体的实现方法以及收敛性证明。
Gossip 算法也被称为反熵，熵是物理学中描述混沌的一个概念，而反熵就是在混沌中寻找一致性，这完美地说明了Gossip 的特性： 在有界网络中，每个节点都与其他节点进行通信随机的，经过混乱的通信，所有节点的状态最终达成共识。每个节点可能知道所有其他节点或仅知道其少数邻居。只要这些节点能够通过网络连接，它们的状态最终就会保持一致。当然，这也是传染病传播的一个特点。
需要注意的一点是，即使某些节点因宕机而重新启动并添加了新节点，经过一段时间后这些节点的状态也会与其他节点匹配。换句话说，Gossip 天生就是分布式容错的。优势。
常用算法
1. 排序
将杂乱的数据元素按照关键字顺序以特定方式排列的过程称为排序。假设您正在排序的记录序列中有多个具有相同关键字的记录。排序后，这些记录的相对顺序不会改变。所以在原始序列中，ri=rj，ri 在rj 之前，并且in。如果在排序序列中ri仍然在rj之前，则该排序算法称为稳定的，否则称为不稳定的。
插入排序
如果你已经有一个有序的数据列，并且想在已排序的数据列中插入数字，但又希望插入后数据列保持有序，这种情况下，你可以使用新的排序方法—— 插入排序方法插入排序的基本操作是通过将数据插入到已经排序的有序数据中，将数值加1，得到新的有序数据，该算法适合数据量较小或耗时的排序。是O(n^2)。这是一种稳定的选择方法。插入算法将正在排序的数组分成两部分。第一部分包含除最后一个元素之外的数组的所有元素（留出一个空间以向数组添加插入点）。第二部分仅包含此元素。一个元素（即正在插入的元素）。第一个部分排序后，最后一个元素将插入到第一个排序部分中。
插入排序的基本思想是，在每一步中，将待排序的记录根据键值的大小插入到先前已排序文件中的适当位置，直到全部插入完毕。
桶排序
桶排序（也称为bin 排序）是一种排序算法，其工作原理是将数组划分为有限数量的桶。每个桶独立排序（也可以使用其他排序算法或继续递归使用桶排序）。桶排序是鸽笼排序的归纳结果。当被排序的数组中的值均匀分布时，桶排序使用线性时间（(n)）。然而，桶排序不是比较排序，因此它不受O(n log n) 下限的约束。
堆排序
堆排序是指使用类似堆叠树（堆）的数据结构设计的排序算法，是选择排序的一种。您可以使用数组的属性来快速查找指定索引处的元素。将堆分为大根堆和小根堆，从而形成完全二叉树。大根堆的一个要求是每个节点的值小于或等于其父节点的值，即A[PARENT[i]]=A[i]。数组的非降序排序需要使用大根堆，因为根据大根堆的要求，最大值必须位于堆的开头。
2.快速排序
快速排序是冒泡排序的改进版本。
快速排序是C. A. R. Hoare 在1962 年提出的。其基本思想是在一次排序中将待排序的数据分成两个独立的部分。使用此方法可以快速分离两部分数据，因为一部分中的所有数据都小于另一部分中的所有数据。排序可以让你递归地执行整个排序过程，从而使整个数据成为一个有序的序列。
3. 最大子数组
最大和子数组是数组中和最大的子数组，也称为最大和子序列。子数组是数组中的n 个连续元素。例如，a2、a3 和a4 是长度为3 的子数组。顾名思义，求最大和子数组就是找到和最大的子数组。
n 个元素的数组包含n 个长度为1 的子数组：{a0}、{a1}、{an-1}。
n 个元素的数组包含n-1 个长度为2 的子数组：{a0,a1}、{a1,a2}、{an-2,an-1}。
……………………………………………………………………………………
n 个元素的数组包含一个长度为n 的子数组：{a0,a1,…,an-1}；
因此，长度为n的数组中子数组的数量为n+(n-1)+…+1=n*(n-1)/2。
4. 最长公共子序列
如果一个序列是两个或多个已知序列的子序列，并且是满足该条件的所有序列中最长的，则该序列称为已知序列的最长公共子序列。
英文缩写为LCS（最长公共子序列）。它的定义是：如果一个序列S是两个或多个已知序列的子序列，那么它就是所有满足这个条件的序列中最常见的序列。
长的，则 S 称为已知序列的最长公共子序列。而最长公共子串(要求连续)和最长公共子序列是不同的。 最长公共子序列是一个十分实用的问题，它可以描述两段文字之间的“相似度”，即它们的雷同程度，从而能够用来辨别抄袭。对一段文字进行修改之后，计算改动前后文字的最长公共子序列，将除此子序列外的部分提取出来，这种方法判断修改的部分，往往十分准确。简而言之，百度知道、百度百科都用得上。 5.最小生成树 一个有 n 个结点的连通图的生成树是原图的极小连通子图，且包含原图中的所有 n 个结点，并且有保持图连通的最少的边。最小生成树可以用kruskal（克鲁斯卡尔）算法或prim（普里姆）算法求出。 最短路径 用于计算一个节点到其他所有节点的最短路径。主要特点是以起始点为中心向外层层扩展，直到扩展到终点为止。Dijkstra算法能得出最短路径的最优解，但由于它遍历计算的节点很多，所以效率低。 6.矩阵的存储和运算 列矩阵（column major）和行矩阵（row major）是数学上的概念，和电脑无关，它只是一套约定（convention），按照矢量和矩阵的乘法运算时，矢量是列矢还是行矢命名，这里只说4×4矩阵。齐次矢量可以看成是一个1×4的矩阵，就是行矢；或者4×1的矩阵，就是列矢。 云计算 云计算（Cloud Computing）是分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、[5] 网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）、热备份冗余（High Available）等传统计算机和网络技术发展融合的产物。 云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。 云服务 SaaS SaaS是Software-as-a-Service（软件即服务）的简称，随着互联网技术的发展和应用软件的成熟， 在21世纪开始兴起的一种完全创新的软件应用模式。它与“on-demand software”（按需软件)，the application service provider(ASP，应用服务提供商)，hosted software(托管软件)所具有相似的含义。它是一种通过Internet提供软件的模式，厂商将应用软件统一部署在自己的服务器上，客户可以根据自己实际需求，通过互联网向厂商定购所需的应用软件服务，按定购的服务多少和时间长短向厂商支付费用，并通过互联网获得厂商提供的服务。 SaaS 应用软件的价格通常为“全包”费用，囊括了通常的应用软件许可证费、软件维护费以及技术支持费，将其统一为每个用户的月度租用费。 PaaS PaaS是Platform-as-a-Service的缩写，意思是平台即服务。 把服务器平台作为一种服务提供的商业模式。通过网络进行程序提供的服务称之为SaaS(Software as a Service)，而云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了PaaS(Platform as a Service)。 所谓PaaS实际上是指将软件研发的平台（计世资讯定义为业务基础平台）作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。在2007年国内外SaaS厂商先后推出自己的PAAS平台。 IaaS IaaS（Infrastructure as a Service），即基础设施即服务。 消费者通过Internet 可以从完善的计算机基础设施获得服务。这类服务称为基础设施即服务。基于 Internet 的服务（如存储和数据库）是 IaaS的一部分。Internet上其他类型的服务包括平台即服务（Platform as a Service，PaaS）和软件即服务（Software as a Service，SaaS）。PaaS提供了用户可以访问的完整或部分的应用程序开发，SaaS则提供了完整的可直接使用的应用程序，比如通过 Internet管理企业资源。 Openstack OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。 OpenStack是IaaS(基础设施即服务)组件，让任何人都可以自行建立和提供云端运算服务。 此外，OpenStack也用作建立防火墙内的“私有云”（Private Cloud），提供机构或企业内各部门共享资源。 Docker Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 Docker 使用客户端-服务器 (C/S) 架构模式，使用远程API来管理和创建Docker容器。Docker 容器通过 Docker 镜像来创建。容器与镜像的关系类似于面向对象编程中的对象与类。
