云数据平台
什么是云数据平台?
云数据平台是位于云(包括服务器和数据存储)中的数据中心。通过该平台,用户能够以虚拟化形式访问位于多个位置、来自多个来源的数据。
云数据平台有哪些功能?
对于任何组织而言,若要实现数字化转型,免不了要将数据生态系统和企业数据从传统本地数据中心或仓库迁移到云中。云数据平台是资源重新安置所在的位置,让企业能够创建可随时随地访问的数据湖。有了这类“民主化”数据后,可以快速获取结构化和非结构化数据,以供分析。这个平台也可以随数据和分析需求的变化而快速扩展。
企业为何要使用云数据平台?
使用云数据平台后,企业能够以更轻松的方式利用其数据。如此可从任意位置(远程和本地)管理、保护及查看数据。这些虚拟数据平台既能提供本地数据仓库的可靠性,也能够提供物理硬件所无法企及的经济实惠。组织可将这些平台用于实现灵活程度大得多的数据交换,进而制定更明智的业务决策。
云数据平台的弹性
云数据平台的弹性远胜于本地同类产品,并针对平台上托管的数据提供集成式视图。这些平台可为在其上运行的一切提供完整的可观测性,包括 CPU 和内存利用率,以及当前正运行的查询以及如何优化这些查询的相关洞见。
将数据存储在群集中以及观察实际工作负载行为之后,企业能够扩大或缩小群集以避免出现容量利用率低下的情况。
迁移至云数据平台
预测企业的用量高峰是 CIO 时常碰到的难题,而为了避免性能问题,其倾向于过度配置其数据仓库。因此,更新改造数据资源并将其迁移到能够快速扩展的云数据平台显然能够带来诸多优势。
然而,许多 CIO 并不愿舍弃在本地运行和维护其工作负载超过 60 年所累积的经验。为掌控数据,企业需要执行成本效益分析,了解切换到云数据平台的可能性。从根本上说,他们需要确定迁移和新许可证的成本是否会超过过度配置和长期运营的成本。
云数据平台的架构是什么?
一般数据平台由多个组件组成,可处理数据管理的不同方面。架构可分层为:
- 数据沿袭
- 数据安全性和审核日志记录
- 元数据、业务术语表、数据目录和数据搜索
- 存储和计算
- 数据治理
- 数据质量和数据信任
云本身允许用户将数据平台的所有组件分离开来,可协助企业扩展应用程序,避免出现只能使用某个供应商专有工具的困局。此外,大多数云数据平台提供商会将计算和存储分开,从而增强数据控制力、提升敏捷性。
系统会先导入数据,再在数据管道中予以清理。对于数据存储,云数据平台会将数据存储在两层:一层存储“热”数据,另一层存储“冷”数据。第一层是内存,会在此处存储数据索引和最常访问的数据。第二层是本地磁盘或永久性磁盘(通常是固态磁盘),其通常是基础云对象存储。在这一层进行存储,性能通常较低。
为存储数据,云数据平台会先将更新写入速度最快的内存内层,之后再复制到云对象存储层,以协助提高整体性能。热数据层会在查询时从冷数据层提取数据,在深入且细微的层面上分析数据,从而更轻松地迈向获得关键业务洞见之旅。
云数据平台的优势和劣势分别是什么?
工作负载起伏不定且非结构化数据持续增加,更新改造 IT 的压力与日俱增。然而,组织需要审慎考虑是否及如何将云基础设施(例如,云数据平台)引入其 IT 生态系统中。
优点
- 灵活性:随数据和分析需求不断变化,云数据平台能够快速、轻松地扩展容量。
- 可见性:云数据平台快速吸收能为加速分析提供支持的结构化和非结构化数据。
- 访问:将资源移到云中可加速创建数据湖,进而实现数据民主化、随时随地分享数据。
- 成本适中:与其为过度配置的系统付费,不如搭配使用云数据平台及其消费型模式,如此,企业就可以只在使用时按实际使用量付费。
缺点
- 利用率:将工作负载移动到云中时,数据中心容量利用率会快速从百分之百变为三分之二。错失任何一次服务器刷新周期就会出现这种情况。
- 复杂性:转变工作负载会提升 IT 运维的复杂性,因为业务优先事项或产品组合的变化以及工作负载转变,因此只能结合具体情况作出增减决策。
- 合规性压力增加:随着数据隐私和数据驻留法规要求的持续演变,移动工作负载的需求也随之变化。
如何使用云数据平台?
云数据平台本身具有弹性,因此成为响应不断变化的工作负载、业务目标和市场的理想工具。但企业究竟要如何发挥其作用? 请阅读下方内容了解具体用例:
- 数据整合:分析师不必再使用多个电子表格及其他平面文件数据来源,而可以使用云数据平台来构建“数据集市”。分析师能够在其中轻松加载及优化来自多个来源的数据,从而完成分析并收获切实可行的洞见。
- 运维洞见:云数据平台的数据能够与关键业务应用程序轻松集成,这提供了一种简单的方式来实施结果并反馈至应用程序中,促成数据驱动型决策。
- 多功能分析:数据分析师都有各自青睐的工具,尤其是开源工具,而开源工具可能无法兼容固定数据平台。云数据平台提供完整互操作性,允许订阅者插入其自己的工具,并在平台内使用。如此,他们可以在需要时将洞见迁移到另一个工具中,避免受供应商束缚。
- 流数据处理:云数据平台融合了数据湖和数据仓库的功能,能够处理流数据和其他非结构化企业数据,为机器学习 (ML) 提供支持。
HPE 与云数据平台
组织在管理数据时会遇到不少挑战,不仅需要优化云上的数据工作负载,还需要在由边缘、数据中心、云和多云基础设施构成的混合环境中进行优化。HPE 会为用户提供边缘到云平台,在本地及云中运行应用程序和服务,以及可管理工作负载的服务。例如,不断壮大的 HPE GreenLake 云服务产品组合包括:
- 分析:统一开放式分析云服务能对本地、边缘及云等所有位置的全部数据和应用程序进行更新改造。
- 数据保护:灾难恢复和备份云服务,可协助客户抵御勒索软件攻击,保护从边缘到云的数据。
- HPE 边缘到云采用框架和自动化工具:全面且久经验证的方法、专业知识集以及自动化工具,可加速无处不在的云体验旅程并化解这一过程中的风险。
- HPE Ezmeral Data Fabric 对象存储:基于 Kubernetes、可在整个混合环境中运行的存储技术,可让用户将文件、对象事件流和数据库中不同类型的数据融合到同一个数据架构中。
HPE 最近还推出了 Ezmeral Unified Analytics 湖仓一体平台,该平台采用一组开源技术,能够为用户提供可运行数据分析和商业智能工作负载的数据架构,避免受任何单个供应商技术的束缚。