클라우드 데이터 플랫폼
클라우드 데이터 플랫폼이란?
클라우드 데이터 플랫폼은 서버와 데이터 스토리지를 포함하여 클라우드에 있는 데이터 센터로, 여러 위치에 있는 여러 소스의 데이터에 가상 액세스를 제공합니다.
클라우드 데이터 플랫폼의 역할
조직의 디지털 트랜스포메이션 과정에는 데이터 에코시스템과 엔터프라이즈 데이터를 기존의 온프레미스 데이터 센터 또는 웨어하우스에서 클라우드로 이동하는 단계가 있습니다. 클라우드 데이터 플랫폼은 바로 리소스가 재배치되는 위치로, 엔터프라이즈가 언제 어디서나 액세스할 수 있는 데이터 레이크를 생성할 수 있습니다. 데이터 ‘민주화’를 통해 구조화된 데이터와 구조화되지 않은 데이터 둘 다 신속한 처리를 통해 분석을 강화할 수 있습니다. 또한 플랫폼은 데이터 및 분석 요구 사항의 변화에 따라 빠르게 확장할 수 있습니다.
엔터프라이즈에서 클라우드 데이터 플랫폼을 사용하는 이유
엔터프라이즈는 클라우드 데이터 플랫폼을 통해 더 간편하게 데이터를 활용할 수 있습니다. 또한 원격으로 또는 온프레미스 등 모든 위치에서 데이터의 관리, 보안, 보기가 가능합니다. 이러한 가상 데이터 플랫폼은 온프레미스 데이터 웨어하우스의 안정성과 물리적 하드웨어로는 불가능한 경제성을 제공합니다. 조직에서 이러한 플랫폼을 사용하여 데이터 교환의 유연성을 대폭 늘리고 정보를 바탕으로 한 비즈니스 결정을 강화할 수 있습니다.
클라우드 데이터 플랫폼의 탄력성
클라우드 데이터 플랫폼은 온프레미스 플랫폼보다 훨씬 탄력적이며 플랫폼에서 호스팅하는 데이터에 대한 통합 보기를 제공합니다. 또한 CPU 및 메모리 사용률과 실행 중인 쿼리 및 최적화 방법에 대한 인사이트 등 실행하는 모든 것에 대한 완전한 관찰을 지원합니다.
엔터프라이즈는 데이터를 클러스터에 저장하고 실제 워크로드 행동을 관찰하면서 클러스터의 크기를 확장하거나 축소하여 용량보다 낮게 사용하는 경우를 방지할 수 있습니다.
클라우드 데이터 플랫폼으로 이동
CIO는 엔터프라이즈의 최고 사용량을 예측하기가 어려운 경우가 많아 성능 문제 방지를 위해 데이터 웨어하우스를 오버프로비저닝하기 마련입니다. 따라서 데이터 리소스를 고도화하고 빠른 확장이 가능한 클라우드 데이터 플랫폼으로 이동하는 것이 확실히 이점이 있다고 할 수 있습니다.
하지만 많은 CIO가 60년 넘게 온프레미스에서 워크로드를 실행하고 유지관리한 관행을 포기하는 것을 망설이고 있습니다. 엔터프라이즈에서 데이터의 상태를 항상 파악하기 위해서는 클라우드 데이터 플랫폼으로의 전환에 대한 비용 및 이점 분석이 필요합니다. 기본적으로 마이그레이션 및 신규 라이선스 비용이 오버프로비저닝 및 장기 운영 비용보다 더 큰지를 판단해야 합니다.
클라우드 데이터 플랫폼의 아키텍처란?
일반적인 데이터 플랫폼은 다양한 측면의 데이터 관리를 처리하는 몇 가지 구성요소로 구성됩니다. 아키텍처는 다음과 같이 계층화됩니다.
- 데이터 계열
- 데이터 보안 및 감사 기록
- 메타데이터, 비즈니스 용어집, 데이터 카탈로그, 데이터 검색
- 스토리지 및 컴퓨팅
- 데이터 거버넌스
- 데이터 품질 및 데이터 트러스트
클라우드 자체만으로 사용자가 데이터 플랫폼의 모든 구성요소를 분리할 수 있어 엔터프라이즈가 애플리케이션을 확장하고 벤더의 독점 툴에 고정되는 것을 방지하는 데 도움이 됩니다. 또한 대부분의 클라우드 데이터 플랫폼 공급자는 데이터 제어 및 민첩성 향상을 위해 컴퓨팅과 스토리지를 분리합니다.
데이터를 먼저 가져온 다음 데이터 파이프에서 삭제합니다. 스토리지의 경우 클라우드 데이터 플랫폼이 데이터를 2개 계층에 저장합니다. 하나는 ‘핫’ 데이터용이고 다른 하나는 ‘콜드’ 데이터용입니다. 첫 번째 계층은 메모리로, 데이터 인덱스와 대부분의 자주 이용하는 데이터를 저장합니다. 두 번째 계층은 로컬 디스크 또는 영구 디스크(일반적으로 솔리드 스테이트 디스크)이며 일반적으로 기본 클라우드 개체 스토리지입니다. 보통 이 계층은 속도가 더 느립니다.
데이터 저장을 위해 클라우드 데이터 플랫폼이 먼저 가장 빠른 인메모리 계층에 업데이트를 작성한 후 클라우드 계층 스토리지 계층에 복사하여 전반적인 성능을 향상합니다. 쿼리된 경우 핫 데이터 계층이 콜드 데이터 계층에서 데이터를 가져온 다음 데이터를 매우 세밀하게 살펴 비즈니스 크리티컬 인사이트로의 경로가 간소화됩니다.
클라우드 데이터 플랫폼의 장단점
워크로드가 변하고 구조화되지 않은 데이터 볼륨이 계속 증가함에 따라 IT 고도화 부담도 증가하고 있습니다. 하지만 조직은 클라우드 데이터 플랫폼과 같은 클라우드 인프라를 IT 시스템에 통합할지 여부와 통합할 방법을 신중하게 고려해야 합니다.
장점
- 유연성: 데이터 및 분석 요구 사항이 변할 경우 클라우드 데이터 플랫폼이 빠르고 간편하게 용량을 조정할 수 있습니다.
- 가시성: 클라우드 데이터 플랫폼이 구조화된 데이터와 구조화되지 않은 데이터를 빠르게 처리하여 분석 속도가 향상됩니다.
- 액세스: 리소스를 클라우드로 이동하면 데이터 레이크 생성이 촉진되어 데이터를 민주화하고 언제 어디서나 공유할 수 있습니다.
- 적절한 비용 규모: 오버프로비저닝된 시스템 비용을 지불하는 대신 소비 기반 모델과 함께 클라우드 데이터 플랫폼을 사용함으로써 엔터프라이즈는 사용한 만큼만 결제할 수 있습니다.
단점
- 사용률: 데이터 센터 활용도는 워크로드가 클라우드로 이동함에 따라 전체 용량에서 2/3로 빠르게 변할 수 있습니다. 단일 서버 교체 주기를 포기하면 이러한 시나리오가 생성됩니다.
- 복잡성: 워크로드를 전환하면 IT 운영의 복잡성이 증가할 수 있습니다. 비즈니스 우선순위 또는 포트폴리오 및 워크로드 전환의 변경으로 인해 사례마다 확장 및 축소 결정이 달라집니다.
- 컴플라이언스 부담 증가: 데이터 개인 정보 보호 및 데이터 보존 규정이 계속 변경되어 워크로드를 이동할 필요성도 변경될 수 있습니다.
클라우드 데이터 플랫폼 사용 방법
클라우드 데이터 플랫폼은 탄력성이 우수하여 워크로드, 비즈니스 목표, 시장의 변화에 대응하기에 적합한 툴입니다. 하지만 비즈니스에서는 정확히 어떻게 사용하고 있을까요? 아래의 몇 가지 사용 사례를 읽어보십시오.
- 데이터 통합: 여러 개의 스프레드시트와 다른 단층 파일 데이터 소스를 사용하는 대신 애널리스트는 클라우드 데이터 플랫폼을 사용하여 ‘데이터 마트’를 구축합니다. 여러 소스에서 얻은 데이터를 간편하게 로드 및 최적화하고 분석 및 실행 가능한 인사이트에 활용할 수 있습니다.
- 운영 인사이트: 클라우드 데이터 플랫폼의 데이터는 비즈니스 크리티컬 애플리케이션과 간편한 통합이 가능하여 손쉽게 결과를 운영화하고 애플리케이션에 적용하여 데이터 중심 결정을 지원할 수 있습니다.
- 다목적 분석: 데이터 애널리스트는 모두 선호하는 툴이 있습니다. 특히 오픈 소스 툴을 선호하는데 이 툴은 고정된 데이터 플랫폼과 호환되지 않을 수 있습니다. 클라우드 데이터 플랫폼은 완전한 상호 운용성을 제공하기에 구독자는 자체 툴을 연결하여 플랫폼에서 사용할 수 있습니다. 이로써 필요시 인사이트를 다른 툴로 이동하고 공급업체 고정을 방지할 수 있습니다.
- 스트리밍 데이터 처리: 클라우드 데이터 플랫폼은 데이터 레이크와 데이터 웨어하우스의 기능을 결합하여 스트리밍 데이터 및 기타 구조화되지 않은 엔터프라이즈 데이터를 처리하고 ML(기계 학습)을 지원합니다.
HPE와 클라우드 데이터 플랫폼
조직은 클라우드에서 데이터 워크로드를 최적화하는 방법뿐만 아니라 엣지, 데이터 센터, 클라우드, 멀티 클라우드 인프라 등으로 구성된 하이브리드 환경에서 데이터를 최적화하는 방법 등 데이터 관리와 관련된 수많은 문제에 직면합니다. HPE는 사용자가 온프레미스 및 클라우드에서 애플리케이션과 서비스를 실행할 수 있는 엣지 투 클라우드 플랫폼과 함께 워크로드를 관리하는 서비스를 제공합니다. 계속 증가하는 HPE GreenLake 클라우드 서비스에서 제공하는 내용은 다음과 같습니다.
- 분석: 개방형 통합 분석 클라우드 서비스로 온프레미스, 엣지, 클라우드 등 어디서나 모든 데이터와 애플리케이션을 고도화합니다.
- 데이터 보호: 재난 복구 및 백업 클라우드 서비스를 이용하여 고객이 랜섬웨어를 정면으로 대응하고 엣지 투 클라우드에서 데이터를 보호할 수 있습니다.
- HPE 엣지 투 클라우드 도입 프레임워크 및 자동화 툴: 포괄적이고 입증된 방법의 전문 지식 및 자동화 툴로 어디서든 클라우드 경험으로 향하는 길을 가속화하고 위험을 제거할 수 있습니다.
- HPE Ezmeral Data Fabric 개체 저장소: 하이브리드 환경 전반에 걸쳐 실행되는 Kubernetes 기반 스토리지 기술로, 사용자가 파일, 개체 이벤트 스트림, 데이터베이스에서 다양한 유형의 데이터를 동일한 데이터 패브릭으로 결합할 수 있습니다.
최근 출시된 HPE Ezmeral Unified Analytics는 사용자가 단일 공급업체의 기술에 고정되지 않으면서 데이터 분석 및 비즈니스 인텔리전스 워크로드를 실행할 데이터 패브릭을 제공하는 일련의 오픈 소스 기술에 기반한 클라우드 데이터 레이크하우스 플랫폼입니다.