Spark

Spark와 Hadoop은 몇 가지 비슷한 점이 있습니다. 둘 다 분석 데이터 처리에 사용되는 오픈 소스 프레임워크이며 둘 다 Apache Software Foundation에 속해 있습니다. 또한 기계 학습 라이브러리를 포함하고 있고 Java, Python, R, 또는 Scala와 같은 여러 다른 언어로 프로그래밍할 수 있습니다.

그러나 Spark는 Hadoop으로 가능한 컴퓨팅 수를 확장하기 위해 작성되었습니다. 따라서 비교하려면 Spark가 Hadoop의 네이티브 데이터 처리 구성 요소인 MapReduce를 어떻게 개선하는지 살펴봐야 합니다.

예를 들어 Hadoop은 데이터를 일괄적으로만 처리할 수 있는 반면, Spark는 데이터를 일괄 처리하면서 실시간 스트리밍도 가능합니다. 또한 둘 다 기계 학습 라이브러리를 갖고 있지만 Spark만이 인메모리 데이터를 사용하여 처리 기능을 수행하기 때문에 Hadoop보다 훨씬 빠릅니다. 마지막으로 Spark와 Hadoop의 가장 큰 차이는 효율성에 있습니다. Hadoop은 2단계 실행 프로세스를 사용하는 반면, Spark는 작업을 예약하고 작업자 노드를 관리하기 위해 DAG(Directed Acyclic Graph)를 생성하여 프로세스를 동시에 효율적으로 처리합니다.

Java나 Kotlin을 사용하는 개발자가 제한된 표준 문안으로 표현력이 더 좋은 웹 애플리케이션을 개발하려 할 때 종종 Spark Framework로 눈을 돌립니다. Spark는 선언적이고 표현력 좋은 구문으로 코딩을 더 좋게 만드는 보다 생산적이고 빠른 개발 프로세스를 실현할 수 있도록 설계되었습니다.

Spark는 마이크로 프레임워크로, 개발자가 번거롭지 않은 프로세스로 Java VM(가상 시스템)을 최대한 활용할 수 있도록 지원합니다. Spark의 코드 구문은 매우 간결하여 다른 Java 웹 프레임워크에 비해 더 효율적으로 코딩할 수 있습니다.

또한 Spark Framework 언어는 이미 내장된 유형의 서버 측에서 실행됩니다. 이는 TypeScript와 같은 JavaScript로 컴파일되는 정적 타입 언어를 사용하는 NodeJS 개발자에게 도움이 되는 것은 물론 점점 더 많은 서버 측 웹 개발을 가능하게 합니다.

Spark는 다른 프레임워크보다 더 강력한 프레임워크를 만드는 여러 데이터 구조를 운영합니다. 여기에는 아래에 설명된 RDD, DataFrames, Datasets, Tungsten, GraphFrames가 포함됩니다.

• RDD(Resilient Distributed Datasets): RDD는 클러스터 간에 데이터를 분산하여 다양한 작업을 동시에 처리할 수 있습니다. 클러스터의 노드에 장애가 발생한 경우 작업을 다시 컴퓨팅하기 때문에 사용자가 조작하지 않아도 작업을 계속할 수 있습니다.
• DataFrames: DataFrames는 SQL 운영을 위해 데이터를 열로 정리합니다. 데이터 세트 자체에서 다루기는 하지만 데이터 유형 안전성은 제공하지 않습니다.
• Datasets: Datasets도 SQL 쿼리를 위한 열로 데이터를 정리합니다. 데이터 유형 안전 대책을 제공합니다.
• Tungsten: Tungsten 데이터 구조는 Spark의 성능을 베어 메탈 성능 수준으로 끌어올리기 위해 도입된 최신 추가 기능입니다. 더 빠른 처리를 위한 메모리 관리, 이진 처리, 코드 생성, 알고리즘 개발을 목표로 합니다.
• GraphFrames: GraphFrames 데이터 구조를 사용하면 최고의 성능 속도를 얻기 위해 인메모리에서 실행되는 그래프 쿼리를 실행할 수 있습니다.

Spark는 이 다섯 가지 데이터 구조를 결합하여 데이터를 준비하고 다른 프레임워크와 마찬가지로 서술적 분석과 검색을 제공할 수 있습니다. 또한 예측 분석, 기계 학습, 그래프 처리를 통해 기업이 더 빠르게 정보에 입각한 의사 결정을 내릴 수 있도록 지원합니다.