파케이란, Apache Software Foundation에서 개발한 오픈 소스 컬럼 지향 데이터 저장 형식이다. 파케이는 주로 대규모 데이터 처리를 위해 설계되었으며, 특히 하둡 생태계에서 널리 사용된다.

그렇다면 먼저, 컬럼 지향 데이터 저장 형식이란 무엇일까?

행 기반 vs 열 기반

데이터를 저장할 때 행 기반 혹은 열 기반으로 저장할 수 있다.

행 기반

우리가 잘 아는 MySQL, PostgreSQL과 같은 데이터베이스는 행 기반으로 데이터를 저장한다. 행 기반으로 데이터를 저장한다는 것은 데이터를 행 단위로 추가하는 것을 의미힌다.

위와 같은 테이블이 있을 때, 해당 데이터들은 디스크에 다음과 같이 저장된다.

1
2
3
1, yumin, 25
2, boksil, 18
3, ddung, 12

한 행의 모든 값이 함께 저장되므로, 특정 행을 조회할 때 모든 열의 값을 한 번에 읽을 수 있다는 특징이 있다.

여기에서 중복 데이터 압축이 어렵다는 이야기가 나오는데, 아래에서 열 기반의 데이터 저장 형식에 대해 알아본 다음 더 자세히 알아보자.

열 기반 저장 형식에서는 각 열의 모든 행 값이 연속적으로 저장된다.

1
2
3
1, 2, 3
yumin, boksil, ddung
25, 18, 12

행 단위의 저장 방식보다 열 기반 저장 방식이 중복 데이터 압축에 용이하다고 하는데, 그렇다면 중복 데이터 압축이란 무엇일까?

중복 데이터 압축이란, 데이터 중복성을 이용하여 데이터 크기를 줄이는 방법을 의미한다. 데이터가 중복될수록 압축 효율이 높아지며, 이는 데이터 저장 공간 절약 및 전송 속도 향상에 크게 기여할 수 있다.

열 기반 저장 형식에서는 동일한 열의 데이터가 연속적으로 저장되므로, 중복 데이터 압축의 효율성이 극대화된다.

예를 들어, 위와 같이 나이에 대한 테이블에서 동일한 나이가 많을수록 높은 효율을 기대할 수 있다.

자 그럼 다시 파케이로 넘어와보자. 파케이는 열 기반 데이터 저장 형식이기 때문에 다음과 같은 장점을 가진다는 것을 알 수 있다.