데이터 레이크란 무엇일까요?

데이터 레이크는 대규모의 다양한 원시 데이터 세트를 기본 형식으로 저장하는 데이터 리포지토리 유형입니다. 데이터 레이크를 사용하면 정제되지 않은 데이터를 볼 수 있습니다. 데이터 레이크는 데이터 저장을 위해 전체적인 대규모 리포지토리를 원하는 기업의 데이터 관리 전략으로 널리 이용되고 있습니다. 

원시 데이터는 특정 목적을 위해 처리되지 않은 데이터를 말합니다. 데이터 레이크에 있는 데이터는 쿼리되기 전까지는 정의되지 않습니다. 데이터 과학자들은 보다 고도화된 분석 툴이나 예측 모델링을 사용하여 원시 데이터에 액세스할 수 있습니다.

데이터 레이크를 사용하면 모든 데이터가 보존되며, 스토리지에 저장하기 전에 제거되거나 필터링되지 않습니다. 데이터는 바로 또는 얼마 후 분석에 사용될 수도 있고 전혀 사용되지 않을 수도 있습니다. 또한 데이터가 다양한 목적으로 여러 번 사용될 수도 있지만 특정 목적으로 정제되어 여러 방식으로 재활용하기 어려운 경우도 있습니다.

"데이터 레이크"라는 용어는 Pentaho의 CTO(최고 기술 책임자)인 James Dixon이 처음으로 소개했습니다. 이러한 유형의 데이터 리포지토리를 레이크라고 부르는 이유는 필터링되거나 패키지화되지 않은 수역과 같은 자연 상태의 데이터 풀을 저장하기 때문입니다. 데이터는 여러 소스에서 레이크로 흐르며 원래 형식으로 저장됩니다. 

데이터 레이크에 있는 데이터는 분석을 위해 필요할 때 변환되며, 이러한 경우 스키마가 적용되어 데이터 분석이 가능해집니다. 이는 "읽기 스키마(schema on read)"라고 불리는데, 데이터가 사용 준비 상태가 될 때까지 원시 상태로 보관되기 때문입니다. 

사용자는 데이터 레이크에서 데이터를 다른 시스템으로 이동시킬 필요 없이 원하는 방식으로 데이터에 액세스하여 이를 탐색할 수 있습니다. 다른 플랫폼이나 다른 유형의 데이터 리포지토리에서 분석 리포트를 정기적으로 가져오는 대신 상황에 따라 인사이트 및 보고를 데이터 레이크에서 얻습니다. 그러나 사용자는 스키마 및 자동화를 적용하여 필요한 경우 리포트를 복제할 수 있습니다. 

해당 데이터를 사용하고 이에 액세스할 수 있도록 거버넌스를 통해 데이터 레이크를 지속적으로 유지관리해야 합니다. 제대로 유지관리하지 않으면 데이터 관리가 어렵고 비용이 많이 들며 쓸모없는 액세스 불가능한 정크가 될 위험이 있습니다. 이처럼 사용자가 액세스할 수 없는 데이터 레이크를 "데이터 늪(data swamp)"이라고 합니다.

데이터 레이크와 데이터 웨어 하우스는 종종 혼동되지만, 이 둘은 동일하지 않으며 그 목적도 다릅니다. 둘 다 빅데이터를 위한 데이터 스토리지 리포지토리라는 것만이 유일한 유사점입니다. 많은 기업들이 데이터 웨어하우스와 데이터 레이크를 모두 사용하여 특정 요구 사항과 목표를 충족합니다. 

데이터 웨어하우스는 보고를 위해 설계된 구조화된 데이터 모델을 제공합니다. 이는 데이터 레이크와 데이터 웨어하우스의 주요 차이점입니다. 데이터 레이크는 현재 정의된 용도가 없는 비정형 원시 데이터를 저장합니다. 

데이터는 데이터 웨어하우스에 저장하기 전에 처리되어야 합니다. 이때 데이터 웨어하우스에 어떤 데이터를 포함할지 결정하게 되는데, 이를 "쓰기 스키마(schema on write)"라고 합니다. 

데이터를 데이터 웨어하우스에 저장하기 전에 데이터를 정제하는 프로세스는 시간이 오래 걸리고 어려울 수 있으며 몇 개월 또는 몇 년씩 걸리는 경우도 있으므로, 즉시 데이터를 수집할 수 없습니다. 데이터 레이크를 활용하면 즉시 데이터를 수집하여 향후 해당 데이터를 어디에 사용할지 파악할 수 있습니다.

데이터 구조 때문에, 정기적인 보고에 어떤 데이터가 필요한지 미리 알고 있는 비즈니스 애널리스트와 다른 비즈니스 사용자가 데이터 웨어하우스를 더 자주 사용합니다. 데이터 레이크는 데이터를 이용해 연구를 수행하는 데이터 과학자 및 애널리스트가 보다 자주 사용하며, 데이터를 사용하려면 고급 필터 및 분석이 적용되어야 합니다.

데이터 레이크와 데이터 웨어하우스는 일반적으로 다른 하드웨어를 이용하여 데이터를 저장합니다. 데이터 웨어하우스는 비용이 많이 들 수 있는 반면, 데이터 레이크는 대규모임에도 불구하고 상용 하드웨어를 자주 사용하기 때문에 그보다 비용이 저렴합니다.

비정형, 반정형, 정형 데이터가 조직 전반의 다양한 소스에서 수집될 수 있는 데이터 레이크는 플랫 아키텍처(flat architecture)를 사용하는 데 반해, 데이터 웨어하우스는 파일이나 폴더에 데이터를 저장합니다. 데이터 레이크는 온프레미스나 클라우드에 위치할 수 있으며,

아키텍처로 인해 데이터 레이크는 최대 엑사바이트급 규모의 확장성을 제공할 수 있습니다. 일반적으로 데이터 레이크를 구축할 때 보유해야 할 데이터 볼륨을 미리 알 수 없기 때문에 이러한 확장성이 중요합니다. 기존의 데이터 스토리지 시스템은 이러한 방식으로 확장할 수 없습니다.

엔터프라이즈 전반에서 데이터 마이닝 및 분석을 수행하고 다양한 분야의 이기종 데이터를 포함한 각종 데이터를 공유 및 상호 참조하여 질문을 통해 새로운 인사이트를 얻을 수 있는 데이터 과학자들은 이러한 아키텍처의 이점을 누릴 수 있습니다. 데이터 과학자들은 또한 빅데이터 분석 및 머신 러닝을 활용하여 데이터 레이크의 데이터를 분석할 수 있습니다. 

데이터 레이크에 저장되기 전에 데이터에 고정된 스키마가 없더라도 데이터 늪(data swamp)을 피하려면 데이터 거버넌스가 여전히 중요합니다. 나중에 액세스할 수 있도록 데이터를 데이터 레이크에 보관하는 경우 메타데이터로 태그를 지정해야 합니다.

AI/ML 애플리케이션 관리 개선

이 웨비나 시리즈에서는 인공지능/머신 러닝(AI/ML) 애플리케이션의 배포 및 라이프사이클 관리를 간소화하는 방법을 전문가의 관점에서 알아봅니다. 이는 ML 모델과 AI 앱을 더 빠르게 구축하고, 이에 대한 협업을 진행하며, 공유하는 데 도움이 됩니다. 

Red Hat의 오픈 소프트웨어 정의 스토리지 솔루션으로 더 많은 작업을 보다 신속하게 수행할 수 있으며, 중요 재무 문서 및 리치 미디어 파일 등 데이터가 안전하게 저장되므로 안심할 수 있습니다.

확장 가능하고 경제적인 소프트웨어 정의 스토리지로 대규모 데이터 레이크를 분석하여 더 나은 비즈니스 인사이트를 확보할 수 있습니다. Red Hat의 소프트웨어 정의 스토리지 솔루션은 모두 오픈소스 기반이며, 개발자와 파트너, 고객으로 구성된 커뮤니티의 혁신을 활용하고 있습니다. 이를 통해 사용자는 고유의 비즈니스 워크로드, 환경 및 요구 사항에 따라 정확히 스토리지가 어떤 형식으로 지정되고 사용되는지를 완벽히 제어할 수 있습니다.