%201.svg){kind=icon}
%201.svg){kind=icon}
Latest resources
비즈니스의 DX화와 데이터 활용이 발전함에 따라, 기존에는 얻을 수 없었던 빅데이터나 얼굴 인식에 사용되는 사람의 3D 데이터 등, 양과 질 모두에서 다루는 데이터가 변화하고 있습니다.
다양한 데이터를 비즈니스에 활용하려면, 데이터를 효과적으로 사용할 수 있도록 기반을 다져야 합니다.
예를 들어, 매출 데이터를 분석하려면 고객 데이터를 먼저 정비해야 하고, 시스템의 오류를 즉시 감지하려면 해당 시스템의 로그 데이터가 원활하게 수집될 필요가 있습니다.
데이터 활용에는 이러한 기반 마련이 필수적입니다.
이 데이터 활용을 위한 기반 마련이 바로 이번 글의 주제인 데이터 매니지먼트입니다.
데이터 매니지먼트는 폭넓은 개념이며, 접근 방식도 다양합니다. 기본적인 개념을 이해하고, 여러분들의 회사에 적합한 데이터 매니지먼트를 도입해 나갑시다.
데이터 매니지먼트는 사내 데이터의 관리와 운영을 위한 활동을 의미합니다.
구체적으로는 데이터를 누구나 원활하게 활용할 수 있는 환경을 관리하고 유지하는 것을 말합니다.
현대 비즈니스에서는 모든 데이터가 가치의 원천이 됩니다. Excel로 처리하는 표 형식의 데이터뿐만 아니라, 로그 데이터, 영상 및 음성 데이터에도 매니지먼트가 요구되고 있습니다.
최근에는 데이터에 대한 데이터라고 할 수 있는 메타데이터, 디지털화되지 않은 종이 문서 등 관리해야 할 데이터의 종류도 다양해지고 있습니다.
데이터 매니지먼트의 활동은 구체적인 내용이 정해져 있는 것은 아닙니다. 널리 채택된 사례로는 "사내 데이터 양이 증가하면서 데이터의 고속 처리가 가능한 데이터 웨어하우스(DWH)를 도입해 데이터를 일원화하여 관리하는" 경우가 있습니다.
최근에는 메타데이터를 활용한 데이터 매니지먼트도 주목받고 있습니다. 예를 들어, "데이터의 흐름을 가시화하여 관리하는 데이터 lineage"나 "데이터 검색성을 향상시키는 데이터 카탈로그"와 같은 접근 방식이 있습니다.
데이터는 단순히 수집하는 것 만으로는 가치가 없습니다.
현장 수준의 업무 처리에서는 데이터 정비가 큰 문제가 아닐 수 있지만,
이처럼 각 부서 및 부문 데이터를 통합하여 활용하려면, 사내 데이터를 전사적으로 관리하는 것이 필요합니다.
현장에서 수집한 데이터를 그곳에서만 사용하고 끝내는 것이 아니라, 최고 경영진의 의사 결정이나 부서 간의 데이터 분석에 활용하기 위해서는 하드웨어와 소프트웨어 상관없이 데이터 관리가 요구됩니다
DMBOK은 데이터 전문가들에 의해 정리된 서적으로, 데이터 관리의 구성 요소가 11개 영역으로 나뉘어 정리되어 있습니다.
데이터 관리 방향에 대해 고민될 때는 여러분들의 회사가 가진 문제를 위의 각 영역별로 나누어 접근 방안을 검토하는 것이 효과적입니다.
데이터 활용 기반이 마련되어 있지만 데이터 누락이나 형식 불일치가 문제라면, "데이터 품질"을 향상시키는 방안을 검토하는 것이 좋습니다.
또한, Excel을 이용한 수작업 분석 운영에서 그 작업의 번거로움을 느낀다면, "데이터 웨어하우징과 비즈니스 인텔리전스" 및 "데이터 통합과 상호 운용성"이 관련된 영역이 됩니다.
데이터 매니지먼트는 데이터 활용의 기반으로, 보이지 않는 곳에서 중요한 역할을 수행하는 활동입니다.
사용자가 체감하기 어려운 이점도 있지만, 특히 다음과 같은 네 가지 주요 이점을 제공합니다.
데이터 매니지먼트는 "필요한 데이터가 어디에 있는지 모른다"는 상황에서 자주 필요로 합니다.
분석에 앞서, 사내 데이터 엔지니어 팀에 원하는 정보를 전달하고, 데이터가 모이면 분석 가능한 상태로 가공하여 사용자에게 전달하는 과정은 매우 비효율적입니다.
데이터 매니지먼트를 통해 데이터 검색성을 높이고, 사용자가 원하는 데이터에 즉시 접근할 수 있는 환경을 구축하면 분석 업무를 효율적으로 처리할 수 있습니다.
이를 통해 데이터 사용자는 분석 결과 해석과 같이 실제로 비즈니스 가치를 창출하는 업무에 집중할 수 있게 됩니다.
데이터 매니지먼트가 적절히 이루어지면, 사용자가 가설을 검증하는 과정도 쉬워집니다.
마케팅의 경우, 기존의 직관에 의존한 전략이 아니라 데이터 분석 결과에 기반한 근거 있는 전략을 수립할 수 있게 됩니다.
데이터 분석 과정에서, 분석 전에 예상하지 못했던 부정적인 포인트나, 상담으로 이어질 가능성이 높은 고객 속성이 드러날 수 있습니다.
데이터 분석이 효율적으로 이루어질 수 있는 환경을 마련하면 기존 분석의 효율성 향상뿐만 아니라, 이처럼 새로운 인사이트를 얻을 기회도 더욱 늘릴 수 있습니다.
회사의 정보 자산 유출은 경영상 큰 리스크입니다. 외부의 공격으로 인한 유출은 물론, 내부에서 데이터가 유출되는 경우까지도 염두에 두고 대비책이 필요합니다.
데이터 매니지먼트의 데이터 보안은 사용자 접근 권한을 관리하고, 현재 누가 어떤 데이터에 접근하고 있는지를 파악하여 정보 유출을 사전에 방지합니다.
예를 들어, 데이터베이스 접근 로그를 기록하거나, 데이터 관리 책임을 명확히 규정하는 등의 사내 제도적 노력을 통해 보안을 강화할 수 있습니다. 또한, 보안성이 높은 서비스로 데이터를 이전하여 벤더가 보안 부담을 담당하도록 하는 것도 효과적입니다.
데이터 매니지먼트를 성공적으로 수행하려면, 도입에 앞서 다음 세 가지 사항을 확인하는 것이 중요합니다.
이 모든 것은 데이터 관리의 성공에 필수적인 전제 조건입니다. 이러한 전제 조건을 이해하고 데이터 관리를 도입하면, 데이터 엔지니어의 부담을 줄이고 비엔지니어 인력에 의한 데이터 활용을 통해 성공 가능성을 높일 수 있습니다.
데이터 관리를 도입하는 것은 데이터 엔지니어 팀뿐만 아니라, 회사 전체의 노력이 필요합니다.
“왜 비용을 들여 데이터 관리를 도입하는가?”, “데이터 관리를 통해 어떤 문제를 해결하고자 하는가?” 등, 목적 의식을 명확히 해 두는 것이 필요합니다.
목표를 설정하지 않고 데이터 관리를 도입하면 막연한 성과만 얻을 수 있고, 비용 대비 만족감을 얻기 어렵습니다.
도입 전 설정한 목적을 명확히 하고, 데이터 관리 도입 이후 달성할 목표를 설정합시다.
데이터 관리 도입에 앞서, 자사가 보유한 데이터의 전체적인 모습을 명확히 할 필요가 있습니다.
“어떤 서비스가 데이터베이스에 연결되어 있는가?”, “데이터베이스 내 데이터 흐름은 어떻게 이루어지는가?” 등 데이터를 전체적으로 파악해야 합니다. 이를 통해 데이터 관리에서 무엇을 어디까지 커버해야 할지 결정할 수 있습니다.
또한, 데이터 엔지니어 팀 외에도 조직 내 체제를 정비해야 합니다.
이와 같은 관리 수준에서의 검토도 필요합니다.
데이터 관리는 사람의 손으로 모든 유지 보수를 하기 어렵기 때문에, 체제 측면의 검토에 더해 데이터 관리를 지원하는 도구도 함께 고려하는 것이 좋습니다.
모든 영역에서 데이터 관리를 동시에 병행하여 진행하는 것은 사내 혼란을 야기할 뿐만 아니라, 효과적이지 않습니다.
각 영역 중에서 여러분들의 회사가 직면한 문제와 가장 관련이 깊은 영역부터 스몰 스타트 (Small Start) 방식으로 시작하는 것이 성공의 비결입니다.
특히 데이터 관리 추진 후에 문제가 되는 것은, 비(非)데이터 엔지니어에 대한 교육 및 안내 등 사후 관리입니다.
스몰 스타트로 데이터 관리를 시작함으로써 무리 없이 데이터 관리에 대한 이해를 조직 전체에 확산시킬 수 있습니다.
데이터 관리의 각 영역은 데이터 파이프라인(자사의 데이터가 수집, 가공되어 분석 등으로 활용되기까지의 흐름)과 밀접하게 관련되어 있습니다.
데이터 관리의 도입은 데이터 파이프라인 도입이라고도 합니다. 기본적으로 자사의 문제에 맞춰 데이터 파이프라인 중 필요한 부분부터 시작해도 무방합니다.
데이터 파이프라인이 정비되지 않은 경우, 아래와 같은 단계들로 데이터 관리를 진행하면 좋습니다.
ETL 도구를 통한 데이터 파이프라인 자동화, 데이터 고속 처리 및 보안이 뛰어난 DWH 등 각 영역의 데이터 관리는 적절한 도구로 보완할 수 있습니다.
데이터 관리로 성공한 사례 두 가지를 소개해 드리겠습니다.
아래 사례들에서는 모두 사내에 데이터 엔지니어가 있었지만 데이터 활용에 어려움을 겪고 있었습니다.
데이터 관리를 추진하여 이러한 문제를 해결하고 비즈니스를 성장시킨 사례입니다. 데이터 관리를 통해 문제를 해결한 구체적인 예시를 참고하여, 자사에 도입을 고려하는 담당자에게 도움이 되길 바랍니다.
주식회사 기프티는 ‘e-기프트를 중심으로 사람, 기업, 지역사회 간 다양한 인연을 키우는 서비스 제공’이라는 기업 비전을 바탕으로, 개인을 위한 캐주얼 기프트 서비스 "giftee"를 다루는 회사였습니다.
데이터 관리 도입 전에는 서비스 리뉴얼로 데이터베이스가 두 개로 나뉘어, 두 데이터베이스를 수작업으로 통합하고 분석해야 하는 문제로 상당한 시간 비용이 발생하고 있었습니다.
이를 해결하기 위해 두 데이터베이스를 통합하는 ETL 도구 TROCCO®를 도입하고, DWH로 Google BigQuery, BI 도구로 Looker Studio를 활용하여 데이터 분석 기반 시스템을 구축했습니다.
ETL 도구를 통해 데이터 통합을 자동화함으로써 데이터 분석에 소요되는 시간을 기존의 1/5로 단축하고, 데이터 엔지니어에 의존하지 않는 데이터 활용을 실현할 수 있었습니다.
주식회사 화이트플러스는 집에서 간편하게 세탁물을 맡길 수 있는 온라인 택배 세탁 서비스 "Lenet(리넷)"을 운영하고 있었습니다.
데이터를 효율적으로 관리하기 전에는 각 부서 간 데이터가 사일로화(다른 부서와 데이터 연계가 되지 않은 상태)되어 부서 간 데이터 협력이 어려운 문제가 있었습니다.
화이트플러스는 ETL 도구 TROCCO®를 도입해 각 부서가 보유한 데이터를 DWH Google BigQuery에 통합, 집중 관리하여 모든 부서가 공통 데이터베이스에 접근할 수 있는 체제를 구축했습니다.
이를 통해 기존에는 1시간 이상, 때로는 반나절 이상 걸리던 약 10년치 데이터 집계 작업을 3분 이내로 단축시켜 데이터 검증이 속전속결로 이루어졌습니다.
그 결과, LTV(고객으로부터 모든 거래를 통해 얻는 이익) 최대화의 핵심 요소를 파악하여, 서비스 이용 횟수 향상에 성공했습니다
이 글에서는 데이터 매니지먼트의 개요와 필요성, 활용 사례를 설명해 드렸습니다.
데이터 매니지먼트를 도입하는 과정은 간단하지 않지만, 각 단계마다 순차적으로 도입을 진행하면 장기적으로 큰 이점을 얻을 수 있습니다.
데이터 양이 계속 증가해도 쉽게 대응할 수 있는 높은 확장성과, 신규 서비스와 기존 체계 간의 원활한 연계는 데이터 매니지먼트 관점 없이 임시방편의 개선만으로는 달성하기 어렵습니다.
앞으로의 시대에는 데이터를 어떻게 관리하고 활용하는지가 사업 성장에 중요한 역할을 하게 될 것입니다. 데이터를 효과적으로 관리하고 다음 단계로 나아가고 싶은 담당자라면 데이터 매니지먼트 도입을 고려해 보시기 바랍니다.
또한, 두 가지 사례에서도 도입된 당사의 TROCCO®는 데이터 통합을 지원하는 ETL 도구입니다. "데이터 리니지 기능"과 "데이터 카탈로그 기능" 등 최근 주목받는 메타데이터를 활용한 데이터 매니지먼트 기능에 강점을 가지고 있습니다.
데이터 파이프라인의 운영 및 관리를 종합적으로 지원하여 데이터 매니지먼트 향상에도 효과적입니다. 데이터 연계, 정비, 운영을 효율적으로 진행하고 싶은 분이나 제품에 관심 있는 분은 자료를 확인해 보시기 바랍니다.
