본 글은 데이터 웨어하우스(DWH), ETL 프로세스, BI 도구 등의 업데이트 정보와 최신 트렌드를 매월 쉽게 전달해드리려 작성되는 월간 블로그입니다.
드리주요 뉴스를 읽기 쉽게 요약해 제공해 드리니, 쉽게 최신 정보를 파악하고 싶은 분들은 꼭 확인해보세요.
ML.GENERATE_TEXT 함수로 다음과 같은 작업들을 수행할 수 있습니다:
검색 인덱스를 데이터에 등록하면 SEARCH 함수, =, IN, LIKE와 같은 연산자를 사용하여 데이터를 필터링할 때 성능이 향상됩니다.
기밀 데이터 자동 분류 기능은 서버리스 방식으로 기밀 데이터를 자동으로 탐지할 수 있는 기능입니다.
자세한 내용은 릴리스 노트를 참조하세요.
이제 Snowflake 객체 간의 데이터 흐름(예: 테이블에서 뷰로)을 실시간으로 자동 추적하는 기능이 제공됩니다.
dbt와 같은 데이터 리니지 도구 없이 Snowflake 상에서만 리니지를 모니터링할 수 있습니다.
리니지의 세부 수준은 테이블 및 뷰의 컬럼 단위까지 확인 가능합니다. 이 기능을 사용하려면 계정 수준의 "View Lineage" 권한이 필요합니다.
데이터 관계 탐지 방식은 두 가지가 있습니다:
1. CREATE TABLE AS SELECT(CTAS), INSERT, MERGE 작업을 통해 데이터가 이동되는 경우.
2. 뷰(View) 등 객체 간 직접적인 종속 관계를 기반으로 하는 경우.
자세한 내용은 릴리스 노트를 참조하세요.
Snowflake Connector for SharePoint가 제공되며, 특정 Microsoft 365 SharePoint 사이트를 Snowflake와 연결하여 파일과 사용자 권한을 가져올 수 있습니다.
Cortex Search 서비스도 지원되어, 가져온 파일을 대화 분석에 활용하거나 AI 어시스턴트로 활용할 수 있습니다.
구체적인 사용 사례로는 SharePoint에 저장된 PDF 파일을 DocumentAI로 읽어들인 후, RAG 엔진의 Cortex Search와 연동하는 것을 들 수 있습니다.
자세한 내용은 릴리스 노트를 참조해 주세요.
데이터 관련 질문에 대해 멀티턴(다단계) 대화를 지원하게 되었습니다.
이 기능을 통해 이전 질의를 기반으로 한 보조적인 질문이 가능해져, 보다 동적이고 인터랙티브한 데이터 탐색 경험을 제공합니다.
예를 들어, "아시아에서 2021년의 전월 대비 수익 성장률은?"이라는 질문에 대한 답변을 받은 후, "북미는 어떻게 되나요?"와 같은 메모리 기능을 활용한 대화가 가능합니다.
자세한 내용은 릴리스 노트를 참조해 주세요.
SQL 결합 정의를 읽는 기능을 지원하게 되었습니다.
특히 스타 스키마(schema)라고 불리는 데이터 모델링 방법에서 여러 테이블에 걸친 고급 데이터 분석이 가능해졌습니다.
이를 위해서는 사전에 YAML 파일을 사용하여 세만틱 컨텍스트를 정의하고, 어떤 테이블이 디멘셔널 테이블인지, 어떤 테이블이 팩트 테이블인지, 어떤 컬럼으로 결합할 수 있는지를 정의해야 합니다.
자세한 내용은 릴리스 노트를 참조해 주세요.
Apache Iceberg 테이블에 대한 COPY / Snowpipe / Snowpipe Streaming이 이용 가능해졌습니다.
snowflake의 일반 테이블에서 사용 가능한 COPY / Snowpipe / Snowpipe Streaming을 통해 파일 데이터를 테이블로 일괄 또는 지속적으로 가져오는 기능이 이제 Apache Iceberg 테이블에서도 지원됩니다.
지원되는 CSV, JSON 파일 등을 빠르게 Iceberg 호환 Parquet 방식으로 변환한 후 데이터를 테이블에 로드할 수 있습니다.
자세한 내용은 릴리스 노트를 참조해 주세요.
이번 릴리스에서는 CREATE 명령어와 ALTER 명령어의 기능을 결합한 확장된 CREATE OR ALTER 명령어를 사용할 수 있게 되었습니다.
예를 들어, CREATE OR ALTER DATABASE my_database DATA_RETENTION_TIME_IN_DAYS = 7;라는 쿼리를 실행하면, my_database가 존재하지 않을 경우 새로 생성하고, 존재할 경우 DATA_RETENTION_TIME_IN_DAYS를 7일로 변경하는 처리가 실행됩니다.
현재 APPLICATION ROLE / DATABASE / DATABASE ROLE / ROLE / SCHEMA / STAGE / VIEW / WAREHOUSE에서 CREATE OR ALTER 명령어를 사용할 수 있습니다.
자세한 내용은 릴리스 노트를 참조해 주세요.
계정 예산 및 사용자 지정 예산을 설정하여 클라우드 서비스의 메시지 큐 서비스(Amazon SNS, Azure Event Grid, Google Cloud PubSub)와 Webhook(Slack, Microsoft Teams)에 알림을 보낼 수 있습니다.
알림을 설정하려면 알림 통합을 생성하고 해당 통합에 예산을 연결하면 됩니다.
설정에 사용할 수 있는 메소드들은 다음과 같습니다.
자세한 내용은 릴리스 노트를 참조해 주세요.
이번 업데이트를 통해 Snowflake Cortex TRANSLATE 함수는 통화 기록, 제품 리뷰, SNS 댓글 및 기타 텍스트에 대해 고품질의 신뢰할 수 있는 번역을 제공할 수 있도록 강화되었습니다.
구체적으로는 다음과 같은 기능이 추가 및 개선되었습니다.
자세한 내용은 릴리스 노트를 참조해 주세요.
Snowpark Container Service에서 실행되는 Snowpark ML에서 하이퍼파라미터 최적화(HPO) API가 새롭게 제공됩니다. 현재 이 API는 Snowpark Container Services(SPCS)의 컨테이너 런타임으로 구성된 Snowflake Notebook 내에서 사용할 수 있습니다.
이 API는 일반적인 튜닝 알고리즘을 래핑하여 효율적으로 병렬화된 하이퍼파라미터 튜닝을 수행할 수 있습니다.
예를 들어, LightGBM과 같은 그래디언트 부스팅 트리를 활용한 학습에서 num_leaves나 max_depth와 같은 하이퍼파라미터를 검증하기 위해 자체적인 교차검증(Cross Validation)을 사용하거나 Optuna와 같은 자동화 최적화 프레임워크를 사용하는 것이 일반적입니다.
하지만 파라미터 조합이 기하급수적으로 늘어나거나, 적절한 하이퍼파라미터 패턴을 사전에 정의하기 어려운 점, 그리고 병렬 처리를 통해 리소스를 활용하는 데 어려움을 겪는 경우가 많습니다. 이 API는 이러한 문제를 자동화하고 효율적으로 처리하여 한 번에 해결하는 기능을 제공합니다.
HPO API는 특정 모델에 종속되지 않으며, 위에서 설명한 다양한 모델에서 활용 가능합니다.
자세한 내용은 릴리스 노트를 참조하세요.
보고서 편집자는 보고서 뷰어가 편집할 수 없는 필터를 포함하여, 보고서에 적용된 모든 필터를 뷰어에게 표시할 수 있습니다.
그래프, 페이지, 또는 보고서에서 동일(＝) 또는 포함(In) 조건을 사용하는 필터를 정의할 때, 보고서 편집자는 기본 데이터에서 제공된 가능한 필터 값 목록에서 선택할 수 있게 되었습니다.
이를 통해 필터 설정이 더 직관적이고 효율적으로 이루어질 수 있습니다.
Looker 커넥터에서 다음과 같은 새로운 기능들이 제공됩니다:
이 아이콘은 다음의 4가지 유형들로 표시됩니다:
Healthy (문제 없음)
Caution (주의)
Degraded (악화)
Unknown (알 수 없음)
이를 통해 각 리소스의 상태를 한눈에 파악할 수 있습니다.
Advanced CI의 compare changes 기능에서 사용자 정의 dbt 명령(Custom dbt Commands)을 사용할 수 있게 되었습니다.
사용자 정의 dbt 명령을 활용하면 다음과 같은 작업들이 가능합니다:
이 업데이트로 더 효율적인 CI/CD 파이프라인 운영이 가능해졌습니다.
CI 작업에서 SQLFluff를 이용한 SQL 린트 기능이 (GA)정식 출시되었습니다.
이로 인해 SQL 코드의 품질 관리와 문제 사전 예방이 더욱 간편해졌습니다.
사용자 정의 값을 설정하려면 dbt_valid_to_current에 원하는 값(예: 9999-12-31 등)을 설정하면 됩니다. 기본값은 NULL입니다.
이 기능은 dbt Cloud의 최신 버전 또는 dbt core v1.9 이상에서 사용할 수 있습니다.
Data Cloud에서 Einstein Request의 사용 현황을 시각화할 수 있습니다.
자세한 내용은 릴리스 노트를 참조하세요.
Data Cloud에서 Einstein Request의 사용 현황을 시각화할 수 있습니다.
자세한 내용은 릴리스 노트를 참조하세요.
기존에는 사용자별로 Google 또는 SAML 등 하나의 외부 인증 방법만 설정해야 했지만, 이제 여러 인증 방법을 설정할 수 있습니다.
자세한 내용은 릴리스 노트를 참조하세요.
Personalized Insight Ranking 기능은 Tableau Pulse가 제공하는 인사이트에 대해 좋고 나쁨을 피드백하여 더 개인화된 인사이트를 제공받는 기능이었습니다.
이번 업데이트로 해당 기능의 ON/OFF 전환이 가능해졌으며, OFF로 설정된 경우 피드백을 보낼 수 없게 됩니다
자세한 내용은 릴리스 노트를 참조하세요.
Databricks Assistant에서 Databricks 호스트 모델을 사용할 수 있는 기능이 베타 버전으로 출시되었습니다. 이를 통해 파트너 호스트 모델이 아닌, Databricks Model Serving 기반에서 관리되는 모델을 활용할 수 있습니다.
FedRAMP Moderate 및 PCI-DSS 규정을 준수하는 제어가 이제 us-west-2에서 다음과 같은 서버리스 컴퓨팅 서비스들을 지원합니다:
통합 로그인이 비활성화되고 싱글 사인온(SSO)이 활성화된 경우에도 워크스페이스 관리자는 Databricks 인증 정보와 MFA를 사용하여 긴급 로그인을 할 수 있게 되었습니다.
자세한 내용은 공식 문서를 참조하세요.
Mosaic AI Model Training의 예측 기능에 다음과 같은 지원들이 추가되었습니다:
또한 인터페이스가 개선되어 사용자 경험이 향상되었습니다.
자동 클러스터 업데이트 기능이 GA로 정식 출시되어 워크스페이스 내 모든 클러스터가 주기적으로 최신 호스트 OS 이미지와 보안 업데이트 버전으로 자동 갱신됩니다.
또한, 계정 콘솔에서 보안 설정을 활성화하는 기능도 사용할 수 있게 되었습니다.
Databricks 노트북의 내장 Python 디버거가 서버리스 컴퓨팅 및 공유 액세스 모드로 구성된 컴퓨팅 환경에서도 사용 가능해졌습니다. 이 기능은 Databricks Runtime 14.3 LTS 이상에서 지원됩니다. 자세한 내용은 공식 문서를 참조하세요.
Databricks 웹 터미널에 다음과 같은 개선 사항이 추가되었습니다.
Delta Live Tables 파이프라인의 쿼리 성능을 모니터링하기 위한 도구가 업데이트되었습니다. 자세한 내용은 공식 문서를 참조하세요.
Mosaic AI Model Training이 리브랜딩되며 기존 기능이 다음과 같이 개선되었습니다.
Databricks Runtime 14.3 이상에서 SQL 쿼리를 실행하면 암시적인 DataFrame(_sqldf)이 생성되며, 이를 후속 SQL 셀에서 재사용할 수 있습니다. 자세한 내용은 공식 문서를 참조하세요.
system.compute.warehouses 테이블이 시스템 테이블에 추가되었습니다. 이 테이블은 SQL 웨어하우스 설정을 기록하며, 각 행은 특정 시점의 웨어하우스 속성 스냅샷을 나타냅니다.
이제 서로 다른 Databricks 계정 간에도 임의의 Databricks 컴퓨팅 리소스를 사용하여 공유된 뷰에 쿼리를 실행할 수 있습니다.
또한 Delta Sharing의 오픈 쉐어링 커넥터를 활용하여 데이터를 공유하는 기능도 확장되었습니다.
Clean Rooms의 퍼블릭 프리뷰가 Azure 및 AWS의 모든 고객에게 제공되며, 다음과 같은 신규 기능들이 추가되었습니다:
Databricks Runtime 16.0 및 Databricks Runtime 16.0 ML이 정식 출시(GA)로 출시되었습니다.
Databricks Runtime 16.0부터 Databricks Hosted RStudio Server를 더 이상 사용할 수 없습니다.
대체 방안에 대한 자세한 내용은 공식 문서를 참조하세요.
2024년 11월 11일부터 Unity Catalog 관리 테이블에서 유지보수 작업을 자동화하는 "예측 최적화" 기능이 신규 Databricks 계정에서 기본적으로 활성화됩니다.
IAM 롤과 Unity Catalog를 사용하여 클라우드 서비스와의 인증을 간소화할 수 있으며, 안전한 서비스 인증 정보가 퍼블릭 프리뷰로 제공됩니다.
당사 주최 이벤트인 zeroONE 2024를 개최하여, CEO 다나베의 키노트 세션에서 발표한 내용을 동일하게 보도자료로 공개했습니다. 자세한 내용은 아래 보도자료들을 참조해주시길 바랍니다.
TROCCO·COMETA 기능 대폭 확장 및 도입·운영 지원 서비스 시작
TROCCO, "모든 데이터" 처리를 목표로 기능 강화
freee会計에서 DWH 등으로 데이터를 전송할 수 있는 전송 소스 freee회계(会計)를 출시했습니다.
자세한 내용은 도움말 문서를 참조하세요.
SmartHR에서 DWH 등으로 데이터를 전송할 수 있는 전송 소스 SmartHR을 출시했습니다.
자세한 내용은 도움말 문서를 참조하세요.
TROCCO 설정을 코드로 관리할 수 있는 Terraform Provider for TROCCO가 2024년 8월 베타 버전으로 출시된 이후, 2024년 12월 5일 정식 버전으로 공개되었습니다.
해당 기능을 이용하려면 TROCCO의 Advanced 플랜 또는 Professional 플랜 계약이 필요합니다.
팀 기능을 사용하는 경우, 각 리소스 그룹의 개별 작업 처리 시간 및 총 처리 시간을 확인할 수 있게 되었습니다.
사이드바의 "처리 시간" 메뉴에서 데이터를 확인할 수 있습니다.
이 데이터를 활용하면 처리 시간이 많은 리소스 그룹을 식별하여 조정함으로써, TROCCO 운영의 효율성과 최적화를 도모할 수 있습니다.
참고로, 표시 가능한 데이터는 2024년 11월 1일 이후의 데이터로 제한됩니다.
전송 소스 또는 전송 대상 커넥터로 Snowflake를 지정할 경우, 전송 설정 STEP 1에서 각각의 연결 상태를 확인할 수 있습니다.
STEP 2로 진행하기 전에 입력한 설정으로 데이터 전송이 정상적으로 가능한지 미리 확인할 수 있습니다.
TROCCO API를 통해 연결 정보에 대한 다음 작업이 가능해졌습니다.
현재 지원되는 서비스는 Google BigQuery와 Snowflake에 한정됩니다.
TROCCO API를 통해 다음 작업들이 가능합니다:
1. 연결 정보 목록 조회
2. 연결 정보 생성
3. 연결 정보 조회
4. 연결 정보 업데이트
5. 연결 정보 삭제
전송에 사용되는 Google Ad Manager API 버전이 v202311에서 v202408로 업그레이드되었습니다.
새로운 버전에 대한 자세한 내용은 Google Ad Manager API를 참조하세요.
COMETA에서는 검색창에 문자열을 입력하여 다양한 자산 및 용어를 검색할 수 있습니다.
이번 업데이트로 다음 항목들이 검색 대상 문자열에 추가되었습니다:
이를 통해 입력한 문자열이 COMETA 상의 테이블 및 컬럼에 연결된 dbt 메타데이터의 태그 또는 설명과 일치할 경우, 검색 결과에 표시됩니다.
Snowflake 계정의 인증 방식으로 키 페어 인증이 추가되었습니다.
기존의 사용자-비밀번호 인증은 더 이상 권장되지 않으며, 앞으로는 키 페어 인증 또는 Microsoft Entra ID 인증을 사용하시기 바랍니다.
설정 항목과 필요한 절차에 대한 자세한 내용은 데이터 스토어 연동 및 인증 – Snowflake 관련 문서를 참조하세요.
%201.svg){kind=icon}
%201.svg){kind=icon}
