EDW의 향후 전망

EDW의 향후 전망

 

근래의 ETL, 나아가서 EDW의 가장 큰 화두 중 하나는 바로 리얼타임(Real-Time)이라고 할 수 있다.
예전에는 주로 운영계의 ODS나 DW의 추출부분의 리얼타임을 거론했지만 근래에 들어와서는 RTE(Real-Time Enterprise)란 개념과 맞물려 좀더 넓은 의미로 사용되고 있다.
일반적으로 RTE란 ‘기업 내외부를 포함하는 전체적인 관점에서 지속적인 프로세스 개선과 정보를 실시간 전달함으로써 업무 지연을 최소화하고 의사 결정의 속도를 높여 경쟁력을 극대화한 기업’이라고 정의하고 있다. 이처럼 RTE는 경영 환경의 변화, 미래의 불확실성, 고객의 요구, 신규 기회를 신속히 파악하고 포착하여 민첩하게 대응하는 것을 목표로 한다. 결국 RTE에서 핵심이 되는 부분은 프로세스 개선과 정보의 실시간 분석 및 전달이라고 볼 수 있는데, 이러한 관점에서 볼 때 RTE는 구현을 위한 기술 중심의 IT가 아니고 기업의 경영 전략과 특성, 그리고 비즈니스 프로세스를 통한 활용의 문제라고 봐야 할 것이다.
RTE를 위한 요소 기술들은 업종이나 기업의 특성, 목적에 따라 아주 다양하다. RTE에서 가장 중요한 IT관점의 키워드는 리얼타임과 통합(integration)이지만 비즈니스와 시스템, 기술 등을 고려할 때 RTE를 위한 핵심 요소는 다음의 몇 가지로 볼 수 있다.

△Analytic Intelligence: EDW 및 연관 기술 중심의 활용 분야.

△Business Intelligence: CPM, SRM, CRM 등 기업의 BI 솔루션 중심의 활용 분야.

△Operational Intelligence: BPM 중심의 활용 분야.

△Real-Time & Automation & Monitoring: 신속성, 민첩함을 지원하기 위한 기술 요소 (EAI, BPM).

△Integration: EAI와 EDW를 통한 데이터, 시스템 통합 기술 요소.

여기서 Analytic Intelligence, Business Intelligence, Operational Intelligence는 활용 분야로서의 영역이며 Real-Time & Automation, Integration, Monitoring은 기반 기술 요소로 볼 수 있다. 이 중에서 Analytic intelligence는 기업의 실시간 정보 분석 및 공유를 통한 활용이 가능하며, 기반 기술은 EDW이다. 물론 데이터, 정보의 통합 및 표준화가 필요하며 실시간 정보를 지원하기 위해 EAI와의 연계도 가능하다.
Business Intelligence는 SCM, CPM과 같은 기업의 비즈니스 솔루션을 통한 비즈니스 활용 분야로서 RTE의 주 적용 분야가 될 수 있다. 각 기업은 RTE를 모든 업무 프로세스에 동시에 적용하기보다는 각 기업의 핵심 적용 분야를 찾아야 한다.
이 분야는 영역에 따라 Customer Intelligence, Suppliers Intelligence, Organizational Intelligence로 구분해 볼 수 있다. 은행의 실시간 위험관리 가능이나 GE의 CPM 중심의 경영성과관리(Organizational Intelligence), 델 컴퓨터의 SCM을 중심으로 한 주문에 대한 즉각적인 생산을 지원하는 실시간 정보공유(Suppliers Intelligence), 유통이나 패션업종에서 고객의 요구에 대한 실시간 응대 및 요구사항 반영(Customer Intelligence)을 예로 들 수 있다.
Operational Intelligence는 기업의 운영 업무 자동화를 통한 기업 프로세스 개선 및 경영 신속화를 이루는 것으로, 기반이 되는 기술은 BPM(Business Process Management)이다. 특히 BPM은 Operational Intelligence 뿐만 아니라 Analytic Business Intelligence의 핵심 기술이기도 하다. Operational Intelligence의 전형적인 예로는 24시간 결산할 수 있는 시스템을 갖춘 시스코시스템즈를 들 수 있다.

<그림 1> RTE 비즈니스 아키텍처


<그림 2> EAI 아키텍처 예시

EDW와 EAI의 결합

현재 출시되어 있거나 알려져 있는 ETL의 방법 가운데 완벽한 리얼타임을 구현해 주는 경우는 존재하지 않는다. 물론 스냅샷(Snapshot)을 사용하는 방법이나 애플리케이션을 수정하는 방법을 사용하고 있는 곳도 있으나, 이런 방법들은 DB에 많은 부하를 주거나 전면적인 시스템 재설계를 요구하기 때문에 실효성이 거의 없다고 볼 수 있다.
또한 DB의 로그 캡쳐 기능을 사용한다고 해도 실시간에 가까운(Near Real-Time) 처리라고 봐야 하고 DB의 고유기능에 의존해야 하기 때문에 DB의 업그레이드시에 추출 모듈의 부분적 재설계가 이루어질 수 있다.
이러한 문제점들로 인해 추가적인 비용 발생을 감수하고서라도 EAI 솔루션을 도입하려는 업체가 늘고 있으나, ETL 솔루션과 EAI 솔루션의 유사성 때문에 중복 투자의 위험성이 제기되고 있기도 하다.
이에 따라 EAI업체 측은 ETL 툴에 비해 상대적인 약점인 대용량의 데이터 처리와 프로세스 흐름관리 측면의 기능을 보완한 제품을 선보이고 있다. 그러나 현재의 소프트웨어 기술 측면에서 볼 때 이들 두 가지의 솔루션은 분명한 차이를 가지고 있으며, 이러한 부분들을 극복한 제품이 나오기까지는 아직 시간이 필요해 보인다.
각 솔루션의 특징을 살펴보면 우선 EAI는 △트랜잭션 위주로 데이터를 처리하고 △일반적으로 CRM, ERP 등 프런트오피스 단의 애플리케이션들의 데이터 동기화와 애플리케이션 통합(EIP)에 사용하는데 이들 데이터의 동기화 방식은 애플리케이션의 API(Application Programming Interface) 단에서 이뤄진다. 즉 DW, ABM, BSC, CRM 등의 근원 데이터를 생성해내는 애플리케이션이 아닌 서로 다른 애플리케이션간의 결과 값의 패싱 등에 사용한다. 또 △트랜잭션 레벨에서 이루어지는 적은 용량의 실시간에 가까운 데이터 처리를 주요 기능으로 하며 △단순한 데이터의 이전 처리에 적합하다.
한편 ETL은 △대용량의 데이터를 처리하는 병렬처리, Batch Load, 스케줄링 기능을 주요 기능으로 하고 △서로 다른 소스(2개 이상의 테이블, 이기종, 다른 데이터베이스에 존재하는 테이블들)의 데이터를 통합(Merge)해 한 개의 타깃으로 생성해내는 기능을 제공한다.
또 △추출에 관련된 일련의 프로세스 메타 데이터의 관리 기능을 제공하는 한편 CWM(Common Warehouse Metadata) 표준을 따르는 툴들의 메타 데이터를 통합 관리할 수 있는 기능을 제공한다. 아울러 △애플리케이션의 API를 사용하고 메타 데이터를 핸들링하여 데이터를 처리하는 기능을 제공하며 관계형 데이터베이스의 로우 레벨 단의 추출을 제공하는 동시에 △복잡한 소스와 타깃의 매핑 기술을 제공한다.
EAI 툴은 애플리케이션간의 데이터 통합 도구로 90년대 중반에 생겨났으며, DW에서 출발한 ETL 도구와는 출발 배경에 차이가 있다. 이로 인해 ETL 도구는 표준화 규약CWM(Common Warehouse Metadata)에 기반한 통합된 메타 데이터 관리를 제공하는 반면 EAI 도구는 툴에 한정된 메타 데이터의 관리를 제공한다.
물론 각 제품의 약점 보완과 포괄하는 업무영역의 확장이라는 개념에서 보면 ETL의 일부 기능을 제공하는 EAI 도구가 있을 수 있고, ETL 도구도 EAI의 일부 기능(Near Real Time Integration) 같은 기능들을 제공하려는 추세로 가고 있으나 시장의 인지도나 점유율로 볼 때 아직은 서로의 영역을 대체하는 수준까지는 발전하지 못한 것으로 보인다.
이러한 여러 이유들로 인해 EDW내에서 애플리케이션 단의 데이터 전송과 일부 운영 데이터의 리얼타임을 보장하는 최선의 수단으로 EAI가 고려되고 실제로 많은 기업에서 채택해 사용하고 있다.

<그림 3> ETL 아키텍처 예시


<그림 4> 연계 구성도

EDW의 미래

기존의 EDW와 비교해 향후 EDW 플랫폼이 가져야 할 기능, 혹은 보완되고 있는 기능들을 보면 △조회 정보의 실시간 처리 △전사 RTE의 정보제공 기반 제공 △기존 SQL에 비해 진보적인 분석 기능 및 언어 제공 △플랫폼 내 각 솔루션들의 메타 데이터 통합 △시스템 및 보안, 각 솔루션의 통합 관리 등이 있는데 주요 기능들은 다음과 같다.

▲기존 SQL에 비해 진보적인 분석 기능 및 언어 제공

이전의 RDBMS와 달리 근래의 DB엔진을 보면 기존 관계형 DB에서 제공하지 못했던 MDB 기능과 여러 분석적인 쿼리 및 함수들을 제공하고 있다. 기존의 MDBMS를 사용해야 가능했던 신속한 응답이나 시계열을 핸들링하는 여러 가지 함수들을 폭넓게 지원하고 있을 뿐만 아니라 문장 자체 내에서의 새로운 분석적 쿼리문까지도 지원하고 있다.

▲플랫폼 내에서 각 솔루션들의 메타 데이터 통합

일반적으로 국내 기업이 선호하고 있는 Best of Breed 방식(각각의 솔루션 중 최고의 제품을 선정해 DW 플랫폼을 구축하는 것)의 시스템이 가지고 있는 취약점 중 하나가 바로 서로의 메타 데이터가 통합되지 못해 각자의 정보를 공유할 수 없다는 것이다. 이를 보완하기 위해 한 곳의 토털 솔루션을 사용할 경우 이로 인해 한 곳의 소프트웨어 제공업체에 대한 의존도가 증가하는 단점이 있다.
이러한 점들을 개선하기 위해 산업에 대한 메타 데이터 표준이 여러 단체에 의해 정의되고 있으며, 점차 이를 따르는 소프트웨어들이 선보이고 있다. 또한 현재까지는 업체의 이해관계가 상이해서 완전히 산업표준에 의해 통합되어 있다고 보기는 힘들지만 가까운 시일에 통합될 수 있을 것으로 전망된다.

▲시스템 보안 및 각 솔루션의 통합관리

메타 데이터의 통합과 맞물려 사용자 관리, 시스템 성능관리, 비즈니스 메타 관리, 업무 스케줄링 등 각각의 관리를 담당하는 소프트웨어들 또한 통합돼야 하지만 이 부분은 기술적인 문제들로 인해 메타 데이터 통합이 완벽히 이루어진 후에나 가능할 것으로 보인다.
한편 이들 외에도 각각의 산업별로 보다 구체적이고 선진 기법을 가미한 BI솔루션들이 업체별로 출시되고 있으며, 기존의 DW 인프라 위에 CRM, ERP 등의 백 오피스와 EIP, 캠페인과 같은 프론트 오피스 등이 유기적으로 연결된 플랫폼을 구축하려는 노력도 지속되고 있다.
향후 EDW는 한때 반짝하고 사라지는 기술이 아닌 새로운 기술의 발전에 따라 모든 BI용 솔루션의 정보 제공자로서 끊임없이 변화하고 진화되어 기업에서 정보분석의 요구가 있는 한 사라지지 않는 기술로서 자리잡을 것이다.

주요 벤더 EDW 전술과 전략

▲사이베이스: Near Real Time
·데이터웨어하우스 상의 EAI의 역할을 애플리케이션 통합보다는 데이터 전달자의 역할로 본다.
·비동기 방식의 데이터 전달한다.
·실시간이라기 보다는 보다 짧은 주기의 데이터 공급을 목표로 한다.
·ETL로의 EAI역할에 관해서는 아직은 ETL을 대체하기에는 역부족으로 봄.
·EAI는 소량의 데이터를 적기에 DW에 공급한다.
·2PC와 같은 리얼타임은 상호 종속되지 않도록 구현하지 않는 것이 바람직하다. 보다 짧은 주기의 ETL로 해석하는 것이 바람직하다.

▲오라클: Oracle Streams(Near Real Time)
·온라인 로그 파일을 사용하여 변경분을 추출한다.
·DB Trigger를 사용하지 않는다.
·새로운 DB 기능인 오라클 스트림을 사용하여 Redo log파일을 액세스, 변경분을 추출해 낸다.
·일정한 주기에 따라 반복적으로 수행한다.
·소스 시스템에 오버헤드를 주지 않는다.

▲IBM: Real Time BI
·데이터를 시계열로 구분하여 추출 및 저장 방식이 다르다(3년 전 데이터: 테이프/3년 전∼ 전일: ETL/당일 데이터 EAI or EII).
·MQ Series queue를 사용해 계속적인 추출을 수행한다.
·리얼타임 ETL은 Parallelism과 Non-stop loading을 수행하여야 한다.
·리얼타임의 구축은 비싼 비용을 요한다.

▲NCR테라데이타: Active Data Warehouse(Near Real Time)
·즉시적인 Update­real time에 가깝다.
·수초 내에 결과를 얻을 수 있는 짧고 전술적인 쿼리가 많다.
·Event-Driven Activity.
·EAI 아키텍처를 사용해 Near Real Time을 구현한다.
·대량 데이터의 적재는 제3의 ETL 툴을 활용한다.
·테라데이타 유틸리티를 활용하여 거의 실시간의 데이터 획득 및 데이터 이행을 위한 패키지 형태의 ADW어댑터를 제공한다.

제공 : DB포탈사이트 DBguide.net