‘데이터가 불가능을 가능하게 한다’…클라우데라 세션 2018

11월 8일 서울 코엑스 인터컨티넨탈 호텔에서 ‘클라우데라 세션 2018’이 열렸습니다. 지난 10월 빅데이터 솔루션 분야 1위, 2위를 다투던 클라우데라와 호튼웍스가 합병하며 이번 행사에 대한 기대감을 더욱 증폭시켰었죠.

‘클라우데라 세션 2018’에 개발하는 기자, 개기자가 다녀왔습니다.

미디어 콘퍼런스

오전세션은 미디어 콘퍼런스부터 참석했습니다. 클라우데라 미디어 콘퍼런스에는 강형준 한국지사장, 아므르 아와달라(Amr Awadallah) CTO, 믹 홀리슨(Mick Hollison) CMO가 참석했습니다. 아와달라 CTO는 스탠포드대 전자공학 박사로 클라우데라를 공동 창업했습니다. 홀리슨 CMO는 25년간 엔터프라이즈 및 클라우드 소프트웨어 분야 경험을 쌓은 베테랑입니다.

클라우데라 세션 2018은 ‘Think Big, Start Smart, Iterate Often(원대한 사고와 스마트한 출발, 적극적인 활용)’을 주제로 진행됐습니다.

미디어 콘퍼런스는 강형준 지사장의 인사말로 시작됐습니다. 강 지사장은 클라우데라와 호튼웍스 합병에 대해 “클라우데라와 호튼웍스는 비슷한 규모의 회사다. 양사 합병 이후, 아시아 국가 중 한국이 20% 매출 성장을 이뤄냈다”며 “엣지(Edge)에 강점이 있는 호튼웍스와 머신러닝에 강점이 있는 클라우데라의 고객군이 다른 만큼 앞으로의 시너지도 기대된다.”고 밝혔습니다.

이어 믹 홀리슨 CMO가 클라우데라 비즈니스에 대한 이야기를 쉽게 풀어줬습니다. 홀리슨 CMO는 데이터 중심 기업이 되려면 3가지가 중요한 질문이 필요하다며, ▲데이터가 기업의 모든 의사결정의 중심에 놓여 있는지 ▲데이터로부터 얻은 통찰력으로 직원이 결정할 수 있는 권한을 부여했는지 ▲통찰과 예측이 고객사에게 영향을 미치고 있는지 등을 꼽았습니다.

또한 현재의 불가능을 미래에 가능하게 하기 위해서는 ‘데이터’가 필요하다며, 현대적인 데이터 플랫폼은 ▲엔터프라이즈에서 요구하는 보안 ▲확장성 ▲기업이 원할 때 이용할 수 있는 컴퓨팅 능력 등이 필요하다고 말했습니다.

클라우데라는 기업에 ▲데이터를 통한 매출 증대 ▲데이터를 통한 기업과 연결 ▲데이터 보호 등 3가지를 제공했고, 그 결과 세계 10대 은행 중 7개, 세계 10대 통신사 중 9개, 세계 10대 의료기관 중 6개를 고객으로 유치했습니다.

합병 이야기도 했는데요. 홀리슨 CMO는 클라우데라와 호튼웍스 합병 후 양사 기존 플랫폼을 3년간 모두 지원하고, 이후 두 회사의 최고 솔루션을 모아 새 플랫폼을 출시하겠다 포부를 밝혔습니다.

아와달라 CTO는 인공지능 기술을 강조하는 스피치를 했는데요. “AI는 의사결정을 자동화하는 것이다. 사람이 할 수 없는 수준의 규모와 빈도, 비용으로 AI가 의사결정을 할 것이다”며 “앞으로 AI와 머신러닝은 기업 업무의 일상 활동이 될 거다. 요즘은 기업에 ‘소프트웨어 개발하세요?’라고 물으면 하지 않는 기업이 없다. 이런 현상이 AI와 머신러닝으로 확장될 것이다”고 말했습니다. 따라서 고객은 크게 생각하고, 스마트하게 시작하고, 반복해서 향상할수 있어야 한다며 ‘클라우데라 세션 2018’의 주제 ‘Think Big, Start Smart, Iterate Often’을 강조했습니다.

이해를 돕기 위해 아와달라 CTO는 고객 사례를 소개했는데요. 이탈리아 자동차 보험 업체 옥토(OCTO), 굴착장비와 트럭을 만드는 코마츠(Komatsu) 그리고 마스터카드입니다.

옥토는 기존 자동차 보험료 측정 시 교육수준, 성별, 주소지, 심지어 자동차 색상도 감안했었는데요. 클라우데라와 협업 후 자동차에 센서를 넣어 운전자의 운전 습관을 데이터 쌓아 보험료를 측정하도록 전략을 바꿨습니다.

코마츠는 굴착장비와 트럭을 임대, 판매하는 사업을 하는데요. 엔지니어를 파견해 성능을 최적화시키는 등의 비용이 들었습니다. 이를 클라우데라 협업 후 IoT 센서를 부착하고, 엔지니어들의 의사결정을 머신러닝해 엔지니어 파견 없이 센서 조정만으로 문제를 해결했습니다.

마스터카드를 비롯 신용카드사는 30~40년 전까지 해당 거래의 정상 유무를 사람이 판별했습니다. 현재는 레이블을 나눠 저장하는데요. 이 레이블을 수집해 머신러닝을 했고, 이제는 사람이 할 수 없는 크기의 작업을 머신러닝으로 처리하고 있습니다.

아와달라 CTO는 이처럼 머신러닝을 통해 의사결정 하는 시대가 온다며 스피치를 마쳤습니다.

임상배 클라우데라 이사 – 워크로드 XM 소개

미디어 콘퍼런스를 마치고 오후에는 본 행사장으로 입장했습니다. 클라우데라 세션 2018은 ▲머신러닝 ▲데이터 웨어하우스 ▲클라우드 ▲테크니컬 ▲솔루션 브리핑 등 총 5가지 트랙으로 진행됐습니다. 개기자는 데이터 웨어하우스와 머신러닝 세션에 참석했습니다.

오후 첫 세션은 임상배 클라우데라 이사가 진행한 “Workload XM 소개 (운영 클러스터 워크로드 최적화)” 세션을 들었습니다.

임상배 이사는 엔지니어가 갖는 고민을 공유하며 스피치를 시작했습니다.

엔지니어들은 서비스에 대해 많은 고민을 하지만, 고객이 문제를 발견하고 컴플레인 하는 확률은 5% 미만이라며 문제를 발견하기 어려운 현실을 말했습니다. 따라서 워크로드를 잘 관리해야 하는데요. 워크로드를 효율적이고 지능적으로 관리하려면 ‘가시성 확보’가 중요하다고 말했습니다.

워크로드 XM(Workload XM)은 ▲마이그레이션(Migration) ▲분석(Analyze) ▲최적화(Optimize) ▲확장(Manage) 등 4가지 기능을 통해 이를 돕습니다.

임 이사는 워크로드 XM의 기능은 크게 ▲데이터 웨어하우스 ▲데이터 엔지니어링으로 나뉜다며, 상세 설명을 이어갔습니다. 워크로드 XM에 대한 설명은 아래에 홈페이지 문장을 소개하는 것으로 대체합니다.

“Cloudera Workload XM은 강화된 가시성과 실행 가능성을 제공해 최신 플랫폼 내에서 구동되는 워크로드를 보다 효과적으로 마이그레이션, 분석, 최적화, 확장할 수 있어 마이그레이션 위험 요소가 절감되고 더 빠른 문제 해결과 근본 원인 분석이 가능하며 가동 시간이 개선되고 리소스 활용도 또한 높아집니다.” – 클라우데라 워크로드XM 홈페이지

김상우 쏘카 데이터그룹 그룹장 – AI를 활용한 핵심 비즈니스 재정립

이어 김상우 쏘카 데이터그룹 그룹장의 세션을 들었습니다. 김상우 그룹장은 쏘카의 VCNC 인수와 함께 쏘카 데이터그룹에서 일하게 됐는데요. 이날 개기자가 들은 세션 중 가장 일상생활과 관계가 있어 편안한 세션이었습니다.

2012년 설립된 쏘카는 1만 대 차량 소유하고, 340만 사용자를 보유한, 300명 직원이 만드는 자동차 공유 스타트업입니다.

자동차가 없는 개기자가 종종 이용하는 서비스인데요.(지난 주말에도 쏘카를 활용했습니다) 최근 자회사 VCNC에서 승합차를 활용한 콜택시 ‘타다’를 출시해 많은 고객의 호평을 듣고 있습니다. 김상우 그룹장은 이 서비스에 사용된 데이터 기술을 설명했습니다.

쏘카 데이터 그룹은 ▲사고 위험을 예측해 보험료를 설계하고 ▲데이터에 기반해 차량 수요 예측 및 배치를 최적화 ▲차량 가격을 수요에 맞춰 책정하고 ▲차량 리뷰 등 데이터를 활용해 품질을 관리하는 등 다방면에서 데이터 기술을 활용하고 있습니다.

김상우 그룹장은 AI를 업무에 활용하기 위해 노력 했는데요. ▲챗봇 등 단순 업무 외 다른 곳에 AI를 활용할 수는 없는지 ▲인력으로 불가능했던 일을 풀어볼 수는 없는지 등 다양한 고민을 구성원과 나눴습니다.

이날 세션에서 발표된 실제 사례는 아쉽지만, 언론 보도가 불가능하다고 합니다. 개기자가 관련 내용을 다음 마이크로소프트웨어 395호 ‘데이터 사이언스’ 특집에 소개할 수 있도록 열심히 노력해보겠습니다.

최근 레드햇(https://www.imaso.co.kr/archives/4193), MS, 엔비디아 그리고 클라우데라까지 인공지능 관련 기업들의 한국 콘퍼런스가 이어지고 있는데요. 대형 기업들이 참여하는 만큼 비용과 인력이 몰리고 있습니다. 2019년 1월 출시 예정인 마이크로소프트웨어 395호 ‘데이터 사이언스’ 특집에서 관련 내용을 다루니 많은 관심 부탁드립니다.