빅데이터로 풀어보는 Real-time Market Sensing
빅데이터로 풀어보는
리얼타임 마켓센싱
2014.05.27
www.mindsinsight.co.kr
음성인식기술로
찾아내는 고객의
소리
마인즈랩 VOC팀
빅데이터로 풀어보는 Real-time Market Sensing
We listen to the Customer
www.mindsinsight.co.kr
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing 고객이 떠나는 이유?
[Source: ASQC(미국품질관리학회)]
종업원의 무관심한 태도 (고객 서비스상의 문제)
68%
친구의 권유
5%
제품의 품질
14%
경쟁사의 회유
9%
이사
3%
사망
1%
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing VoC Categories
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
데이터 처리단계 (Processing Data)
• 데이터를 가공하고 처리하는 단계입니다.
분석 및 인사이트 도출단계 (Generating Insights and Analysis)
• 가공된 데이터를 기업의 활용방안에 맞도록 분석하여 담당부서에 피드백을 주기 위한 인사이트를 추출합니다.
담당부서 피드백 및 경영성과 창출 (Realizing Business Benefits)
• 추출된 인사이트는 담당부서에 피드백되어 기업의 다양한 비즈니스 활동에 활용되는 한편, 고객의 소리에 기반한 적극적 업무 혁신에 활용됩니다.
VOC수집단계 (Collecting Data)
• 기존의 기업 내부 데이터 뿐 아니라 외부의 소셜 데이터를 포함한 고객의 소리를 수집합니다.
Dataset 생성 시각화 Insight추출
음성 text화
Text 요약
감성 분석
자연어처리 Clustering 정형데이터 연계
서베이
이메일
콜센터
음성녹음
채팅
고객 웹 탐색 행동 데이터
고객 데이터웨어하우스
트위터
페이스북
뉴스
제품리뷰사이트
포럼/커뮤니티/카페
블로그
상품/서비스 혁신
조기경보 평판 알람
뉴스/이벤트 모니터링
고객응대개선
비즈니스 활동 별 인사이트 피드백
VOC Analysis Process
빅데이터로 풀어보는 Real-time Market Sensing
VOC의 분석목적과 활용
www.mindsinsight.co.kr
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
항의 소송
적시 대응 신상품 개발
고객 반응
수요 예측
▶Mortgage
재융자 상품
관련 항의/소송
제기 고객들을
적시에 대응
불만 조기 제거 I Ⅱ Ⅲ Ⅳ
“선제적 리스크 대응” “Operation 개선”
수 행 결 과
적 용 영 역
▶ Loan
Modification
과 같이 기존에
알지 못했던
불만을 미리
알고 근본
원인을 제거
▶ “최근 트렌드로
뜨는 상품을
초기에
발견하여 매출
극대화
▶신용카드로
온라인에서
결제 시 비용을
추가로
부담하게 될
때의 고객
반응을 미리
예측
“Global Roll Out 방안 수립” “리스크 사전대응 프로세스 수립”
“신제품 개발 지원 과제 구체화”
“분석 대상 VOC 채널 선정”
VOC 활용사례
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
다양한 채널의 고객 불만 분석을
통한 사전 Risk Sensing/대응
전사 VOC 분석 결과를 통한
Operation 개선
전략적 의사결정 반영 체계 구축
1
2
3
추진 목적
CEO
CRM/VOC분석팀
접점
고객 VOC
VOC 수집 및 Risk대응
사전 Risk 분석/Sensing
Operation 개선
(불량원인제거,
신상품 개발 등)
전략적 의사결정 • 개선과제 추진 모니터링/ 성과보상
• 개선활동 수행
• 프로세스 변경
• 개선결과 효과분석 및 분석모델 정교화
• 개선여부 커뮤니케이션
고객 자문위원회
Bottom-up Top-down
3
2
1
상품 기획
SCM 마케팅 Sales
CS
VOC Driven 비즈니스 혁신체계 수립
VOC 분석 목적
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
• 사후 처리 비용 발생 • Brand Image 하락
조기 발견 및 선제 대응
• Risk 대응 프로세스 수립 • Risk 분석/평가 모델링 • VOC 분석시스템 구축
선제적 리스크 대응
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
PLC 관리 개선 신제품 Sell-In 의사 결정
Customer Needs 기반 상품 기획
고객 반응 기반 Marketing Campaign
Pricing Optimization
시장 Seg 별 모델 운영
차별화시장 수요 예측
Call Center 운영개선
Global CS 운영개선
PLC 관리 개선
신제품 Sell-In 의사결정
상품기획단계 문제점 공유 및 VOC 연계 분석
마케팅 단계 문제점 공유 및 VOC 연계 분석
SCM 문제점 공유 및 VOC 연계 분석
판매 문제점 공유 및 VOC 연계 분석
Operation 개선
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
VOC 접수 내용
병명
불만상품속성
FC 불만
사고유형
감정상태
관련 치료법
갑상선암, 요실금, 무지외반, 치조골, 만성질환 等
이율, 기간, 수익률, 보험료, 보장항목, 원금 等
저축보험으로 알고, 대신 납부, 설명 못 들음 等
낙석, 미끄러짐, 타박 等
화남, 싫어함, 실망, 곤란, 미안함 ... 감동 等
고주파, 신종수술 等
사례 – 보험사 VOC 자동분류
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
목적
VOC 자동분류
이탈고객 예측
대외민원 예측
범위
STT (녹취음성 텍스트
변환)
Taxonomy 구축
결과
음성인식 정확도 80% 달성
8만 건에 달하는 Taxonomy 구축
VOC 자동분류
분류 정확도 50% 이상
Risk 예측
정형 및 비정형 분석을 통한 이탈 예측모형 구축,
예측 정확도 70% 달성
언어 의미적 (연역적) 접근
전문가 경험적 (귀납적) 접근
사례 – 보험사 이탈고객 예측
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
분류체계 종류
신청 접수/분류 처리
민원인 민원 신
청
• 국민신문고 • 콜센터 • 국민제안
분류 담당자
부서 담당자
처리 담당자
기관 분류 담당자
부서지정
재분류 요청
이송/ 이첩
재지정요청
담당자지정
재지정요청
타기관 이관
• 개선요구 • 문제제기 • 단순감사 • 업무요청 • 질의 • 기타
민원 처리 (답변통보)
자동분류
* 민원 접수 시 자동분류가 이루어지고 고충민원에 대해서는
분류담당자가 직접 분류
사례 – 공공기관 VOC 처리 현황
빅데이터로 풀어보는 Real-time Market Sensing 공공 VoC(Voice of Customer) 분석체계
Feed back Analysis Processing Sourcing
Text Data
Voice Data
• VOC Data - 중앙정부 게시판 - 지방자치체 게시판 - E-mail 등
• SNS Data - Blog / Twitter 등 SNS data
- 다산콜센터 등 콜센터 - 각 정부기관 민원상담 등
블로그
까 페
지식인
위협 요소 사전 감지
• 위협 Keyword 관리 • 위협 요인 유형에 따른
대응 적기 체계 및 시나리오 개발 • 위협 요인 별 확산 가능성 파악
정책 수립/개선 방향 탐색
• 실시간 전국민 여론 분석을 통해 정책 수립 및 개선에 활용
• 기 수립 정책에 대한 반응 분석을 통해 대응 방향 마련
Speech to Text
Text Mining
- 각 기관 및 채널에서 수집 된 Text Data를 분류, 정제하는 등의 과정을 통해 구조화 된 관리 체계 마련
- 각 기관을 통해 수집 된 음성 데이터를 Text로 변환하는 과정을 통해 구조화 된 관리 체계 마련
개별적으로 수집 된 데이터를 통합 분석, 지속적 관리 가능한
분석 체계 마련
- 위협 Keyword 도출 - 도출 된 위협 요인을 특성에 맞게 유형화 - 특정 이슈에 대한
여론 집중도, 지속성 - 접근/전달 가능한 기회 요소 발굴
Text
빅데이터로 풀어보는 Real-time Market Sensing
VOC Technology
www.mindsinsight.co.kr
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
내부 Data
외부 Data
블로그
까 페
지식인
Text Mining (Unstructured)
④ Keyword 추출
⑤ Classification ⑥ 감성 분석 (긍정/부정,선호도)
③ 자연어 처리 (NLP)
Text
VoC
Dashboard Report
Risk 대응
위기 감지
불만요인 분석
경영층 보고서
:
Web Crawling
컨택센터, A/S센터 E-Mail, 제품정보 등
Data Mining (Structured)
⑩ Predictive Analysis (예측 분석)
⑨ Risk Scoring
⑦ Statistics ⑧ Association
Operation
개선
제품개선
마케팅 효율화
SCM 운영 개선
:
Pre-Processing
활용 분석 수집 / 전처리 원천 Data
① Taxonomy
② Speech to Text
MINDs VoC
빅데이터로 풀어보는 Real-time Market Sensing VOC Analysis Service
음성인식 (STT : Speech To Text)
비정형 텍스트분석 (NLP : Natural
Language Processing TM : Text Mining)
Insight 제공 및 현업 Feed-back
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
전처리 음성입력
특징벡터
탐색 엔진
단어 모델 생성
최종 인식 결과
발성모델 P
음향모델 C
발음사전 L
문법모델 G
음성 DB 텍스트 DB
언어 모델 생성
음향/언어 모델 훈련
탐색 엔진 (search engine or decoder): 음향 모델 및 언어 모델 등의 지식 베이스에 기반하여 고속/고성능 음성인식을 수행
음향 모델 훈련 (acoustic modeling): 녹음된 대용량 음성 DB에 기반하여 통계적 음향 모델을 생성하는 과정
언어 모델 훈련 (language modeling): 음성인식의 대상이 되는 단어 및 문장의 구조(텍스트 DB)에 기반하여 언어 모델을 생성하는 과정
전처리 (preprocessing): 녹음된 음성에 대해 음성 분석 및 잡음 처리 등을 거쳐 탐색 엔진에서 사용되는 음성의 특징을 생성
MINDs VoC
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
서버 클러스터 (또는 코어 클러스터)
Data Set
음소 그룹 1 음소 그룹 2 음소 그룹 M
Update/merge acoustic models
…
음성 DB (대용량) 기본 DB
1 기본 DB
2 영역 DB
N
…
F O R K
master
thread
master
thread
team
threads
J O I N
…
반복
MINDs STT 음향훈련 모델
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
wFST* 기반의 연속어/자연어 음성인식 엔진 – 연속어/자연어 및 핵심어 검출 기능을 하나의 엔진에서 효율적으로 수행할 수 있는 아키텍쳐 (확
률적 언어모델, context free grammar 등 다양한 언어모델 수용)
다단계 디코딩 지원으로 고정밀 음성인식 가능 – Base layer
• Wrapper for platform independency
– Decoding layer
• Acoustic search
• Lexical search
• Rescoring
• Multi-stage search
– Interface layer
• low-level APIs : DLLs
• Script-level interfaces : python, java
※ wFST : weighted Finite State Transducer
MINDs VoC
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
환경 및 응용 분야에 flexible한 음향모델(AM) 구조 – Multi-space AM(Acoustic Model) 구조를 채택함으로써 적은 양의 훈련 data로 환경/task에 최적화된
성능 획득
Time-frequency 분석 방법에 의한 고정밀 음성분석 기술 채택 – 기존의 음성인식기에서 사용하는 MFCC 기반의 음성분석 기술이 아닌, 음성의 동적 특성을 반영한
새로운 음성분석 기술에 의해 잡음환경에서의 음성인식률 향상
화자/환경 고속 적응 기술 – 변별학습 기반 고속 적응 기술 및 특징 공간에서의 환경/화자 적응 기술을 적용함으로써, 소용량
tuning DB를 이용한 성능 향상 효과가 뛰어나며 환경/화자 변화에 따른 성능 저하 최소화
MINDs VoC
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
병렬 처리에 의한 고속화 구조 채택
MINDs VoC
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing Sample Demo
1874 1936 어 -3383.66 1936 1988 씌우 -2724.96 1988 2043 는 -2296.42
2043 2113 이십육일 -4485.70 2113 2177 날 -3344.55 2177 2263 는데 -4872.42 2263 2329 가 -3279.98 2329 2402 부산 -3861.86 2402 2428 가 -1552.70 2428 2484 부산 -3525.70 2484 2523 해운대 -2527.22 2523 2546 쪽 -1553.98 2546 2590 이요 -2869.56 2590 2631 네 -2240.98 2631 2663 잠시 -2179.28 2663 2690 만요 -1555.53 2690 2709 확인 -1183.77 2709 2719 해 -657.97 2719 2743 드릴 -1515.27 2743 2781 게 -2046.67 2781 2818 요 -2176.36 2818 2851 네 -1959.34
어 씌우는 이십육일 날는데 가 부산가 부산 해운대 쪽 이요 네 잠시 만요 확인해 드릴게요 네 죄송하지만 현재 하나 해운대 쪽이 16일자는 마감입니다 음 그러면은 해운대하고 가까운 데가 어디 있어요 저희가 확인할 수밖에 없습니다 지금 그 근처 죄송하지만 그거는 직접 확인해서 저희 쪽에 알려주셔야 되시거든요
빅데이터로 풀어보는 Real-time Market Sensing
VOC 서비스 유형
www.mindsinsight.co.kr
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing 통합 VOC 분석 Architecture
내부 집계 VOC
Social Media上 VOC
+
• 감독 기관 경유 VOC • Call Center 유입 VOC • Homepage 경유 VOC 等
• 주요 홈페이지, 트위터, 블로그 等 소셜미디어를 통해 유포되는 Reputation
• 당사 상품, 고객 관리에 필요한 정보 等
Text Mining 결과
회사 내부
Social Media
회사 외부
방문
서신/팩스
인터넷
콜센터
감독기관
통합 분석결과
Text Mining 결과
Data Crawler
VOC 집계 데이터
NLP처리 및 Text Mining엔
진
NLP처리 및 Text Mining엔
진
1
2
3 4
① 내부 집계된 VOC 분석을 위한 Text Mining 엔진은 보안상 사내에 존재하여야 하며, ② Crawler는 회사별 특성에 따라 외부 서비스를 받거나, 내부화가 가능 ③ Crawler를 외부 서비스로 Outsourcing하는 경우 NLP/TM 엔진 또한 외부에 존재 ④ 이때, Text Mining 결과를 Outsourcing 업체를 통해 공급받아, ⑤ 내부 VOC와 통합하여 종합 분석 결과 제시 필요
Text Data Non
Text Data
5
빅데이터로 풀어보는 Real-time Market Sensing 빅데이터로 풀어보는 Real-time Market Sensing
Copyright © 2014 Minds Lab. All rights reserved
Real-time Market Sensing
463-100, 12F, U-Space 1-B, 660, Daewangpangyo-ro, Bundang-gu, Seongnam-si, Gyeonggi-do, Korea T.031-625-4340 F.031-625-4119 | www.mindslab.co.kr www.mindsinsight.co.kr
No part of this publication may be circulated, quoted, or reproduced for distribution outside the client organization without prior written approval.