객관적인 인공지능(A.I) 수준 측정을 위한 A.I 지표 개발 방향Ž˜셜... · 데이터 기반 우리나라 A.I 분야 수준 조사 수행 개요 - 스탠포드 A.I

SPECIAL REPORT 2019-5 | 2019.04.26.

21

객관적인 인공지능(A.I) 수준 측정을 위한 A.I 지표 개발 방향 < 우리나라 인공지능 수준 측정 지표 개발을 위한 세미나 현장 보고서 >객관적인 인공지능(A.I) 수준 측정을 위한 A.I 지표 개발 방향 < 우리나라 인공지능 수준 측정 지표 개발을 위한 세미나 현장 보고서 >

SPECIAL REPORT 2019-5 | 2019.04.26.

황현주 주임(미래전략센터, [email protected])

2019년도 우리나라 인공지능(A.I) 분야 수준 측정을 위해 연구, 기술, 산업 등

다양한 분야에서 우리나라 인공지능 분야 특성을 반영한 A.I 지표 발굴 방향 모색

배경 및 목적

A.I에 관한 관심이 높아지는 만큼 체계적이고 실효성 있는 정책 추진 및 R&D, 교육, 서비스

등의 제공을 위한 객관적인 수준 분석 필요

- 인공지능(A.I) 수준에 대한 측정이 있어야 개선이 있을 수 있으며, 측정 결과가 정부나 기업의

가이드가 될 수 있을 것으로 기대

하지만 데이터를 활용해 객관적으로 인공지능 수준을 측정한 선행사례가 부족하며, 수준

측정을 위해 표준화된 지표조차 부재한 상황

- 스탠포드 A.I Index 연구팀, 중국 칭화대, 중국 창장MBA(CKGSB) 인공지능 및 제도연구센터

등이 데이터를 활용한 A.I수준을 측정하고 있지만 측정 지표가 모두 상이

- ’18년 한국정보화진흥원은 스탠포드 A.I Index를 벤치마킹해 데이터를 기반으로 A.I 수준을

측정하였으나, 해당 지표는 우리나라의 A.I 특성(산업, 언어, 연구개발 등)을 반영하지 못하는

등 지표상 한계 존재

따라서 우리나라 인공지능 분야의 특성 등을 반영한 객관적인 수준 측정을 위해 인공지능 제

분야 전문가의 의견을 수렴하는 장 마련

세미나 주요 내용

1 우리나라 인공지능(A.I) 분야 수준 조사 결과소개

데이터 기반 우리나라 A.I 분야 수준 조사 수행 개요

- 스탠포드 A.I Index의 지표와 방법론을 벤치마킹하여

우리나라 A.I 수준 분석 및 전문가 자문을 통한 결과의

타당성 및 객관성 검증

① 조사방법론 분석 : Stanford A.I 100에서 발표한

‘Artificial Intelligence Index, 2017 Annual Report’

에서 제시하는 인공지능 분야 수준 조사 방법론 분석

② 우리나라 인공지능 수준 조사 : 지표별로 우리나라 데이터를 확보해 조사 및 분석

③ 전문가 검증 및 자문 : 우리나라 인공지능 수준 조사 결과를 바탕으로 조사결과의 타당성,

대리지표의 타당성, 측정 불가 항목의 확인

데이터로 측정한 우리나라 A.I 수준 결과

객관적인 인공지능(A.I) 수준 측정을 위한 A.I 지표 개발 방향 <우리나라 인공지능 수준 측정 지표 개발을 위한 세미나1) 현장 보고서>

1) ‘우리나라 인공지능 수준 측정 지표 개발을 위한 전문가 세미나’는 한국정보화진흥원과 (사)한국지능정보시스템학회의 공동 주관·주최로

2019.4.12.(금) 서울 버텍스 코리아에서 개최

세미나 주요 내용

1 스탠포드대 A.I Index 소개 및 2018 우리나라 A.I 분야 수준 조사 결과 소개

2 우리나라 A.I 수준 측정을 위한 지표 개발의 필요성과 이슈

3 우리나라 A.I 수준 측정 지표 개발을 위한 분야별 전문가 토론

지표명 데이터 측정 결과 전문가 의견

인공지능 분야

출간된 논문의 수

(Published Papers)

2015년 1,080편에서 2017년 1,514

편으로 40% 이상 증가하였고, 이는

전 세계 출간된 논문의 3% 수준

미국, 중국 등에 비해 연구 실적이 매우 저조한

수준, 특히 중국의 관련 분야 연구 실적은 13,000

편을 넘고 있다는 점을 주목할 필요

SPECIAL REPORT 2019-5 | 2019.04.26.

43



인공지능 관련

교과목 수강신청 현황

(Course Enrollment)

인공지능 분야 교과목의 수강신청은

지속적으로 증가하고 있는 추세,

2015년 대비 2017년 개설 강좌는 1.6

배, 수강인원 2.52배 증가

최근 인공지능 관련 학생들의 관심도는 매우

높아지고 있음, 강좌명에 인공지능 관련 키워드가

들어가지 않더라도 딥러닝 등 인공지능 기술을

다루고 있는 교과목이 다수 존재

인공지능 관련

국제 컨퍼런스 참석자

(Conference

Attendance)

참가자 수는 매년 증가하고 있는

추세, 학술 대회 발표논문의 한국인

저자 수를 기준으로 볼 때 2015년

대비 2017년에는 1.3배 증가

유수 학술대회의 정규 세션에서 한국인의 논문

발표 및 참석자의 절대 규모는 매우 적은 편

인공지능 관련

스타트업의 수

(A.I-Related Startups)

벤처 인증 기업 중 활발히 활동 중인

인공지능 관련 스타트업은 150여 개

사로 전체 벤처기업 수의 1.12% 수준

최근 인공지능 관련 스타트업이 많이 생겨났으나,

활발히 활동 중인 스타트업의 수는 200개 미만

인공지능 관련

스타트업 투자

(A.I-Related

Startups Funding)

인공지능 관련 스타트업에 투자된

자금은 2015년 대비 2018년 4.9배

증가하여 1,000억원 수준

미국의 경우 인공지능 관련 스타트업 투자가 연간

50억 달러에 이르고 있음에 주목할 필요, 한국은

투자 규모가 매우 적은 상황

일자리

(Job Openings)

2018년에는 2016년 대비 인공지능

관련 구인공고 수가 10배 이상 증가전 세계가 비슷한 경향을 보이고 있음

로봇 수입량

(Robot Import)

우리나라는 2015년 대비 2017년까지

큰 차이를 보이고 있지 않음

미국과 EU는 연간 10% 이상, 중국은 20%

이상씩 증가

깃허브 프로젝트 통계

(Github Project

Statistics)

오픈소스 사이트에 업로드 되는

프로젝트의 수가 2015년 대비 2017

년에는 9.5배 증가

깃허브에 업로드된 프로젝트 수는 급증하고

있으나, 아직 미국의 10%에도 못 미치는 수준

언론 보도 현황

(Sentiment of Media

Coverage)

2015년 대비 2017년 인공지능 관련

언론 기사는 20배 이상 증가, 긍정적

기사(13.2%)가 부정적 기사 (6.3%)에

비해 많음

한국의 경우 알파고 이후 인공지능과 관련한

일반인들의 관심이 급증

객체 인식

(Object Detection)

ImageNet 테스트 데이터를 활용한

객체인식 경진대회 결과에 의하면

우리나라의 이미지 객체인식 수준은

국제적 수준 (세계 5~6위권) 테스트 데이터를 활용한 대회 성적만으로 국가의

기술 수준을 평가하는 것에는 문제가 있음,

참고자료로만 활용하는 것이 바람직시각 데이터 문답

(Visual Question

Answering)

VQA Challenge를 통해 파악한 우리

나라의 기술 수준은 세계 최고 수준


파싱

(Parsing)

한국어 말뭉치를 대상으로 한 테스트

가 많이 이루어지지 않아 기술 수준에

대한 객관적인 평가나 비교가 불가능,

한국어 구문 분석 성능은 점차

개선되는 중

구문분석 기술개발을 위한 말뭉치 구축이 미흡

하고, 장기 연구가 필요한 분야임에도 연구비

지원이 많이 이루어지지 않고 있음, 연구개발

환경이 취약

기계번역

(Machine Translation)

학술논문에 보고된 BLEU 값을 통해

확인되는 한국어 관련 번역 성능은

높아지고 있으나, 국내 기계번역

수준을 객관적으로 평가할 공개

데이터가 없어 객관적인 수준 평가는

어려움

기술력은 ‘우수’, 서비스품질은 ‘매우 우수’로

판단됨. 세계적으로 구글 번역기 외의 자국의

번역기를 더 많이 사용하는 나라는 한국, 중국,

러시아 정도임을 참고할 필요가 있음

질의응답

(Question Answering)

SQuAD Challenge를 통해 파악한

우리나라의 질의응답 정확도 수준은

세계 12위권으로 우수한 편이나, 세계

최고 수준에는 다소 못 미침

연구 인력의 수, 가용한 하드웨어의 수준, 언어

친숙도 등 제반 연구환경이 상대적으로 열악한

상황에서, 나름 좋은 성과를 내고 있다고 할 수

있음

음성인식

(Speech Recognition)

한국어 기반 음성인식 기술수준

진단을 위한 공개 데이터셋이

부재하여 객관적인 기술수준을 측정

하거나 타국 수준과 비교하는데

어려움이 있음

한국어 음성인식 서비스에 국한해 볼 때, 우리

나라의 음성인식 기술 수준은 상당히 우수한 편

2 우리나라 인공지능 수준 측정을 위한 지표 개발의 필요성과 이슈

2016년 이후 인공지능 시대를 대비하기 위한 국가적 준비 박차

- 정부 부처에서는 4차 산업혁명 주도권을 선점하고, A.I, 데이터 등 신기술과 연계해 혁신성장을

견인하기 위한 정책 수립·추진

* 지능정보사회 중장기 종합대책(‘16.12), 4차 산업혁명 대응계획(’17.11), 혁신성장동력 추진계획

(‘17.12), 혁신성장동력 시행계획(’18.5), A.I R&D 전략(‘18.5) 등

이제는 투입에 대한 결과와 성과를 객관적으로 살펴보고, 오류를 수정하며, 올바른 방향으로

발전하기 위한 방향을 검토할 시기

※ 자세한 내용은 ‘데이터로 측정하는 우리나라 인공지능 분야 수준’ (NIA, ’18.12.10 참조)

SPECIAL REPORT 2019-5 | 2019.04.26.

65


이에 국가적 파급효과가 높은 인공지능(A.I) 수준 측정을 위한 파일럿 프로젝트를 수행

(2018년 12월, 한국정보화진흥원 미래전략센터)

- 하지만 수준 측정을 위한 지표의 한계와 데이터 및 거버넌스의 부재로 우리나라 실정을 반영한

인공지능 수준 측정의 어려움에 직면

따라서 ① 어떤 지표가 우리나라 A.I 현황을 객관적으로 나타낼 수 있으며, ② 지표별 결과를

어떻게 해석하면 좋을지에 대한 과제 해결 필요

우리나라 인공지능 수준 조사 수행의 한계

지표의 한계

- (언어, 음성인식 분야 지표의 한계) 기존 스탠포드 A.I Index의 언어, 음성인식 분야를

측정하는 지표는 영어를 중심으로 설계, 측정

- (양적 활동량 지표 vs. 질적 활동량 지표) A.I 분야 수준 측정을 위해 양적 데이터를

확인해야 하는지, 질적 데이터를 고려해야 하는지에 대한 고민

- (분야별, 기술별 전문적인 측정 지표) 우리나라 인공지능 현황을 반영한 분야별, 기술별

전문적 수준을 측정하는 지표의 부재

데이터 및

거버넌스 부재

- (수준 측정을 위한 데이터 부재) 광범위하게 사용할 수 있는 공개 데이터 셋 부재

- (데이터 수집을 위한 플랫폼 부족) 공신력 있고 지속적인 경진대회 등의 부재로 A.I 수준

파악의 어려움

- (관련 생태계 측정을 위한 지표 부재) 교육, 일자리 등 A.I 관련 생태계를 측정할 수 있는

지표 부재

과제 내용

우리나라 A.I현황을

객관적으로 나타낼 수

있는 지표 발굴

- 핵심 분야를 측정할 만한 데이터가 있지만, 데이터의 대표성 부족

(예. 언어 - 엑소브레인 API 데이터 / 이미지 – DeepView API 데이터 등)

- 국가 간 수준 비교를 위해 글로벌 지표와 관련 데이터 활용 문제

- 정부, 산업, 경제, 사회 등 국가 사회 각 분야의 인공지능 수준을 종합적, 포괄적으로

측정할 수 있는 방안

데이터 분석에

따른 결과 해석

- (지표 실적이 해당 분야의 우리나라 A.I 수준을 대표할 수 있는지 여부

(예. 특정 기업, 개인의 우수한 성과가 우리나라 전체 수준을 대표할 수 있는가?)

- 지표 실적에 대한 해석의 범위와 깊이의 수준

- 측정된 결과를 정부 정책 및 전략에 활용하는 방법

3 우리나라 인공지능 지표 개발을 위한 전문가 토론

우리나라 A.I 분야 수준 측정을 위해 다양한 분야 전문가들이 지표 개발에 대한 의견 및

우리나라 특성을 반영할 수 있는 신규 지표 제시

- (A.I 일반) 우리나라 A.I 분야 학계 연구 동향 및 인식 변화, 스타트업 현황 등을 소개하고, A.I

분야 활동성을 살펴볼 수 있는 지표 제안

▶ 참여 전문가 : 신경식 교수(이화여대), 안현철 교수(국민대), 임일 교수(연세대), 조근식 교수(인하대)

- (기술/산업) A.I 소프트웨어, 자연어 처리(NLP), 기계독해 등의 분야에서 우리나라 특성을

반영한 대체 지표 및 신규 지표 설계시 유의사항 논의

▶ 참여 전문가 : 정재은 교수(중앙대), 박충식 교수(유원대), 김학수 교수(강원대), 이주열 위윈(LG CNS)

- (공공/정책) 우리나라 A.I 수준 측정 결과를 공공, 산업, 학계 등 다방면에서 활용하고, 실효성

있는 정책 수립에 활용하기 위한 주안점 등 제시

▶ 참여 전문가 : 박원재 본부장(한국정보화진흥원)

< 세미나 전문가 토론 >

SPECIAL REPORT 2019-5 | 2019.04.26.

87


◆ 양적 수준 측정을 넘어 질적, 지표별 성격을 고려한 지표 필요 ◆ 수준 측정을 위한 데이터, 플랫폼 등 부재, 지표 이용자 중심의 지표 설계 필요

“지표가 높을수록 좋다는 것이 기본적인 관점

이지만, 꼭 그렇지만은 않을 수도 있으며,

지표의 성격 고려가 필요”

- 연세대학교 임일 교수 -

“우리나라는 A.I 관련 활동량, 산업 현황, 언론

기사 등 현황을 파악할 수 있는 생태계가 부재”

- 인하대학교 조근식 교수 -

“ 2018년 기준 A.I 출판 논문의 수는 증가했

지만 전 세계 논문의 3%에 불과하며, 우리

나라 산업계 역량에 비해 낮은 수준”

- 국민대학교 안현철 교수 -

(학계) 출판 논문 수 같이 양적 측면에 대한 측정뿐만 아니라 A.I 분야 질적 우수성 측정을

위한 지표 및 수준진단 필요

- 2018년 스탠포드 A.I 인덱스에서도 ‘논문의 피인용 지수’, ‘공신력있는 컨퍼런스 투고 및

채택률’ 등의 기준을 신설해 질적 수준에 대한 진단을 시작

- 대학뿐만 아니라 사교육에서도 A.I 관련 과목 수강 현황이 증가할 만큼 수요가 높은 것으로

판단되나 절대적 수치는 부족한 상황이며, 관련 수요를 탄력적으로 수용할 수 없는 공급(학교

등)상 문제 존재

- 하지만 A.I, 머신러닝 관련 강의 참석자가 많다고 해서 꼭 성공적인 결과를 가져오는 것만은

아니며, 지표의 성격을 고려한 설계 필요

(스타트업) 스타트업도 엑셀레이터, 유니콘 등 기업가치와 종류에 따라 다앙하게 분류되므로

그룹별 성장을 볼 수 있는 지표 설계가 필요

※ ‘18년 우리나라 A.I 수준 결과를 보면 특정 스타트업에 투자가 과중되었는데, 이는 상장된 안전한

스타트업에 ‘주식’의 개념처럼 투자한 것으로 진정한 투자로 보기엔 무리

- 스타트업 관련 지표 발굴 시 해당 지표의 결과가 정책 입안 등 의미 있는 결과로 연결될 수

있도록 속성을 찾아 지표화하는 것이 중요

※ 전문가들은 공통적으로 지표를 설계하기 전 지표의 활동성 및 소비자(지표 이용자)를 염두해둔

지표 설계가 필요하다고 강조

* 예를 들어 스타트업에 관해서도 다양한 측면(규모, 투자 등)이 있는데 특정 목적(중소기업 양성, A.I

시스템 지원 등)을 가지고 지표를 선택적으로 설계하거나, 분석이 필요한 지표를 설계하는 것이

필요하다고 강조

- 스타트업 외 대기업이나 중소기업도 A.I에 많은 투자를 하는 만큼, 기존 기업의 투자 비용이나,

기업의 A.I 도입 목적 등을 살펴보는 것도 필요

(인식) 과학에 대한 연구는 사람들의 인식에 영향을 받기 때문에 A.I의 장기적 방향을

살펴보기 위해 ‘인식’에 대한 수준 측정은 중요

- 기본적으로 전문가 설문조사를 통해 인식을 조사할 수도 있겠지만 인공지능 관련 보급률,

도입률 등 정량적 데이터 측정도 필요

- A.I 인식에 관한 정량화된 데이터를 수집하기 위해서는 신뢰할 수 있는 데이터를 지속적으로

수집할 수 있는 거버넌스가 필요

SPECIAL REPORT 2019-5 | 2019.04.26.

109


◆ 우수한 모델 개발을 위한 인프라 및 이를 측정할 수 있는 지표 필요

“누구나 자유롭게 오픈소스 SW를 공개하기

위한 문화적, 산업적 환경 조성 필요”

- 중앙대학교 정재은 교수 -

“언어 모델만 가지고 자연어 이해 수준을 평가

하는 것에는 한계가 존재, 구글은 버트(BERT)

라는 A.I 언어모델을 만들었는데 우리나라

에는 그런 모델을 만들 수 있는 인프라가 자체

가 부족”

- 강원대학교 김학수 교수 -

“리카이푸2)가 A.I는 발견의 시대가 아니라 실행

의 시대라고 했듯, 이미 발견은 끝났고 누가 더

잘 실행하고 사용할 수 있을 만한 수준의 A.I

서비스를 만드느냐가 중요”

- LG CNS 이주열 위원 -

- (오픈소스 SW) 오픈소스 SW 활동량 추이 확인을 위해 깃허브의 ‘커밋(commit)’ 횟수를 측정할

수 있는 지표 제안

※ 커밋 횟수를 통해 해당 프로젝트가 얼마나 활발한지 확인 가능

- 더불어, 우리나라 오픈소스 SW 측정을 위해서는 깃허브 뿐만 아니라 NIA의 ‘A.I-Hub’와 같은

국내 오픈소스 채널도 함께 고려할 필요

- (기계 독해) 한국어 학습 데이터 ‘KorQuAD’는 A.I 모델이 한국어를 얼마나 잘 이해하는지

확인할 수 있다는 점에서 기계 독해분야를 측정하는 지표로 활용 가능하지만, 전체 NLP 수준을

대표하기엔 한계 존재

- 학계적 연구 수준 뿐만 아니라 NLP를 활용해 실제 실행 가능한 서비스 개발 현황 등을 측정할 수

있는 지표 구상도 중요

- 또한, NLP관련 서비스 개발을 위한 인프라에 대한 측정 필요

* 예를 들어, 실제 활용가능한 GPU의 개수, 관련 데이터가 얼마나 잘 오픈되어 있고, 얼마나 잘 다운로드

되는지 등

- (자연어 처리) 우리나라 NLP 수준을 측정하기 위해서는 ① 개별 언어의 특성을 측정할 수 있는

지표(예. 말뭉치 개수 등)와 ② 글로벌 모델을 만들기 위한 인프라 수준(예. A.I 언어모델 개발을 위한

클라우드 컴퓨팅 개수 등)을 측정할 수 있는 지표의 조합이 필요

2) 중국의 대표적인 벤처 사업가이자 중국 A.I 전문가로 애플 연구개발 임원, 마이크로소프트 인터랙티브 서비스 부문 부사장 등을 거쳐

구글차이나 사장을 역임하였으며 현 창신공장(创新工场) 최고경영자

SPECIAL REPORT 2019-5 | 2019.04.26.

1211


◆ A.I의 사회적 파급력 등을 파악하고 공공성을 반영할 수 있는 지표 필요

“A.I의 창의성, 설명가능 XAI 등 A.I의 공공성과

윤리성을 파악할 수 있는 지표도 필요”

- 유원대학교 박충식 교수 -

“수준 측정 결과가 정부의 정책 방향을 결정

하거나, 개발자, 연구자 등이 결과를 활용할 수

있도록 적절한 지표 설계 필요”

- 한국정보화진흥원 박원재 본부장 -

- 인공지능의 사회적 영향력 및 윤리적 문제 등이 이슈가 되는 만큼 이러한 부분을 파악할 수 있는

지표 설계 필요

- 또한, 우리나라의 인공지능 현황을 잘 이해하기 위해서는 기술뿐만 아니라 사회 전반을 포괄할 수

있는 지표가 필요

- 우리나라 인공지능 수준을 측정하는 것만큼이나 세계적 수준을 살펴보는 것 또한 중요하므로,

글로벌 지표와 한국형 지표 간의 적절한 균형이 필요

시사점 및 향후 인공지능(A.I) 지표 개발 방향

➊ 우리나라 고유의 인공지능 수준을 확인할 수 있는 지표뿐만 아니라 글로벌 수준 비교를

위한 표준화, 통일된 지표에 대한 요구 대응 필요

(향후 방향) 미국, 중국, UN 등 A.I 수준을 측정한 글로벌 연구의 지표와 방법론을 분석하여

글로벌 수준 비교를 위한 공통 지표 설계

➋ 일부 스탠포드 A.I Index 지표는 우리나라에서도 측정의 의미가 있으나 기초 연구 분야,

언어의 차이가 있는 자연어처리 등의 경우 대체 지표 필요

(향후 방향) 우리나라 A.I 발전의 특성을 보여 줄 수 있는 고유 지표를 발굴하여 종합적(글로벌

수준 확인 + 우리나라 A.I 분야 수준 진단) 결과 제시

➌ 지속적인 인공지능 분야 수준 파악을 위한 거버넌스 구축 및 안전하고 신뢰할 수 있는

데이터 수집을 위한 플랫폼의 필요성 강조

(향후 방향) 산·학·연 전문가로 구성된 거버넌스를 구축하여 분야별 실효성 있는 결과 도출을

위한 현장의 의견을 반영하고, A.I 수준 측정 결과 및 지표 개선 방안 등에 대해 지속 논의

➍ 매년 A.I 지표를 업데이트하는 스탠포드 A.I Index와 같이 우리나라 A.I 지표 또한 연구

동향 및 발전 상황을 반영한 개선 필요

(향후 방향) 정기적 연구 및 조사를 통해 우리나라 인공지능 발전 패러다임 변화와 발전 현황을

모니터링 할 수 있는 가이드가 될 것으로 기대

➎ 인공지능 수준 조사 결과가 기업, 산업, 학계 등의 실질적 지원으로 이어지기 위한 방안 필요

(향후 방향) 조사 결과를 적극적으로 홍보하고, 관련 결과를 바탕으로 정책보고서 등을

발간하여 관련 정책 수립 지원

1. 「SPECIAL REPORT」는 글로벌 미래전략과 디지털 혁신 동향을 시의성있게 분석한 보고서 입니다.

2. 본 보고서는 방송통신발전기금으로 수행한 정보통신·방송 연구개발 사업의 결과물입니다.

3. 본 보고서 내용의 무단 전재를 금하며, 가공·인용할 때는 반드시 출처를 「한국정보화진흥원(NIA)」이라고

밝혀 주시기 바랍니다.

4. 본 보고서의 내용은 한국정보화진흥원의 공식 견해와 다를 수 있습니다.

객관적인 인공지능(A.I) 수준 측정을 위한 A.I 지표 개발 방향Ž˜셜... · 데이터 기반 우리나라 A.I 분야 수준 조사 수행 개요 - 스탠포드 A.I

Documents