2012. 1 정보과학회지 75 Cognitive Computing I: Multisensory Perceptual Intelligence - 실세계 지각행동 지능 서울대학교 장 병 탁* 한국연구재단 여 무 송* 1. 인지정보기술과 인지컴퓨팅 1) 인지컴퓨팅(cognitive computing)은 사람의 인지 능력 을 모사하는 정보처리기술이다. 사람의 인지 기능은 지 각, 행동, 언어, 시각, 기억, 학습, 추론, 의사결정 등을 포함하며 따라서 인지컴퓨팅은 환경 인식과 행동, 시 각 및 언어 처리 능력, 연상 기억, 유연한 학습과 추론, 안정적인 의사결정 등을 수행하는 정보처리기술로 정 의될 수 있다. 인지정보기술은 인지과학(cognitive science)과 정보기 술(information technology)의 융합기술로서 인지정보시 스템(cognitive information systems)을 다룬다. 인지정보 시스템은 사람이나 동물과 같은 자연계, 로봇과 컴퓨 터와 같은 인공물을 모두 포함한다. 사람의 인지정보처 리 원리를 기반으로 인지정보처리 기계를 창조하거나, 반대로 정보기술을 이용하여 사람의 인지정보처리체계 를 탐구할 수도 있다. 전자는 컴퓨터공학과 인공지능 연구의 주 관심사이며 후자는 주로 인지과학이나 계산 신경과학 연구의 영역에 속한다. 인지컴퓨팅은 전자에 속하는 기술이다. 그러나 후자의 기초 연구를 위한 새 로운 중요한 도구 역할을 한다[1]. 전통적인 정보시스템과 달리 인지정보시스템은 센서 로 환경을 지각하고 환경에 대해서 행동하며 환경과 상 호작용한다는 점에서 차이가 있다. 따라서 환경으로부 터 분리되어 부호화된 독립적인 정보를 처리하는 데에 초점을 맞춘 기존의 컴퓨팅과는 달리, 인지컴퓨팅은 환 경과 일체를 이루는 살아있는 동적인 시스템으로서의 인지정보시스템에서의 컴퓨팅을 다룬다. 다시 한번 요약하여 설명하자면, 인지정보시스템은 * 종신회원 † 본 연구는 한국연구재단 전자정보융합과학단 기획과제에서 지원 되었음. 다음과 같은 특성을 갖는다. ∙환경과 상호작용하는 열린 시스템(openendedness) ∙다양한 센서로 환경을 지각(perception) ∙환경에 영향을 주는 행동을 생성(action) 이러한 특성으로 인해서 인지정보시스템은 다음과 같 은 새로운 컴퓨팅 능력 즉 인지컴퓨팅 능력을 필요로 한다 . ∙실시간 동적 정보처리 능력(dynamics) ∙다양한 센서데이터 통합 능력(integration) ∙순차적 행동패턴 생성 능력(generation) 사람의 정보처리를 모사하는 관점에서 인지컴퓨팅은 인지과학의 연구 성과를 반영한다. 따라서 인지컴퓨팅 은 심리학과 인공지능뿐만 아니라 신경과학, 철학, 언 어학, 교육학 등과도 관련되는 학제적인 융합연구 분 야이다(그림 1). 전통적인 인지과학에서는 사람의 마음 을 디지털 컴퓨터에 비유하여 기호조작에 의한 형식적 인 정보처리 관점에서 연구하였다. 그러나 이러한 접근 방법에 대한 한계가 드러남에 따라서 최근 체화된 인지 (embodied cognition)에 대한 중요성이 부각되고 있다. 즉 인지 기능을 몸과 분리하여 형식적인 체계로 연구할 것이 아니라 몸에 체화된 시스템으로 이해해야 한다는 입장이다. 체화된 인지 입장을 대변하는 연구자들로는 언어학자인 Lakhoff와 Johnson, 철학자인 Clark, 신경과 학자인 Damasio와 Fuster, 발달심리학자인 Tomasello, 인지심리학자인 Barsalou 등이 있다. 체화된 인지 입장 에서는 몸과 마음, 뇌와 인지, 지각과 행동이 상호작용 하는 동적 시스템(dynamic system)으로 본다. 2010년 국 제인지과학회 학술대회(CogSci 2010)에서도 학술대회 주제를 Cognition in Flux 즉 Dynamic Cognition로 정 하여 체화된 동적인 시스템으로서의 인지의 중요성이 강조되었다. 특집원고 II
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
하고 미래유망 연구주제를 발굴하는 것을 목표로 한다. 전체 3부로 나뉘어 세 편의 글로 구성되어 있다. 제1부는 지각과 행동, 제2부는 시각과 언어, 제3부는 의사결
정과 추론을 주제로 다룬다. 각각의 글에서는 먼저 각
주제에 대한 연구의 역사와 기술 동향을 개괄한 다음
구체적인 국내외 연구사례들을 살펴본다. 이어서 미래
에 유망한 연구개발 주제를 제안하고 그 과학기술적 및
사회경제적 기여도에 대해 토론한다.제1부에서는 인지정보처리에서 지각과 행동 지능을
다룬다. 체화된 인지 연구의 배경과 구체적인 사례들로
서 인지로봇(cognitive robots) 관련 국내외 연구동향을
살펴본다. 피드백의 중요성을 강조한 Wiener의 사이버
네틱스 개념과 지각과 행동의 동적 결합의 중요성을 강
조한 Fuster의 Perception-Action Cycle 이론에 기반한
지각행동 지능엔진으로서 Wiener-Fuster Machine을 제
안한다.제2부에서는 시각과 언어 능력을 모사하는 인지컴퓨
팅 기술을 다룬다. 컴퓨터 비젼과 자연언어처리 분야의
연구 배경과 사람의 시각 및 언어 처리에 대한 뇌인지
과학의 최근 연구 동향을 살펴본다. 연구개발 관점에서
는 기계학습 기술을 이용한 데이터기반의 시각언어기술
을 중심으로 국내외 연구사례를 살펴본다. 이어서 Piaget 의 인지발달 이론에 기반하여 환경과의 상호작용으로부
터 시각과 언어 능력을 스스로 발달시켜 나가는 Piaget
Machine을 제안한다.제3부에서는 빠르고 안정된 예측과 의사결정을 수행
하는 Brainlike Cognitive Computing 기술을 다룬다. 전통적인 인공지능 모델과 새로운 뇌과학 기반의 컴퓨팅
모델을 살펴본 후 차세대 인간수준의 인공지능(human- level artificial intelligence)을 실현하기 위한 뇌인지컴퓨
팅 모델에 대한 최근 연구 동향을 조사한다. 이를 기반
으로 Bayesian Brain 모델에 기반하여 Dynamic Predic-tion을 수행하는 예측기계로서 Bayes-Markov Machine을
제안한다.
2. 지각행동지능 연구배경
환경에 놓여서 지각과 행동을 수행하는 인지시스템에
대한 인지과학과 인공지능 연구의 배경을 역사적인 관
점에서 살펴본다. 먼저 고전적인 인지이론인 계산주의/인지주의 그리고 연결주의에 대한 연구 배경을 살펴보
고, 이들과 기호론적 인공지능 및 인공신경망 연구에
대해서 논의한다. 이어서 생태학적 발달이론과 체화된
인지이론에 대해서 논한다. 이러한 최근 이론들이 인지
로보틱스 분야에 미친 영향을 살펴보고 인지로봇 연구
의 최근 동향을 살펴본다.
2.1 고전적인 인지이론과 인공지능
인지과학은 마음(mind)에 관한 연구이며 전통적으로
마음이 컴퓨터와 같이 동작한다고 생각하였다. 이러한
계산주의(computationalism) 또는 인지주의(cognitivism) 는 최근까지도 인지과학의 주류를 이루어 왔다. 계산주
의적인 입장의 인지과학의 대변인은 Fodor, Pylyshyn, Chomsky를 들 수 있다. 이들 고전적인 인지이론은 20세기 중반을 풍미하던 행동주의(behaviorism) 심리학에
대한 반발에서 출발하였으며 인지시스템의 지각과 행동
에 대해서는 별로 관심을 갖지 않는다. 계산주의 패러다
임은 컴퓨터과학의 기반이 된 논리 및 기호 기반의 형
식주의적인 정보처리 방식과 밀접히 관련되어 있다. 인공지능 연구도 1950년대의 이러한 형식주의적 맥락 속
에서 출발하였다.
기호주의 인공지능
기호를 사용하여 정보를 표현하고 이를 알고리즘에 의
해 조작함으로써 계산을 수행할 수 있다는 개념은 1930 년대에 정립되었다[2]. 수행할 프로그램을 메모리에 저
장하고 이를 순차적으로 호출하여 자동으로 계산을 수
행하는 프로그램 저장방식의 컴퓨터의 개념은 1940년대에 제안되었다(von Neumann). 이렇게 컴퓨터를 이용
하여 사람의 지능을 흉내낼 수 있다는 아이디어는 1950~
2012. 1 정보과학회지 77
1970년을 통하여 기호논리에 기반한 표상을 조작함으
로써 인간의 사고 작용을 모사하는 기호주의 인공지능
시스템으로 발전하였다[2-5]. 또한 1970년대와 80년대
를 통하여 규칙기반의 전문가 시스템을 통하여 산업적
으로 응용되기에 이르렀다. 그러나 현상학 철학자 Dr-eyfus는 “What Computers Can’t Do” (1972)와 “What Computers Still Can’t Do” (1992)에서 기능주의(functi-onalism)에 기반한 기호론적 접근 방식의 인공지능에 대
한 한계를 언급하였다[6]. 철학자 Searle도 중국어 방
(Chinese room) 논쟁을 통해서 기호기반의 고전적인 인
공지능으로는 인간의 지능을 제대로 모사할 수 없다고
주장하였다[7]. 이러한 지적에도 불구하고 기호적 인공
지능은 기술적으로 계속 발전하였다. 그 이유는 기호 조
작 방식은 디지털 컴퓨터 아키텍쳐 및 컴퓨터 프로그래
밍 방식의 개념과 잘 일치하였기 때문이다.
연결주의 인공지능
1980년대 중반에 Parallel Distributed Processing (PDP) 모델이 나오면서 새로운 대안으로 연결주의(connection-ism)적인 정보처리모델이 마음을 연구하는 새로운 패
러다임으로 등장하였다[8]. 1990년대 이후의 인지과학
연구는 연결주의의 영향을 많이 받았다. 특히 발달과
지각 연구에 있어서는 계산주의 보다는 연결주의적 인
지모델들이 설득력이 더욱 있는 것으로 보인다. 연결주
의적 정보처리 모델은 많은 수의 뉴런들이 서로 연결되
어 망을 구성함으로써 신경망 형태의 기억 구조를 형
성하고 학습을 통해서 자기조직하는 특성이 있다. 1986 년에 다층신경망 구조를 데이터로부터 학습을 통해서
자동으로 설계할 수 있는 오류역전파 알고리즘이 개발
됨으로써 신경망 모델은 다양한 문제에 급속도로 적용
되기 시작하였다. 특히 기호기반의 인공지능이 약한 잡
음섞인 데이터를 처리한다든지 학습을 통해서 시스템
의 성능이 계속 향상될 수 있는 특성은 특히 인지과학
자들에게 새로운 정보처리 패러다임으로서의 흥미를 끌
었다. 신경망 연구는 통계물리학(Hopfield), 계산학습이
론(Valiant), 통계학습이론(Vapnik)과 결합하여 기계학습
연구로 발전하였다. 또한 최근에는 베이지안망과 같은
확률그래프모델 및 비모수 베이지안 모델 등 통계학
뿐만 아니라 다시 뇌의 신경망 구조를 모사한 Deep Neural Networks 구조에 대한 연구가 활발히 진행되고
있다[9].
2.2 생태학적 발달이론
인지시스템에서 지각과 행동의 중요성을 강조하는 입
장의 이론 중 하나는 생태 심리학(ecological psychology)
이다. James J. Gibson의 생태학적 발달 이론은 그 대표
적인 예로서 1960년대와 1970년대에 제시되었다[10]. 생태 심리학은 실험실 내에서의 인공 환경에서의 실험
에 반대하며 실세계에서의 행동 연구를 강조한다. Gibson 은 동물과 사람은 환경과 시스템적 생태학적인 관계에
있으며, 행동을 적절히 설명하기 위해서는 행동이 일어
난 환경 즉 니치, 특히 개체와 환경을 인식론적으로 연
결하는 정보를 연구하는 것을 중시한다. Gibson은 특
히 환경과 문맥의 중요성을 강조하며 내부적인 감각 보
다는 외부 환경으로부터 얻는 정보가 지각의 기반이 된
다고 본다.발달과정에서 지각은 동물이나 사람으로 하여금 환
경에 적응하도록 할 수 있기 때문에 중요하다. 아이들
은 일상 행동에서 사용할 수 있는 사물, 사건, 틀을 기
술하는 정보를 찾는 것을 학습하며 따라서 사람은 필
요에 의해서 학습한다. 아이들은 세상에서 살아남고 움
직이는데 필요한 정보를 수집하는 정보의 수렵채집인
(hunter-gatherer)이다. 생태학적 발달 이론에 의하면 발
달은 환경적인 적합성(affordance)과 이를 지각하는 동
기가 부여된 사람간의 복잡한 상호작용에 의해서 추
진된다. Gibson은 4개의 주요 인간행동 발달 요소를 찾
아내었다. 이는 (1) 주체성, (2) 전향성, (3) 질서지향성, (4) 유연성이다. 행동은 (1) 자기통제에 의해서 의도적
으로 하는 것이며, (2) 예상하고 기획하며 미래지향적
으로 수행하며, (3) 세상에서 뜻이 통하는 질서, 규칙성, 패턴을 찾아가는 과정이며, (4) 지각은 새로운 환경이
[14] Lakoff, G. & Johnson, M., Philosophy in the Flesh: The Embodied Mind and Its Challenge to Western Th-ought, Basic Books, 1999.
[15] Prinz, W. & Sanders, A.-F. (Eds.), Modes of linkage between perception and action, Cognition and Motor Processes, Springer, pp.185-193, 1984.
[16] Rizzolatti, G., & Craighero, L., The mirror-neuron sys-tem, Annual Review of Neuroscience, 27:169-192, 2004.
[17] Trommershaeuser, J., Koerding, K., & Landy, M. S. (Eds.), Sensory Cue Integration, Oxford University Press, 2011.
[18] Zhang, B.-T., Teaching an agent by playing a multimodal
memory game: challenges for machine learners and human teachers, AAAI 2009 Spring Symposium: Agents that Learn from Human Teachers, pp.144-149, 2009.
[19] Damasio, A., The Feeling of What Happens: Body and Emotion in the Making of Consciousness, Harvest Books, 2000.
[20] Tomasello, M., The Cultural Origins of Human Cog-nition, Harvard University Press, 2000.
[21] Gazzaniga, M.S., Ivry, R.B., & Mangun, G.R. Cognitive Neuroscience: The Biology of the Mind (3rd Ed.), Norton, 2009.
[22] Chatila, R., Toward cognitive robot companions, Proc. of the 3rd ACM/IEEE Int. Conf. on Human Robot In-teraction (HRI-08), pp.391-392, 2008.
[23] Christensen, H. I., Kruijff, G. M., & Wyatt, J. L. (Eds.), Cognitive Systems, Springer-Verlag, 2010.
[24] Nilsson, N. J., Shakey the Robot, Technical Report 323, Stanford Research Institute AI Center, 1984.
[25] Brooks, R. A., Elephants don't play chess, Robotics and Autonomous Systems, 6:3-15, 1990.
[26] Steels, L. & Brooks, R. (Eds.), The Artificial Life Route to Artificial Intelligence: Building Embodied, Situated Agents, Lawrence Erlbaum, 1995.
[27] Pfeifer, R. & Bongard, J., How the body shapes the way we think, MIT Press, 2007.
[28] Ritter, H. & Sagerer, G., Excellence Cluster “Cognitive Interaction Technology”-Cognition as a Basis for Natural Interaction with Technical Systems, it Information Te-chnology, 51:112-118, 2009.
[29] Sendhoff, B., Körner, E., & Sporns, S. (Eds.), Creating Brain-Like Intelligence: From Basic Principles to Complex Intelligent Systems, Springer-Verlag, 2009.
[30] Cousins, S., ROS on the PR2, IEEE Robotics & Au-tomation Magazine, 17(3):23-25, 2010.
[31] Beetz, M., Buss, M., Wollherr, D. (Eds.), Cognitive te-chnical systems-“what is the role of artificial intelli-gence?”, Proc. 30th German Conference on Artificial Intelligence, pp.19-42, 2007.
[32] Rusu, B., Gerkey, B., & Beetz, M., Robots in the kit-chen: Exploiting ubiquitous sensing and actuation, Ro-botics and Autonomous Systems, 56(10):844-856, 2008.
[33] Lee, C.-Y., Kim, J., Kim, E.-S., Amaro, K.R., Beetz, M. & Zhang, B.-T., Learning and generation of human mo-tion using Boltzmann machines (in Korean), Proc. of 2011 Fall Conf. of Korean Institute of Information Scientists and Engineers (KIISE), pp.357-360, 2011.
2012. 1 정보과학회지 87
[34] Pomerleau, D.A., ALVINN: An autonomous land vehicle in a neural network, Advances in Neural Information Processing Systems 1, 1989.
[35] Thrun, S., A personal account of the development of Stanley, the robot that won the DARPA Grand Chal-lenge, AI Magazine, 27(4):69-82, 2006.
[36] Urmson, C., Anhalt, J., Bagnell, D., et al., & Ferguson, D., Autonomous driving in urban environments: Boss and the Urban Challenge, Special Issue on the 2007 DARPA Urban Challenge, Journal of Field Robotics, 25(8):425-466, 2008.
[37] Dean, T. & Bonasso, R.P., 1992 AAAI Robot Exhibition and Competition, AI Magazine, 14(1):35-48, 1993.
[38] Buhmann, J., Burgard, W., Cremers, A. B., Fox, D., Hofmann, T., Schneider, F. E., Strikos, J., & Thrun, S., The Mobile Robot RHINO, AI Magazine, 16(2):31-38, 1995.
[39] Burgard, W., Cremers, A.B., Fox, D., Haehnel, D., La-kemeyer G., Schulz, D., Steiner, W., & Thrun, S., The interactive museum tour-guide robot, Proc. of the Fi-fteenth National Conference on Artificial Intelligence (AAAI-98), pp.11-18, 1998.
[40] Yi, S.-J., Zhang, B.-T., & Lee, D.-D., Online learning of uneven terrain for humanoid bipedal walking, Pro-ceedings of 24th AAAI Conference on Artificial Intel-ligence (AAAI 2010), pp.1639-1644, 2010.
[41] Wiener, N., Cybernetics or Control and Communication in the Animal and the Machine, Wiley, 1948.
[42] Fuster, J., Cortex and Mind: Unifying Cognition, Oxford University Press, 2005.
장 병 탁
1986 서울대 컴퓨터공학과 학사
1988 서울대 컴퓨터공학과 석사
1992 독일 Bonn 대학교 컴퓨터과학 박사
1992~1995 독일국립정보기술연구소
(GMD, 현 Fraunhofer Institutes) 연구원
1997~현재 서울대 컴퓨터공학부 교수 및 인지과학, 뇌과학, 생물정보학 협동과정 겸임교수
2003~2004 MIT 인공지능연구소(CSAIL) 및 뇌인지과학과(BCS) 객원
교수
2007~2008 삼성종합기술연구원(SAIT) 객원교수
현재 서울대 인지과학협동과정 전공주임, 한국정보과학회 컴퓨터지능
소사이어티 회장, IEEE Transactions on Evolutionary Computation 및 BioSystems의 Associate Editor