제12권 2호 2017년 12월 73 딥러닝 기반 이미지 자동인식 기술을 활용한 사무집기 자동인식과 정보관리 시스템과의 연동방안 Approach to Interworking between the Deep Learning-based Object Detection of Office Furniture and Appliances and Information Management System 김 진 성* 송 재 열** 김 하 얀* 이 진 국*** Jin-Sung Kim Jae-Yeol Song Ha-Yan Kim Jin-Kook Lee Abstract This paper aims to propose an approach to auto-recognition of office objects using non-professionally taken indoor pictures based on the deep learning technique. Recently, artificial intelligence(AI) has been applied in broad fields of industry. Especially, the deep learning-based image recognition and object detection technologies are attaining a high level of accuracy close to human capability. In addition, its source technology has been open to the public, allowing people to use it according to their own purpose. According to the AI trend, deep-learning also has been actively studied in the field of building technology. This paper describes an approach to utilizing image recognition at the phase of facility management (FM) and the process for verifying the possibility of adapting up-to-date technologies in FM fields. The procedure of this study includes data collection, data preprocessing, deep learning-based model training and office indoor image auto-recognition test for detecting office objects. The target office objects include office desks, office chairs and electronic devices, which are most commonly seen in the office space. Over 200 indoor images including target office objects are collected from the domestic office furniture firms‘ catalog for model training and testing. The results of test with new indoor image are analyzed as the factor of accuracy and similarity of detected office objects. This paper also depicts the potential to apply the auto-recognition technique with BIM(Building Information Modeling) for supporting CAFM (Computer-Aided Facility Management). 키워드 : 딥러닝, 시설물 유지관리, 이미지인식, 사물인식, 정보관리시스템 Keywords : Deep learning, Facility management, Image recognition, Information management system, Object detection 1. 서론 1.1 연구의 배경과 목적 1) 인간의 학습방식을 전자적으로 구현하여 컴퓨터가 사람처럼 학습하고 행동하는 인공지능(AI: Artificial Intelligence)은 딥러닝(Deep Learning)의 등장과 그 응용으로 다양한 분야에서 눈에 띄는 성과를 이루고 있다. 과거의 인공지능의 목적이 주어진 프로세스의 자동화 및 일정 단계의 효율성 향상에 제한되었다면 * 한양대 실내건축디자인학과 석사과정 ** 한양대 실내건축디자인학과 학사과정 ***한양대 실내건축디자인학과 조교수, 공학 박사 본 연구는 국토교통부 도시건축 연구개발사업의 연구비지원 (17AUDP-B127891-01)에 의해 수행되었습니다. 현재 논의되고 있는 인공지능은 컴퓨터가 스스로 학 습하여 인간처럼 생각하고 행동하는 시스템의 구축 을 목표로 하고 있다. 1) 딥러닝의 다양한 응용 연구와 방대한 양의 정보를 처리할 수 있는 향상된 컴퓨터 하드웨어 파워를 토대로 기보 없이 스스로 바둑을 학 습한 알파고제로와 같은 진일보한 인공지능이 개발 되고 있다. 2) 또한 딥러닝 학습을 위한 프레임워크와 라이브러리가 제공되어 의료, 자율주행, 제조업, 금 융, 유통 등의 다양한 분야에서 그 응용 방안을 모색 하고 있다. 이에 본 연구의 궁극적인 목적은 1) 김병운(2016), “인공지능 동향분석과 국가차원 정책제언”, 정보화 적챙 23(1), p.76. 2) D, Silver, et al(2017). “Mastering the game of go without human knowledge“. Nature, 550(7676), p. 359.
8
Embed
딥러닝 기반 이미지 자동인식 기술을 활용한 사무집기 자동인식과 정보관리 …repository.hanyang.ac.kr/bitstream/20.500.11754... · 키워드: 딥러닝,
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
제12권 2호 2017년 12월 73
딥러닝 기반 이미지 자동인식 기술을 활용한 사무집기 자동인식과
정보 리 시스템과의 연동방안
Approach to Interworking between the Deep Learning-based Object Detection of
Office Furniture and Appliances and Information Management System
김 진 성* 송 재 열** 김 하 얀* 이 진 국***
Jin-Sung Kim Jae-Yeol Song Ha-Yan Kim Jin-Kook Lee
Abstract
This paper aims to propose an approach to auto-recognition of office objects using non-professionally taken indoor
pictures based on the deep learning technique. Recently, artificial intelligence(AI) has been applied in broad fields of
industry. Especially, the deep learning-based image recognition and object detection technologies are attaining a high level
of accuracy close to human capability. In addition, its source technology has been open to the public, allowing people to
use it according to their own purpose. According to the AI trend, deep-learning also has been actively studied in the
field of building technology. This paper describes an approach to utilizing image recognition at the phase of facility
management (FM) and the process for verifying the possibility of adapting up-to-date technologies in FM fields. The
procedure of this study includes data collection, data preprocessing, deep learning-based model training and office indoor
image auto-recognition test for detecting office objects. The target office objects include office desks, office chairs and
electronic devices, which are most commonly seen in the office space. Over 200 indoor images including target office
objects are collected from the domestic office furniture firms‘ catalog for model training and testing. The results of test
with new indoor image are analyzed as the factor of accuracy and similarity of detected office objects. This paper also
depicts the potential to apply the auto-recognition technique with BIM(Building Information Modeling) for supporting
CAFM (Computer-Aided Facility Management).
키워드 : 딥러닝, 시설물 유지 리, 이미지인식, 사물인식, 정보 리시스템
Keywords : Deep learning, Facility management, Image recognition, Information management system, Object detection
1. 서론
1.1 연구의 배경과 목 1)
인간의 학습방식을 자 으로 구 하여 컴퓨터가
사람처럼 학습하고 행동하는 인공지능(AI: Artificial
Intelligence)은 딥러닝(Deep Learning)의 등장과 그
응용으로 다양한 분야에서 에 띄는 성과를 이루고
있다. 과거의 인공지능의 목 이 주어진 로세스의
자동화 일정 단계의 효율성 향상에 제한되었다면
* 한양 실내건축디자인학과 석사과정
** 한양 실내건축디자인학과 학사과정
***한양 실내건축디자인학과 조교수, 공학 박사본 연구는 국토교통부 도시건축 연구개발사업의 연구비지원
(17AUDP-B127891-01)에 의해 수행되었습니다.
재 논의되고 있는 인공지능은 컴퓨터가 스스로 학
습하여 인간처럼 생각하고 행동하는 시스템의 구축
을 목표로 하고 있다.1) 딥러닝의 다양한 응용 연구와
방 한 양의 정보를 처리할 수 있는 향상된 컴퓨터
하드웨어 워를 토 로 기보 없이 스스로 바둑을 학
습한 알 고제로와 같은 진일보한 인공지능이 개발
되고 있다.2) 한 딥러닝 학습을 한 임워크와
라이 러리가 제공되어 의료, 자율주행, 제조업,
융, 유통 등의 다양한 분야에서 그 응용 방안을 모색
하고 있다. 이에 본 연구의 궁극 인 목 은
1) 김병운(2016), “인공지능 동향분석과 국가차원 정책제언”, 정보화
챙 23(1), p.76.
2) D, Silver, et al(2017). “Mastering the game of go without human
knowledge“. Nature, 550(7676), p. 359.
74 한국퍼실리티매니지먼트학회논문집
AEC-FM(Architecture, Engineering, Construction
and Facility Management)분야에서의 딥러닝 응용
가능성을 살펴보고 그 활용 방안을 모색하는 것이다.
최근 BIM(건물정보모델링: Building Information
Modelling)의 도입을 통해 기설계단계부터 시설물
유지 리까지 단계에 걸쳐 건물 정보의 디지털화,
정보 리 시스템, 로세스의 자동화 등을 바탕으로
작업 효율성을 향상시켰다. 시설물 유지 리 분야에
서는 건축물의 데이터를 보다 효율 이고 통합 으
로 리하기 해 다양한 컴퓨 기술을 사용하여
CAFM(Computer Aided Facility Management) 시스
템을 극 으로 활용하고있다. 최근에는 더욱 효과
인 정보 리를 해 BIM의 활용방안이 연구되고
있다.3)
본 연구의 목 은 시설물 유지 리 분야에서 최신
컴퓨 기술인 딥러닝의 응용을 한 기 연구로서
주요 기술인 이미지기반 사물인식의 가능성과 활용
방안을 모색하는 것이다. 이를 해 오피스 이미지에
나타난 사무집기 학습 자동인식을 테스트하고 이
를 활용하여 시설물 유지 리를 한 정보 리 시스
템과의 연계 가능한 방안을 제안하 다.
1.2 연구의 방법 차
본 연구에서는 딥러닝 임워크인 구 텐서
로4)에서 제공하는 다양한 API와 이미지 인식 분
류 그리고 사물자동인식을 한 CNN(합성곱신경망:
Convolutional Neural Network) 구조5)와 Fatster
R-CNN Resnet6) 과 같은 오 소스 라이 러리를 활
용하여 학습 검증 그리고 추론 테스트를 진행하
다. 연구의 방법 차는 다음과 같다. 첫 번째, 오
피스의 사물의 이미지 인식 자동분류를 테스트하
고 그 결과 정확도를 확인하 다. 그 분류의 상은
표 이고 형태 특징이 상이한 의자와 책상을
상으로 한정하 다. 이미지 학습 분류 두 번째, 앞
선 연구를 확장하여 오피스 이미지 내의 사물자동인
식 학습을 테스트하고 결과를 확인하 다. 이미지 내
3) 고 환, 옥종호(2010). “BIM 기반 CAFM시스템 구축을 한 로세스 개발에 한 연구”, 한건축학회 논문집-계획계 26(5), p.
15.
4) 구 (2016), “An open-source software library for Machine Intelligence”, Retrieved November, 15, 2017, from
www.tensorflow.org/
5) A. Krizhevsky, et al.(2012). “ImageNet classification with deep
convolutional neural networks,” Proceedings Advances in
Neural Information Processing Systems 25, pp. 1090-1098.
6) S. Ren,et al(2015). “Faster R-CNN: Towards real-time object
detection with region proposal networks”. Advances in neural
information processing systems. pp.91-99.
사물의 자동인식에 필요한 추가 인 데이터 처리
과정을 진행하 다. 인식 상은 표 인 상
캐비닛, 자기기 등 인식하기 더 어려운 상으로
확장하 다. 새로운 이미지를 상으로 사물자동인
식 테스트를 진행하고 그 결과를 요약하 다. 세 번
째, 사물자동인식을 활용한 공간객체 심의 시설물
유지 리 정보 리시스템 연동 방안을 제시하 다.
그림 1은 본 연구의 차와 세부 방법에 한 다이어
그램을 나타낸다.
그림 1. 딥러닝 기반 이미지 자동인식기술과 시설물 유지 리 분야 응용 방안 모색을 한
연구 과정
2. 선행연구 고찰
2.1 딥러닝과 가용기술
인공지능의 개념은 1956년 다트머스 컨퍼런스에서
처음 사용되었으며 1980년 인공신경망의 한계를
뛰어넘을 수 있는 얕은(shallow) 이어에 한 연구
가 활발하게 진행되었다. 90년 를 지나면서 이어
를 활용하여 깊고(deep) 복잡한 구조를 구성함으로
써 다양한 딥러닝 모델들이 연구되었고 고성능 GPU
병렬처리 가능 등 하드웨어 성능의 향상으로 딥러
닝의 정확성 고도화 향상이 진되었다.7) 특히 이
미지 분류, 자연어 처리 상처리 등의 분야에서
기존의 알고리즘보다 진화된 성능으로 높은 정확도
와 빠른 처리 속도를 보인다.8)
7) 고 은, 심귀보(2017). “딥러닝을 이용한 객체 인식 검출 기술 동향”, 제어로 시스템학회지 23(3), p. 18.
8) 이승철 외. (2017). “딥러닝(Deep Learning)”, Journal of KSNVE
제12권 2호 2017년 12월 75
구 , 페이스북 바이두 등 로벌 IT 기업들은
이미지 인식기술을 이미지 정보화, 정보검색, 자료해
석 등 다분야에서 내외부 으로 활용하고 있다. 구
의 이미지 검색은 사용자가 원하는 이미지를 입력하
여 가장 유사한 이미지를 결과값으로 보여 으로써
련된 정보검색을 가능하게 하 다.9) 페이스북은
얼굴 인식 로그램 ‘딥 페이스’를 개발하여 사용자
가 올리는 사진의 얼굴인식을 통해 해당 이용자를 찾
아낼 수 있도록 하 다.10) 한 바이두는 모바일을
활용한 객체인식 시스템 ‘바이두 아이’를 개발하여
사람의 이미지 인식 에러율 (5.1%)에 근 한 만큼의
에러율(5.98%)까지 정확성을 향상시켰다. 이와 같이
이미지 자동인식기술을 생활 속에서 가깝게 사용되
고 있으며 이를 활용한 다양한 기술의 연계활용
련 연구가 진행되고 있다.
임 워크 지원 언어 지원 os 환경 활용 분야
텐서 로
PythonC++JavaGo
LinuxWindowMac
이미지 인식사물인식자연어 처리
티아노 PythonLinuxWindowMac
이토치 PythonLinuxMac
라스 PythonLinuxWindowMac
CNTKPythonC++C#
LinuxWindow
카페PythonMATLABC++
LinuxWindowMac
표1. 가용한 딥러닝 임워크
최근 이러한 딥러닝에 필요한 복잡한 행렬연산, 자
동미분, GPU활용을 가능하게 해주는 오 소스들이
공개되면서 보다 쉽게 딥러닝 모델을 구 할 수 있게
되었다(표 1).11) 특히 텐서 로는 자동 미분, 분산 컴
퓨 을 지원하며 다양한 이썬 라이 러리 제공
구 의 지속 인 지원 등으로 사용성이 좋아 많은 사
용자들이 활용하고 있다. 그 외에도 페이스북의 이
토치, 마이크로소 트에서 만든 CNTK등이 오 소
스로 공개되어있다.12) 이러한 임워크는 다양한
27(3), p. 20.
9) JIA, Yangqing, et al(2014)..“ Caffe: Convolutional architecture
for fast feature embedding”. Proceedings of the 22nd ACM international conference on Multimedia, p. 677.
10) OM, ParkhI, et al(2015) “Deep Face Recognition”. BMVC. p. 6.
11) 정여진 외(2017), “딥러닝 임워크의 비교: 티아노, 텐서 로,
CNTK를 심으로, 지능정보 연구소 23(2), p.7
12) 키피디아(2017). “Comparison of deep learning software”,
Retrieved November, 15, 2017 from en.wikipedia.org/wiki/Com-
API와 라이 러리를 활용하여 사용자가 편리하게 딥
러닝 모델을 구 하고 학습 검증, 그리고 추론 할
수 있게 도와 다. 이와함께 잘 훈련된 모델이 제공
되며, 이를 기반으로 자신의 데이터로 추가 인 학습
을 진행하여 빠르고 좋은 결과를 낼 수 있는 이학
습이 가능하다. 이미지 인식의 경우 기존 연구를 통
해 속도와 정확도 별 특징이 다양한 학습된 모델들
공개되어 있기 때문에 새로운 이미지 인식 모델 학습
이 비교 쉽게 가능하다. 이에 본 연구에서는 이
텐서 로기반의 다양한 API와 이미지 인식 사물
자동인식 라이 러리를 활용하 다.
2.2 시설물 유지 리 단계에서의 정보 리
시설물 유지 리 분야는 건물의 수명주기 가장
장기간을 담당하며 총 생애주기비용 85% 이상을
차지하므로 단순 안 성 확보뿐만 아니라 경제 손
실을 막기 해 체계 으로 리되어야 한다.13) 리
상 건물의 종류와 용도가 다양해지고 건물환경에
한 입주자의 심이 증 됨에 따라 시설물의 다차
원 인 리방안이 필요하게 되었다. 따라서 건축물
의 생애주기 정보를 하고 해당 데이터를 분
석하여 효율 이고 집약 인 시설물 유지 리 로
세스가 연구되어야 한다.
건축물 시설의 유지 리를 한 정보 수집은
리자 혹은 소유주체가 수작업으로 시설 황을 살
펴 제출한 자료를 취합하여 이루어지므로 시간이 많
이 소요되며 최신 정보의 획득과 데이터 리가 어렵
다.14) 따라서 CAFM 시스템을 이용한 데이터의 수집
-통합- 리를 아우르는 단계 리 로세스의
수립에 한 연구가 진행되고 있으며 BIM은 이와 같
은 정보의 통합 리체계를 한 효율 인 정보 리
랫폼으로 효율 인 시설물 유지 리를 한 안
으로 평가받고 있다.15) BIM 기반 시설물 유지 리
련 연구는 BIM을 이용한 정보 리 방안을 제안하
거나 시스템을 구축하는 연구로 주어진 데이터에
한 효율 인 활용 리방안을 제안하는 데 을
두고 있다. 이와 같은 연구들은 거시 인 에서의
BIM과 시설물 유지 리의 연계가능성 방안을 논
의하고 있으며 결국 유지 리 단계의 시설물 황
parison_of_deep_learning_software
13) E. Teicholz(2004), “Bridging the AEC/FM technology gap“,