http://dx.doi.org/10.5392/JKCA.2015.15.05.570 비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 데이터 처리 아키텍쳐 Data Processing Architecture for Cloud and Big Data Services in Terms of Cost Saving 이병엽 * , 박재열 ** , 유재수 ** 배재대학교 전자상거래학과 * , 충북대학교 정보통신공학과 ** Byoung-Yup Lee([email protected]) * , Jae-Yeol Park([email protected]) ** , Jae-Soo Yoo([email protected]) ** 요약 최근 많은 기관들로부터 클라우드 서비스, 빅 데이터가 향후 대세적인 IT 트렌드 및 확고한 기술로서 예 견되고 있다. 또한 현재 IT를 선도하는 많은 벤더를 중심으로 클라우드, 빅데이터에 대한 실질적인 솔루션 과 서비스를 제공하고 있다. 이러한 기술들은 기업의 비용절감 측면에서, 클라우드는 인터넷 기반의 다양한 기술들을 기반으로 비즈니스 모델에 대한 자원의 사용을 자유스럽게 선택할 수 있는 장점을 가지고 있어 능동적인 자원 확장을 위한 프로비져닝 기술과 가상화 기술들이 주요한 기술로 주목 받고 있다. 또한 빅데 이터는 그동안 분석하지 못했던 새로운 비정형 데이터들에 대한 분석 환경을 제공함으로서 데이터 예측 모델의 차원을 한층 높이고 있다. 하지만 클라우드 서비스, 빅데이터의 공통점은 대용량 데이터를 기반으로 서비스 또는 분석을 요하고 있어, 초기 발전 모델부터 대용량 데이터의 효율적인 운영 및 설계가 중요하게 대두 되고 있다. 따라서 본 논문에 클라우드, 빅데이터 서비스를 위한 대용량 데이터 기술 요건들을 토대로 데이터 처리 아키텍처를 정립하고자 한다. 특히, 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술요건을 소개하고, 빅데이터, 클라우드의 대용량 데이터를 비용절감 측면에서 효율적인 압축기술 요건들 을 제시한다. ■ 중심어 :∣클라우드∣빅데이터∣DBMS∣분산처리∣데이터압축∣대용량데이터∣ Abstract In recent years, many institutions predict that cloud services and big data will be popular IT trends in the near future. A number of leading IT vendors are focusing on practical solutions and services for cloud and big data. In addition, cloud has the advantage of unrestricted in selecting resources for business model based on a variety of internet-based technologies which is the reason that provisioning and virtualization technologies for active resource expansion has been attracting attention as a leading technology above all the other technologies. Big data took data prediction model to another level by providing the base for the analysis of unstructured data that could not have been analyzed in the past. Since what cloud services and big data have in common is the services and analysis based on mass amount of data, efficient operation and designing of mass data has become a critical issue from the early stage of development. Thus, in this paper, I would like to establish data processing architecture based on technological requirements of mass data for cloud and big data services. Particularly, I would like to introduce requirements that must be met in order for distributed file system to engage in cloud computing, and efficient compression technology requirements of mass data for big data and cloud computing in terms of cost-saving, as well as technological requirements of open-source-based system such as Hadoop eco system distributed file system and memory database that are available in cloud computing. ■ keyword :∣Cloud∣BigData∣DBMS∣Distribution Data Process∣Data Compression∣VLDB∣ * 이 논문은 2014년도 정부(교육부)의 재원으로 한국연구재단의 지원(No. 2014R1A1A2055778), 교육부와 한국연구재단의 지 역혁신인력양성사업(no. 2013H1B8A2032298) 및 미래창조과학부 및 정보통신산업진흥원의 대학IT연구센터육성 지원사업 /IT융합고급인력과정지원사업의 연구결과로 수행되었음(NIPA-2014-H0301-14-1022). 접수일자 : 2015년 01월 22일 수정일자 : 2015년 03월 11일 심사완료일 : 2015년 03월 11일 교신저자 : 유재수, e-mail : [email protected]
12
Embed
비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 ...koreascience.or.kr/article/JAKO201517058945444.pdf비용절감 측면에서 클라우드, 빅데이터
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
http://dx.doi.org/10.5392/JKCA.2015.15.05.570
비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 데이터 처리 아키텍쳐
Data Processing Architecture for Cloud and Big Data Services in Terms of Cost Saving
최근 많은 기 들로부터 클라우드 서비스, 빅 데이터가 향후 세 인 IT 트 드 확고한 기술로서 견되고 있다. 한 재 IT를 선도하는 많은 벤더를 심으로 클라우드, 빅데이터에 한 실질 인 솔루션과 서비스를 제공하고 있다. 이러한 기술들은 기업의 비용 감 측면에서, 클라우드는 인터넷 기반의 다양한 기술들을 기반으로 비즈니스 모델에 한 자원의 사용을 자유스럽게 선택할 수 있는 장 을 가지고 있어 능동 인 자원 확장을 한 로비져닝 기술과 가상화 기술들이 주요한 기술로 주목 받고 있다. 한 빅데이터는 그동안 분석하지 못했던 새로운 비정형 데이터들에 한 분석 환경을 제공함으로서 데이터 측 모델의 차원을 한층 높이고 있다. 하지만 클라우드 서비스, 빅데이터의 공통 은 용량 데이터를 기반으로 서비스 는 분석을 요하고 있어, 기 발 모델부터 용량 데이터의 효율 인 운 설계가 요하게 두 되고 있다. 따라서 본 논문에 클라우드, 빅데이터 서비스를 한 용량 데이터 기술 요건들을 토 로
데이터 처리 아키텍처를 정립하고자 한다. 특히, 클라우드 컴퓨 을 해 분산 일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨 에서 활용 가능한 오 소스 기반의 하둡 분산 일 시스템, 메모리 데이터베이스 기술요건을 소개하고, 빅데이터, 클라우드의 용량 데이터를 비용 감 측면에서 효율 인 압축기술 요건들을 제시한다.
■ 중심어 :∣클라우드∣빅데이터∣DBMS∣분산처리∣데이터압축∣대용량데이터∣Abstract
In recent years, many institutions predict that cloud services and big data will be popular IT trends in the near future. A number of leading IT vendors are focusing on practical solutions and services for cloud and big data. In addition, cloud has the advantage of unrestricted in selecting resources for business model based on a variety of internet-based technologies which is the reason that provisioning and virtualization technologies for active resource expansion has been attracting attention as a leading technology above all the other technologies. Big data took data prediction model to another level by providing the base for the analysis of unstructured data that could not have been analyzed in the past. Since what cloud services and big data have in common is the services and analysis based on mass amount of data, efficient operation and designing of mass data has become a critical issue from the early stage of development. Thus, in this paper, I would like to establish data processing architecture based on technological requirements of mass data for cloud and big data services. Particularly, I would like to introduce requirements that must be met in order for distributed file system to engage in cloud computing, and efficient compression technology requirements of mass data for big data and cloud computing in terms of cost-saving, as well as technological requirements of open-source-based system such as Hadoop eco system distributed file system and memory database that are available in cloud computing.
■ keyword :∣Cloud∣BigData∣DBMS∣Distribution Data Process∣Data Compression∣VLDB∣
* 이 논문은 2014년도 정부(교육부)의 재원으로 한국연구재단의 지원(No. 2014R1A1A2055778), 교육부와 한국연구재단의 지
역 신인력양성사업(no. 2013H1B8A2032298) 미래창조과학부 정보통신산업진흥원의 학IT연구센터육성 지원사업