13. 빅데이터 시스템

하둡 생태계

하둡은 High Availability Distributed Object Oriented Platform 의 약자로
대용량의 데이터를 여러 개의 분산 저장소에서 분산 처리하는 방식의 자바 프레임워크이다.

하둡의 주요기술 요소

하둡 분산형 파일 시스템

하둡 네트워크에 연결된 기기에 데이터를 저장하는 분산형 파일 시스템이다.

맵리듀스

맵 리듀스는 대용량의 데이터 처리를 위한 분산 프로그래밍 모델, 소프트웨어 프레임워크로
대규모 분산 컴퓨팅 환경에서 대량의 데이터를 병렬로 분석 가능하다

빅데이터 시스템의 동향 및 전망

동향

기업별 강점기반 시스템 생태계

빅데이터 시스템 서비스 기업들은 빅데이터가 극복해야 하는 실시간 처리, 쿼리의 용이성
시스템 접근성 등의 문제점을 해결하는 전략을 추진하며 생태계를 형성하고 있다.

• 아마존 등 클라우드 역량을 확보한 기업들은 자사 클라우드 노력 진행
• 구글 애플등 모바일 기반 신흥 기업들은 구축된 서버와 사용자 데이터 정보를 기반으로 데이터 분석

빅데이터 서비스 제공영역 차별화

토털 솔루션을 제공하기도 하고, 특정 영역의 솔루션 중심으로 제공하는 경우도 있다.

전망

여전히 낮은 범용성

하둡은 현재 하둡 생태계를 이룰 정도로 유관 기술 개발이 적극적으로 진행되고 있지만
기술적 난이도가 있어 활용에 어렵다

오픈소스 기반 성장 확대

클라우드 기업뿐만 아니라 수요자 중심의 맞춤형 sw 제공하는 중소벤처기업들도 성장하는 구도가 되고 있다

인공지능과 연계

구글 알파고를 시작으로 산업 측면에서 인공지능에 대한 활용성에 대한 기대가 높아지고 있으며
빅데이터를 통해 결과를 도출할 수 있다.