15. 빅데이터 및 NoSQL

빅데이터의 개요 빅데이터의 특징 크기 : 데이터의 수집, 저장, 처리에 있어 크기가 큰 데이터 속도 : 매우 빠른 속도로 생성되고 실시간 처리 다양성 : 정형, 반정형, 비정형 데이터로 구분된다. 빅데이터 라이프사이클별 세부기술 수집 : 모든 디바이스 및 시스템에서 나오는 데이터를 수집하는 기술 -> 크롤링, ETL 저장, 처리 : 대용량 데이터를 저장하며 처리하는 기술 -> NoSQL, 분산파일시스템 분석 : 빅데이터를 이용해 실생활에 도움을 주는 기술 -> 머신러닝, 자연어처리 등 표현 : 분석된 결과를 효과적으로 표현하는 기술 -> R, 그래프, 도면 등 빅데이터 관련 기술 분산파일시스템 대용량, 비정형 데이터를 분산 환경에 저장하기 위한 파일 시스템 아키텍처 MapReduce 저렴한 머신을 이용하..

2021.03.17