빅데이터의 개요 빅데이터의 특징 크기 : 데이터의 수집, 저장, 처리에 있어 크기가 큰 데이터 속도 : 매우 빠른 속도로 생성되고 실시간 처리 다양성 : 정형, 반정형, 비정형 데이터로 구분된다. 빅데이터 라이프사이클별 세부기술 수집 : 모든 디바이스 및 시스템에서 나오는 데이터를 수집하는 기술 -> 크롤링, ETL 저장, 처리 : 대용량 데이터를 저장하며 처리하는 기술 -> NoSQL, 분산파일시스템 분석 : 빅데이터를 이용해 실생활에 도움을 주는 기술 -> 머신러닝, 자연어처리 등 표현 : 분석된 결과를 효과적으로 표현하는 기술 -> R, 그래프, 도면 등 빅데이터 관련 기술 분산파일시스템 대용량, 비정형 데이터를 분산 환경에 저장하기 위한 파일 시스템 아키텍처 MapReduce 저렴한 머신을 이용하..

데이터웨어하우스 개념 외부 데이터를 주제별로 통합하여 별도의 프로그래밍 없이 즉시 분석할 수 있도록 하는 시스템 특징 주제지향 : 의사결정에 필요한 특정 주제의 데이터만을 저장 통합적 : 데이터의 정합성과 물리적 통일성을 갖는 구조 시계열적 : 데이터를 일련의 스냅숏 형태로 오랜기간 보유 비휘발성 : 한번 적재되면 이후에 삭제 및 수정이 불가능하다. 데이터웨어하우스 모델링 모델링 기법 스타 스키마 : 데이터를 분리하여 설계하는 모델링 기법 스노우플레이크 스키마 : 중복이 적지만 스타 스키마에 비해 조인 연산이 늘어남 ETL(Extraction/Transformation/Loading)의 개념 추출 (Extraction) : 원본 파일로 부터 데이터웨어 하우스에 저장될 데이터를 추출 변환 (Transfor..

주요 데이터베이스 유형 계층형 데이터베이스 상하 종속적인 관계의 트리 형태로 계층적으로 저장하는 데이터베이스이다. 데이터 사용량을 쉽게 예측할 수 있지만, 업무 프로세스에 대한 적응이 '쉽지 않음' 네트워크형 데이터베이스 계층형 데이터베이스의 트리 형태를 망형태로 확장하여 데이터를 저장하는 데이터베이스이다. 다대다 관계를 유지하고 데이터 연결을 위하여 포인터를 사용한다. 관계형 데이터베이스 관계형 데이터모델에 기반한 데이터베이스로 Oracle, SQL등 현재 상용화되어있는 데이터베이스이다. 객체지향 데이터베이스 객체 모델에 기반하여 정보를 저장하고 검색할 수 있는 데이터베이스 객체관계 데이터베이스 특징 사용자정의 데이터타입 지원 : 사용자가 직접 데이터타입 정의 가능 참조 타입 지원 : 하나의 레코드가 ..

데이터베이스 장애와 복구 개념 데이터복구의 정의 데이터베이스 운영 도중 예기치 못한 장애가 발생할 경우 데이터베이스 장애 발생 이전으로 일관성을 복원하는것 장애 유형 트랜잭션 장애 : 트랜잭션을 완료할 수 없음 시스템 장애 : 전원, 하드웨어, 소프트웨어 고장 디스크 장애 : 디스크 스토리지의 일부가 붕괴 사용자 장애 : 사용자의 데이터베이스 이해 부족 데이터 복구조치 유형 재수행 : 가장 최근 복사본을 적재한 후 재실행함으로써 복원 취소 : 변경된 내ㅐ용에 신뢰성을 잃어버린 경우에 로그를 이용하여 변경 취소 데이터베이스 장애 복구 방법 로그 기반 기법 : Redo, Undo를 결정하기 위하여 로그 전체 조사 검사점 복구 기법 : 로그파일과 검사점을 이용한 복구 그림자 페이징 기법 : 그림자 페이지 테이..

트랜잭션이란 하나의 논리적인 작업 단위를 이루는 여러 연산들의 집합으로 데이터베이스의 일관된 상태 특징 (ACID) Atomiciy (원자성) : 연산중 하나라도 실패할 경우 전체가 취소되어 무결성 보장 Consistency (일관성) : 트랜잭션이 실행을 성공적으로 완료하면 언제나 모순없이 일관성있는 상태 보존 Isolation (고립성) : 트랜잭션 실행 중에 다른 트랜잭션 접근 불가능 Durability (영속성) : 성공한 트랜잭션 결과는 영구적으로 데이터베이스에 저장됨 종료시 연산 Commit (완료) : 트랜잭션 안에서 수행한 모든 SQL을 반영하며 종료 Rollback (복귀) : 수행 도중 오류가 생겨 다시 작업을 철회하는 연산 동시성 제어 다중 사용자 환경을 지원하는 데이터베이스 시스템에..

저장 프로시저 정의 일련의 쿼리를 마치 하나의 함수처럼 실행하기 위한 쿼리의 집합. 장점 : 네트워크 부하를 줄일 수 있다, 처리 시간 단축, 보수성이 좋다 단점 : 제품간의 호환성 문제, 변경으로 인한 추가노력 발생 임베디드 SQL 정의 데이터를 정의하거나 접근하는 SQL이 C,C++,Java등의 응용프로그램에 포함되어 실행 시점에 함께 수행되는 경우 삽입된 SQL을 임베디드 SQL이라 부른다 특징 호스트 프로그램의 어느 곳에서나 사용될 수 있다. 컴파일 시 선행 처리기에 의해 분리되어 컴파일 된다. 동적 SQL 개요 : SQL문을 string 변수에 담아 동적처리하는 방법으로 사용자에 의해 변경된다. 구성 : 변수에 담아서 DBMS를 호출하여 로직이 자유롭다. 장점 : SQL이 개발 시점이 아닌 실행..