Hadoob 기반 1
카테고리 설명
-
구조도 Muhaut MR Zookeeper HIVE(SQL) Yarn HBase MR(Map Reduce) Yarn HDFS Hadoob MapReduce 구글에서 대용량 데이터 처리를 분산 병렬 컴퓨팅에서 처리하기위한 목적으로 2004년에 제작발표한 소프트웨어 프레임워크 빅데이터를 입력 -> 스크립트 분할 -> 맵핑( 키 밸류 ) -> 셔플링 ( 중복항목 확인 ) -> 리듀싱 ( 중복 값 제거, 확인 ) -> 결과 도출 (얼마나 중복되었는지, 단어는 뭐가 나왔는지) 장점 단순 사용편리 유연성 저장구조 독립성 내고장성 확보 ( 일부 고장나도 전체 영향 낮음 ) 확장성 높음 단점 고정된 단일 데이터 흐름 기존 DBMS보다 불편함 빌의 단순한 스케줄링 DBMS와 비교하여 상대적으로 성능 낮음 개발도구의 불편..