빅데이터 프로젝트 4주차 [ 빅데이터 기본 ]

빅러닝 파이프 라인

• 빅 데이터 분석과 머신러닝은 데이터, 알고리즘으로 데이터를 처리함으로써 만들어지는 모델이다.
• 일반 개발자에게 코드 파이프라인이 있다면 데이터 사이언티스트에게는 빅 데이터 머신러닝 솔루션을 통해 흐르는 빅러닝 파이프라인이 있다.

빅러닝 도구 필수조건

1. 데이터 포멧 지원
2. 속도와 용량
3. 확장성
4. 시각화 지원

파이썬과 R

데이터 분석과 파이썬, R 두가지 정도 사용

구분	파이썬	R
장점	특정 주제나 용도에 국한되지 않은 배우기 휘운 언어 다양한 용도의 언어	데이터 시각화 라이브러리 생태계 데이터 사이언스의 통용어
단점	시각화 데이터 분야 도전자 파이썬	느린 속도 어렵다

파이썬 을 쓰는 이유

여러 소프트웨어 개발 영역에서 오랫동안 인기를 얻어왔기 때문

R보다 더 빠르기 때문

---

데이터 추출 순서

1. 데이터 수집
2. 수집한것 전처리
3. 데이터 분류 모델을 설정한다 [ 데이터 가공한다 ]
4. 모델의 파라미터를 파악한다