빅데이터 프로젝트 3주차 [ 빅데이터와 머신러닝 ]

빅데이터의 대표적인 예시

 

자율 주행 자동차

• 하루 8시간 마다 약 40TB 데이터 생성
• 사람은 평균 하루에 인터넷으로 650MB의 데이터를 생산 2020년도는 하루 1.5GB로 바뀜
• 자율주행 차량 하루 생산 데이터는 2.666명의 인터넷 사용자와 동일함.

Tesla차량의 자율 주행의 주행거리

• 2018년 1.2Billion
• 2020년 3.3Billion
• 현재 약 10Billion 정도의 마일을 돌아다니게 되었다.

이미 빅데이터를 활용한 자율 주행 자동차는 사용되고 있다.

 

딥러닝 의 논문이 2000년 초반에 나왔다. 그때 나왔으나 데이터가 부족하고 컴퓨팅 환경이 부족하여 실현이 불가능 하였으나, 현상황 기술력이 커지고 데이터가 방대해져서 학습이 가능해졌다.

 

컴퓨터 중앙처리장치 는 1990년대에서 2010년 사이 성능이 5000배 상승하였습니다.

 

노트북에서도 딥 러닝 모델을 실행 할 수 있지만, 컴퓨터 비전이나 음성 인식에서 사용되는 딥러닝 모델은 노트북보다 10배 이상의 계산이 필요하다.

 

2000년대 NVIDIA와 AMD 같은 그래픽 전문 회사들이 현실을 접목한 비디오 게임의 그래픽 성능을 높이기 위해 대용량 고속 병렬 칩 을 개발하는데 투자함.

 

딥러닝 산업은 GPU를 넘어서 더 효율적이고 특화된 딥러닝 설비에 투자

 

구글은 텐서 처리 장치 프로젝트를 공개했는데 이 칩은 딥러닝을 실행하기 위해 완전히 새롭게 서계한것으로 최고 성능을 가진 기존 GPU보다 10배 이상 빠르고 에너지 소비도 더 효율적으로 또 다른 머신러닝 하드웨어 발전을 선도하기도 하였습니다.

https://ko.wikipedia.org/wiki/%ED%85%90%EC%84%9C_%EC%B2%98%EB%A6%AC_%EC%9E%A5%EC%B9%98

텐서 처리 장치 - 위키백과, 우리 모두의 백과사전

 

이것을 년도별로 정리하면, 밑 차트와 같이 요약할 수 있습니다.

대략 2007년도부터 빅 데이터의 시작이라고 봐야하는 이유는, SNS의 발전으로 트위터나 페이스북 같은 통신매체가 발전하였기 때문입니다.

 

3세대 까지는 컴퓨터 파워가 부족하여 시설이 부족하였으나

4세대 부터는 컴퓨터 파워가 크게 발전하여 AI의 설계와 실행이 가능한 컴퓨터 파워가 확보되고 기술이 빠르게 발전중 입니다.

 

실제 AI의 설계는 1950년부터 설계가되고 논의가 되었습니다. AI는 지속적인 발전을 통해 커지고 있습니다.

 

IOT

사물 인터넷 기술은 

1. 연결형
2. 지능형
3. 자율형

으로 진화가 되었습니다.

 

오늘날은 1단계 연결형을 지나 2단계를 향해 나아가고 있습니다.

인공지능 시스템은 의사결정을 내리거나 사람이 처리하는것과 같이 작업을 수행하는 지능형 시스템입니다.

 

오늘날 인공지능은 사물 인터넷을 위한 필수 조건이라고 할 수 있다.

 

인공지능 확산 핵심 인프라 클라우드

laaS 가상화 기술과 물리적 자원 인프라를 제공

Pass 개발에 필요한 환경, 즉. 플랫폼까지만 빌려주고 앱과 데이터는 기업이 운영

SaaS 전통적인 IT솔루션. 구글 드라이브나 드롭박스 같은 외장데이터 같이 활용하는것을 이야기함

Daas 서비스형 데스크탑으로 인터넷을 통해 사용자에게 가상 데스크탑을 제공하는 클라우드 컴퓨팅 시스템

 

인공지능 원료 빅데이터

 

인공지능은 우리 시대의 가장 큰 변화를 일으키는 힘 중 하나이나, 빅데이터가 없는 인공지능은 무용지물 이다.

매년 우리가 만들어 내는 데이터는 두배로 증가하고 있고 예상하는 10년 후에는 지구 인구의 20배가 넘는 네트워크 센서가 존재할것.

 

빅 데이터 학습을 위한 지식들

 

빅데이터로 들어가기 위한 기반지식

데이터 사이언티스트

• 88%는 석사학위를
• 46%는 박사학위를 보유중이다.
• 파이썬, R등 프로그래밍 언어는 필수.
• 하둡 등 빅데이터 플렛폼, SQL 데이터 베이스
• 비정형 데이터를 다룰 수 있는 능력
• 통계분석과 수학은 추론적 통계 및 실험 설계

 

빅러닝 파이프 라인

빅 데이터의 자료분석과 데이터분류 그리고 결과물을 도출하는데 이어지는 과정은 밑과 같다.