빅데이터 프로젝트 4주차 [ 데이터 분류 ]

데이터의 발전

빅데이터 시대가 되면서 수치 중심의 데이터 -> 대량의 텍스트, 이미지 음성 모든 산업분야 데이터 처리 가능해짐

정형데이터, 반정형데이터, 비정형데이터 3가지가 있다.

 

1. 정형데이터
   • 미리 정해진 형식으로 구조화된 데이터
   • 엑셀시트, RDBMS테이블 등
2. 반정형 데이터
   • 특정한 형식에 따라 저장된 데이터 이지만, 정형데이터와 달리 형식에 대한 설명을 함께 제공해야 한다.
   • XML, JSON 등
3. 비정형 데이터
   • 정해진 구조가 없이 저장된 데이터.
   • 빅데이터 대부분을 차지하는 텍스트, 영상, 이미지 등이 대표적인 사례

 

데이터의 종류

• 미디어
• 클라우드
• 웹
• 사물인터넷
• 데이터베이스
• 오픈데이터/API

 

데이터 확장자 종류

CSV파일, EXCEL파일, JSON파일

 

CSV

• 각 라인의 컬럼이 콤마로 분리된 텍스트 데이터
• 가장 일반적인 가져오기 및 내보내기 형식

저장

• 2차원 배열로 구조화된 데이터 이기 떄문에 2차원 구조를 갖는 CSV파일로 변환 가능

 

EXCEL

• 행과 열은 데이터프레임의 행, 열로 일대일 대응된다.

 저장

• 데이터프레임의 행과 열은 Excel파일의 행과 열로 일대일 대응

 

JSON파일

• JAVASCRIPT문법에 영향을 받아 개발된 데이터 표현 방식
• 데이터 교호나포멧으로 단순하고 유연하여 널리 사용된다. 키값과 데이터로 이루어지는 대응관계 자료형을 가짐

저장

• 피클(Pickle)
• 파이썬의 모든 객체를 저장할 수 있는 방법. 머신러닝 사이킷 런 라이브러리를 통해 모델을 학습시키고 저장할 때 사용한다.

 

---

API

데이터의 실시간 갱신을 위해 갱신되는 데이터를 받아오기 위해서 사용하는것

 

공공데이터 포탈

행정안전부에서 운영하는 공공 데이터 통합 제공 시스템으로 공공기관이 생성 또는 취득하여 관리하고 있는 공공 데이터를 한곳에서 제공하는 통합 창구이다.

 

인터넷에서 API를 활용하는 기술은 HTTP프로토콜을 통해 이루어진다.

웹이나 모바일에서 정보를 주고 받는 과정은 사용자와 서버 통신 등 보이지는 않지만 여러 계층과 단계를 진행한다.

 

HTTP 프로토콜에서 정보를 요청(Request)하는 쪽을 클라이언트 라 하고 정보를 응답하여(Response) 하여 보내는 부분을 서버라고 하며 이런 구조를 클라이언트/서버 라고 한다.

METHOD	역할
POST	Post를 통해 해당 URL을 요청하면 리소스 생성
GET	GET을 통해 해당 리소스를 조회.
PUT	PUT을 통해 해당 리소스 수정
DELETE	DELETE를 통해 리소스 삭제