240314목_TIL

스파크

 

file format

디스크에 데이터를 어떻게 저장하는가

 

csv,txt

comma-separated values의 약자, 콤마로 구분

 

json

python의 dictionary와 같은 형식

utf-8

 

pickle

개인용 플젝용

협업 어려운.

 

parquet 

빠르고 가벼운. 

 

I/O input output 데이터 입출력

 

데이터 수급 구조

network<disk<memory

 

왜 클라우드?

쉬운 관리, 보안, 가용성

여러대의 컴퓨터= 통상 클라우드 서버를 가리킴

 

클라우드 종류

AWS

GCP-bigquery

Microsoft Azure

 

클라우드의 기능

스토리지 

simple storage service

 

엔진

ssh이용하여 접속 혹은 vscode

 

데이터베이스

데이터 공유/보호, 보안/검색/백업 및 복원 기능

 

RDS 관계형 데이터베이스

postgres, mysql

 

Athena 대화형 쿼리 서비스, serverless.

---

1차회의:

배너 제작완료 / 방향성 설정-두갈래에서 일단은 시범으로 한개 진행 후, 피드백 보완하여 2차 진행토록

특정 커뮤니티만 크롤링 하면 될듯하다. - 크롤링 한 자료를 어떻게 이용할 것인가?

---

내일은 머런강의에만 집중할 것,,~