본문 바로가기
728x90
반응형

Cumputer Science/데이터 베이스📈6

데이터 처리 프로세스(저장, 처리) + 하둡(hdfs,mapreduce) 데이터 처리 프로세스中 저장, 처리 에 대해 중점적으로 자료조사를 해서 정리한 글입니다. (가볍게 참고 해주시면 좋을 것 같습니다) 데이터처리 프로세스 에는 1. 데이터 소스 2. 수집 3. 저장 4. 처리 5. 분석 6. 표현 순으로 진행됩니다. (무조건 저 순으로 진행되는건 아니라고 합니다. 설명하기 편하기 때문에..) 우선 데이터소스를 보면 기업이 가지고 있는 내부 데이터가 있을테고, 이러한 데이터는 주로 데이터베이스나 지난번에 설명 드렸던 데이터 웨어하우스(주로 정형데이터) 에 저장이 됩니다. 그리고 외부데이터가 있는데, 외부데이터는 공공기관이나 또는 그 외의 다양한 데이터들을 말합니다. 그리고 미디어 즉, 비정형 데이터들이 있습니다. 그중 처리 파트에서 일괄처리 부분중 데이터를 저장하고 처리하는.. 2022. 12. 30.
비정형 데이터 + 데이터레이크(data lake) 정리 현장실습 과정중... 비정형데이터에 대해 자료조사 과제가 주어졌다. 핵심? 기본 적인 내용만 정리한 글입니다. 비정형 데이터는 구조가 사실상 없는 데이터로, 비디오, 오디오, 일반 텍스트 등의 형태를 말합니다. 1.틀이 잡혀 있지 않고 사전 정의가 없는 데이터 2.다양하고 방대한 양의 데이터, 별도의 분석 처리 기술이 필요 3.텍스트, 이미지, 음원데이터, 빅데이터 비정형 데이터는 정형 데이터에 상반되는 개념입니다. 비정형 데이터는 최근 빅데이터가 주목을 받기 시작하면서 부각된 데이터 형태인데, 정형 데이터 외의 모든 데이터가 비정형 데이터입니다. 이를테면 이메일 내용과 소셜미디어 포스트, 각종 텍스트 문서, 음원과 이미지, 스마트폰에 기록되는 각종 행동 정보와 기계에서 출력되는 각종 메시지와 로그(lo.. 2022. 12. 27.
ER모델 개념 정리 ER모델 (Entity-Relationship Model) ER모델은 피터 첸이 제안한 개념적 데이터 모델로써 현실 세계를 개체와 개체 간의 관계를 이용하여 개념적 구조로 표현하여 ERD(Entity-Relationship Diagram)으로 작성할 수 있습니다. 개체, 속성, 관계 개체는 현실 세계에서 꼭 필요한 사람이나 사물과 같이 구별되는 모든 것을 가르키며 데이터로써 DB에 저장할 가치가 있는 중요한 사람, 사물, 개념, 사건 등을 뜻 하며 최소 하나 이상의 개체를 가지고 있어야 합니다. (ex. 학원에 필요한 개체 : 학생, 수업 등) 속성은 개체나 관계가 가지고 있는 고유의 특성으로 DB에 저장할 데이터의 가장 작은 논리적 단위 입니다. (ex. 학생 개체의 속성 : 학생의 이름, 학생의 성별.. 2022. 9. 19.
day02_DBMS + DBS + VIEW에 대해..🥪 [1교시: 2단원_DBMS] 1세대 : 네트워크 구조로 데이터를 관리하기 힘들었다. 그래서 계층 구조로 된 계층DBMS 를 사용해보았지만 여전히 2세대 : 관계형 DBMS 가 나옴.. 데이터베이스를 테이블 형태로 구성. - 현재 가장 널리 사용된 데이터베이스 관리시스템 관계형 데이터베이스 특징: SQL, 테이블 어떤 DBMS 를 사용하든 SQL, 테이블 구조는 동일하다. 3세대: 객체형 DBMS => 객체관계DBMS 4세대 : nosql: 비관계형 dbms +정형데이터 : 틀이 잡혀 있는 데이터, 체계화된 데이터, 높은 안전성, 대부분기업의 업무용 데이터베이스 + 비정형데이터: 틀이 잡혀있지 않고 사전정의가 없는 데이터, 다양하고 방대한 양의 데이터, 텍스트,이미지,음원데이터,빅데이터 ----------.. 2022. 9. 15.
728x90
반응형