728x90 반응형 Reduce1 데이터 처리 프로세스(저장, 처리) + 하둡(hdfs,mapreduce) 데이터 처리 프로세스中 저장, 처리 에 대해 중점적으로 자료조사를 해서 정리한 글입니다. (가볍게 참고 해주시면 좋을 것 같습니다) 데이터처리 프로세스 에는 1. 데이터 소스 2. 수집 3. 저장 4. 처리 5. 분석 6. 표현 순으로 진행됩니다. (무조건 저 순으로 진행되는건 아니라고 합니다. 설명하기 편하기 때문에..) 우선 데이터소스를 보면 기업이 가지고 있는 내부 데이터가 있을테고, 이러한 데이터는 주로 데이터베이스나 지난번에 설명 드렸던 데이터 웨어하우스(주로 정형데이터) 에 저장이 됩니다. 그리고 외부데이터가 있는데, 외부데이터는 공공기관이나 또는 그 외의 다양한 데이터들을 말합니다. 그리고 미디어 즉, 비정형 데이터들이 있습니다. 그중 처리 파트에서 일괄처리 부분중 데이터를 저장하고 처리하는.. 2022. 12. 30. 이전 1 다음 728x90 반응형
