6차시. 빅데이터 서비스를 위한 워밍업 - 전략과 정책

차시목표
1. 빅데이터 서비스 도입과 운영을 위한 단계적 로드맵을 수립하고 단계적 로드맵에 따라 분석, 인프라, 활용, 성과관리, 전략 방향을 수립할 수 있다
2. 빅데이터 서비스를 위한 거버넌스 전략 방향과 전략 계획서를 수립할 수 있다
3. 빅데이터 서비스 원칙, 서비스 정책, 서비스 관리 지침, 서비스 관리 방안을 수립할 수 있다.

주요내용
1. 빅데이터적 관점에서의 서비스 단계의 이해 학습하기
2. 빅데이터 적용 모델 학습하기
3. 빅데이터의 단계별 공정 학습하기
4. 빅데이터 서비스의 거버넌스 이해 학습하기
5. 빅데이터 서비스의 정책에 포함될 요소

 

■ 빅데이터 서비스를 위한 워밍업 - 전략과 정책

1. 빅데이터적 관점에서의 서비스 단계의 이해

- 빅데이터 서비스를 실행하기 위해서는 빅데이터적 관점에서의 서비스 실행 공정도의 5단계를 실행합니다. 이러한 5단계에 포함 되는 부분은 도입과 운영에 따른 다양한 요소가 포함되며, 단계적인 로드맵에 따라 수행됩니다. 분석적 측면, IT 인프라적 측면, 활용의 측면, 성과에 대한 관리 및 전략적 측면이 포함되어 있습니다. 

 

● 데이터 서비스 실행 5단계에 대한 설명

- 계획 단계: 대표적인 프로젝트 수행의 계획 영역이다.

- 분석 단계: 요구 사항의 정의, 요구 사항의 분석, 현행 운영 시스템의 분석, 업무 기능의 분석, 개념 데이터의 모델링과 분석의 검토가 포함된다. 

- 구현 단계: 물리적인 데이터의 구현, 데이터의 수집에서 추출, 변형, 적재 등이 실제 구현되는 단계이다. 

 

① 계획 단계
- 계획 단계는 대표적으로 프로젝트 수행의 계획 영역입니다. 이러한 계획에는 빅데이터 서비스의 목표 수립과 모델 수립 단계를 거쳐 산출된 다양한 산출물이 포함될 수 있습니다. 여기에는 데이터의 선정, 요구 사항의 정의, 시나리오의 수립 등이 해당됩니다. 

② 분석 단계
- 요구 사항의 정의, 요구 사항의 분석, 현행 운영 시스템의 분석, 업무 기능의 분석, 개념 데이터의 모델링과 분석의 검토가 포함 됩니다. 이 중에서 현행 운영 시스템의 분석에는 현재 내부 데이터를 포함하고 실제 현업의 업무가 포함되고 있는 부분으로서 데이터의 수집에 대한 중요한 부분이 포함됩니다. 실제 서비스를 기획하고 운영할 이해 담당자 및 부서가 이 부분에 포함되어 있기 때문에 매우 긴밀한 의사소통이 필요합니다. 

③ 설계 단계
- 업무적인 부분도 포함되어 있지만, 실제 이 단계는 데이터를 저장하는 논리적· 물리적인 단계를 나타냅니다. 아키텍처의 설계, 논리·물리 데이터베이스의 설계, 데이터의 수집, 추출, 변형, 적재 등이 설계 단계에서 적용되는 사항입니다. 효율적인 소프트웨어와 하드웨어의 응용이 적용되는 부분입니다. 또 메타 데이터, 애플리케이션의 설계, 검토 등도 이 단계에서 이루어지므로 데이터적인 측면에서 가장 핵심적인 부분입니다. 

④ 구현 단계
- 물리적인 데이터의 구현, 데이터의 수집에서 추출, 변형, 적재 등이 실제 구현되는 단계입니다. 전 단계를 설계의 단계라고 한다면, 구현 단계는 실제 물리적인 환경에서 구현되는 단계를 의미합니다. 이 단계에서는 애플리케이션 및 실제 운영에 필요한 최적화도 적용되어 구현되어야 합니다. 예를 들어, 데이터 처리에 필요한 피로도 테스트도 이 영역에 포함됩니다. 

⑤ 전개 단계
- 빅데이터의 서비스에 기반을 둔 물리적인 시스템 환경을 시범적으로 운영하는 테스트의 단계입니다. 정보계에서는 이러한 단계의 시험 적용 및 교육, 운영 단계가 프로젝트의 마무리 단계를 의미합니다.

 

2. 4C 적용 모델의 기본적 요소

① 콘텐츠(Contents)
② 커뮤니케이션(Communication)
③ 커뮤니티(Community)

 

3. 빅데이터의 단계별 공정

① 원천 데이터의 영역
- 빅데이터는 생성하는 과정에서 외부 또는 내부 데이터, 정형 또는 비정형 데이터로 나누어집니다. 빅데이터는 처음에는 원천 데이터에서 생성이 되는데, 인위적으로 생성되는 데이터뿐만 아니라 센서 등의 사물인터넷에서 생성되기도 합니다. 이러한 빅데이터의 특징은 다양한 파일 형태로 만들어지기도 하며, 순간적인 센싱에 의해 생성되기도 합니다. 손실 없이 데이터를 수집하는 기술은서비스 모델을 만들고 기획하는 데 매우 중요한 역할을 합니다. 데이터의 손실이 발생한다면 분석의 결과가 정확하지 않을수도 있기 때문입니다. 

② 변환 정제의 단계
- 생성된 데이터는 원천 시스템 및 요건을 파악한 뒤에 서비스에 적용할 데이터의 용량 및 현행 시스템의 성능을 파악합니다. 이를 통해 수집된 데이터의 주제별 전략을 수립하고 자동화 방안 등을 수립합니다. 이렇게 추출된 데이터를 임시 데이터베이스 영역에 저장합니다. 

③ 통합 영역의 적재 단계
- 임시 영역에 저장된 데이터는 빅데이터 시스템 및 목적과 특성에 따라 사용이 가능한 NoSQL을 선정합니다. 그리고 전처리를 거친 다음에 실제 빅데이터 영역에 저장합니다. 이때 데이터 및 서비스의 형태에 따라 하둡 및 NoSQL을 선정하게 되는데, 실제 서비스에 적용하기 위해서는 많은 테스트 단계를 거칩니다. NoSQL은 비관계형 데이터베이스로서 대용량 처리에 적합한 데이터베스의 특징을 가지고 있습니다. 

④ 서비스 적용의 단계
- 이미 정의된 서비스 요구 사항에 따라 서비스 모델에 해당 데이터를 적용하여 실제 분석 또는 수행을 시작합니다. 이 작업은 지속적인 개선 및 순환 작업을 거쳐 발전됩니다.

 

■ 빅데이터 서비스의 거버넌스 이해

● 거버넌스의 이해

- 빅데이터 거버넌스는 빅데이터에 대한 체계적인 관리와 통제를 의미합니다. 빅데이터는 빅데이터의 도입, 운영, 활용 과정에서 발생할 수 있는 각종 위험을 예방하고 효율적인 기술을 적용하기 위해 필요합니다. 여기에는 통제라는 의미도 포함되어 있지만 궁극적으로는 효율적인 빅데이터 서비스를 구축하여 관리하기 위함입니다. 최근에는 빅데이터가 기업이 성장할 수 있는 핵심적인 요소로 활용되고 있습니다. 효율적인 빅데이터 거버넌스는 기업이 성장하는 데에 매우 중요한 부분으로 인식되고 있습니다. 

• 거버넌스의 의미

① 정보기술 거버넌스는 기업 및 조직이 보유한 다양한 종류의 데이터를 품질과 서비스의 향상을 위해 관리와 통제를 하는 프레임워크를 의미합니다. 관리와 통제는 단순한 관리의 의미가 아닌 포괄적인 지배 구조를 의미합니다. 

② 정보기술 전략의 기획과 개발을 관리하고, 이를 통해 경영학적 비즈니스 요소와 정보기술을 융합하기 위해 기업의 경영진, 정보기술 관리자, 이해 당사자가 추진하는 조직적 기능을 의미하기도 합니다. 

● 거버넌스의 필요성

- 빅데이터 거버넌스는 빅데이터를 중심으로 하는 각종 서비스에서 숨어 있는위험 요소를 사전에 차단하고 데이터 관리를 수행하는 기능을 제공해야 합니다. 빅데이터 거버넌스는 데이터의 증가와 다양한 처리 기술, 그리고 새로운 기술의 등장과 이에 따른 관리를 뜻합니다. 이는 이미 확립되어 있는 정보기술 거버넌스와는 다른, 빅데이터만의 새로운 관리 체계의 필요성에서 비롯되었습니다. 

● 빅데이터를 서비스할 때의 위험 요인 4가지

- 데이터의 보안: 데이터의 해킹, 비밀 유지, 유실 방지 등
- 데이터의 품질: 대용량 데이터에 따른 품질 체계의 유지 등
- 개인정보 보호: 개인정보에 대한 보호 및 유지 등
- 데이터의 소유: 데이터의 소유에 대한 침해 방지 등

● IT Compliance

- IT Compliance는 기업이 준수해야 하는 각종 규정과 법규를 포함한 제도 및 관련법을 준수하는 것을 말합니다. 다시 말해, 기업의 각종 활동이 정보기술 및 시스템에 의존하기 때문에 고객의 개인정보 보호와 재무 및 회계에 대한 신뢰성을 높이기 위한 방안입니다. 빅데이터가 출현함으로써 만들어지는 각종 서비스 측면에서 IT Compliance는 더욱 중요하다고 할 수 있습니다. 

 

■ 빅데이터 서비스의 정책에 포함될 요소

● 조직 체계

- 빅데이터 서비스를 기획하고 실행하는 전담 부서가 필요합니다. 빅데이터 서비스를 발굴하고 기획 및 실행하는 전담 부서를 조직하고, 부서 안에 정보기술 전문가, 데이터 전문가, 데이터 분석가 등이 포함되도록 구성합니다. 나. 빅데이터 관리 체계의 수립 빅데이터에 대한 정보기술 차원에서의 표준화, 절차 등의 정책을 고려하여 데이터의 품질 기준을 명확하게 제시합니다. 빅데이터에서 사용되는 데이터는 비정형 데이터 세트가 중심이 되므로 이에 대한 품질의 측정, 융합 등을 기반으로 하는 기준이 필요합니다

● 프로세스 재설계 정책의 수립

- 새로운 데이터가 유입됨에 따라 기존의 업무 프로세스 또는 신규 서비스에 대한 프로세스를 재설계합니다. 이후 필요한 데이터와 필요하지 않은 데이터를 식별하여 프로세스에 반영합니다. 이러한 프로세스의 재설계는 빅데이터를 구축함에 있어 매우 중요한 요소로서 데이터와 조직의 효율적인 구성을 가능하게 해 주는 역할을 합니다. 

● 보안 정책의 재설계

- 빅데이터 서비스는 내·외부 데이터를 통합하여 진행하기 때문에 민감한 개인정보에 대한 새로운 기준이 마련되어야 합니다. 이는 「개인정보 보호법」, 법률, 기준 등의 다양한 부분에서 보안 정책이 재설계되어야 합니다

 

빅데이터 서비스를 실행하기 위해서는 빅데이터적 관점에서의 서비스 실행 공정도의 5단계를 실행한다. O
[해설]
빅데이터 서비스를 실행하기 위해서는 빅데이터적 관점에서의 서비스 실행 공정도의 5단계를 실행합니다. 이러한 5단계에 포함되는 부분은 도입과 운영에 따른 다양한 요소가 포함되며, 단계적인 로드맵에 따라 수행됩니다. 분석적측면, IT 인프라적 측면, 활용의 측면, 성과에 대한 관리 및 전략적 측면이 포함되어 있습니다.

빅데이터는 생성하는 과정에서 외부 데이터, 정형 데이터로 나누어진다. X
[해설]
빅데이터는 생성하는 과정에서 외부 또는 내부 데이터, 정형 또는 비정형 데이터로 나누어집니다. 빅데이터는 처음에는 원천 데이터에서 생성이 되는데, 인위적으로 생성되는 데이터뿐만 아니라 센서 등의 사물인터넷에서 생성되기도 합니다. 이러한 빅데이터의 특징은 다양한 파일 형태로 만들어지기도 하며, 순간적인 센싱에 의해 생성되기도 합니다. 손실 없이 데이터를 수집하는 기술은 서비스 모델을 만들고 기획하는 데 매우 중요한 역할을 합니다. 데이터의 손실이 발생한다면 분석의 결과가 정확하지 않을 수도 있기 때문입니다.

빅데이터 거버넌스는 빅데이터에 대한 체계적인 관리와 통제를 의미한다. O
[해설]
빅데이터 거버넌스는 빅데이터에 대한 체계적인 관리와 통제를 의미합니다. 빅데이터는 빅데이터의 도입, 운영, 활용 과정에서 발생할 수 있는 각종 위험을 예방하고 효율적인 기술을 적용하기 위해 필요합니다. 여기에는 통제라는 의미도 포함되어 있지만 궁극적으로는 효율적인 빅데이터 서비스를 구축하여 관리하기 위함입니다.