还剩20页未读，继续阅读
本资源只提供10页预览，全部文档请下载后查看！喜欢就下载吧，查找使用更方便
文本内容:
大数据技术部建设数据仓库的八个步骤20170425年月日编制
8.数据仓库的管理只重视数据仓库的建立，而忽视数据仓库的管理必定导致数据仓库项目的失败数据仓库管理主要包括数据库管理和元数据管理数据库管理须要考以下几个方面•平安性管理数据仓库中的用户只能访问到他的授权范围内的数据，数据在传输过程中的加密策略•数据仓库的备份和复原数据仓库的大小和备份的频率干脆影响到备份策略•如何保证数据仓库系统的可用性，硬件还是软件方法•数据老化设计数据仓库中数据的存放时间周期和对过期数据的老化方法，如历史数据只保存汇总数据，当年数据保存具体记录然而，元数据管理贯穿于整个系统的建设过程中，元数据是描述数据的数据在数据采集阶段，元数据主要包括下列信息:•源数据的描述定义类型、位置、结构•数据转换规则编码规则、行业标准•目标数据仓库的模型描述星型/雪花模型定义，维/事实结构定义•源数据到目标数据仓库的映射关系函数/表达式定义•代码生成转换程序、自动加载程序等在数据管理阶段，元数据主要包括下列信息:•汇总数据的描述汇总/聚合层次、物化视图结构定义•历史数据存储规则位置、存储粒度•多维数据结构描述立方体定义、维结构、度量值、钻取层次定义等在数据呈现阶段，元数据主要包括以下信息:•报表的描述报表结构的定义•统计函数的描述各类统计分析函数的定义•结果输出的描述图、表输出的定义元数据不但是独立存放，而且对用户是透亮的，标准之间可以相互转换
1、培训目的
1.1改善部门各级各类员工的学问结构、提升员工的综合素养，提高员工的工作技能、工作看法和行为模式，满足部门的快速发展须要，更好的完成部门的各项工作支配与工作目标
1.
2、加强部门各级各类员工职业素养与敬业精神，增加员工服务意识与服务水平，打造高绩效团队，削减工作失误，提高客户满足度，提高工作效率
1.3提升部门凝合力、吸引力、向心力和战斗力，为部门进一步发展储备相关人才
1.4熬炼员工的学习表达实力
1.5完善部门各项培训制度、培训流程以与建立系统的培训体系，实现各项培训工作顺当、有效实施
2、培训原则
2.1以部门战略与员工需求为主线
3.2以素养提升与实力培育为核心
4.3以针对性、好用性、价值型为重点
5.4以项目式培训和持续性培训相互穿插进行
6.5坚持理论与实践相结合、学习与总结相结合
7.6坚持部门内部培训为重点、内训与外训相结合
2.7坚持学历性教化培训和岗位培训相结合
2.8实现由点、线式培训到全面系统性培训转变
3、培训的实施
3.1培训内容的确定部门全部成员对自己要培训的需求提出建议，相关负责人收集并统计,依据统计结果，按需求量较大或需求的紧迫性来确定培训的内容
3.2培训方式分为正式培训和技术沟通正式培训须要讲师打算、有关课件，利用投影等设备进行讲授，并进行培训效果考核和学员成果考查技术沟通可不打算课件，干脆采纳即兴口头演讲的方式进行
3.3培训时间依据学习要求，不定期进行有关主题内容的培训
3.4讲师支配讲师实行报名制依据部门发布的员工培训需求统计结果，选择自己熟识或感爱好的培训科目报名部门经理依据报名状况确定讲师人选
3.4培训效果评估
3.
4.1培训后，参与人员对培训的讲师、培训的内容、总体效果等做出评价
3.
4.210讲师打算个以内的培训内容相关的试题，受训者依据培训内容来做答，经讲师批阅后整理到员工培训考核成果表，并把成果表交由部门经理批阅，最终相关负责人存入个人培训档案
3.5奖惩方式0对于正式培训，培训完后，参与培训人员给讲师打分，依据打分状况赐予讲师、
123、、分积分0,1,2对于技术沟通，依据培训内容和效果，赐予全部主要参与者分不等的积分
0.51参与培训者考核合格后赐予、分不等积分年终累计积分，依据积分状况赐予嘉奖80%对于年终参与培训积分不足年度部门总培训积分的者，赐予肯定的惩处
4、培训材料
3.1员工培训签到表
4.2讲师应提前打算好培训的，假如培训项目开发学问应打算好实例
4.3培训内容相关的试题
4.4内部培训效果评估表
4.5员工培训考核成果表
5、相关附件附件一员工培训签到表培训内容培训时间培训讲师培训地点培训方式考核方式应到人数实到人数缺席人数出勤率序姓出席时间序离席时离席时间备注姓名出席时间备注0号名号间
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.评估项目好一般差课堂纪律培训总评学习看法讲师表达课堂氛围评估人/日期附件二员工培训考核成果表培训内容培训时间培训讲师培训地点培训方式考核方式序序号姓名理论得分应用得分姓名理论得分应用得分号
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.（70%）（30%）说明员工入职培训考核分为书面考核与应用考核两部分；考核标准为6060-70070-8080-9090分以下为不合格，分为合格，分为一般，分为良，分以上为优建设数据仓库的八个步骤摘要建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和运用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应当建立哪些决策主题关键词建设数据仓库建立是一个解决企业问题的过程，业务人员往往不懂如何建立和运用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务,不知道应当建立哪些决策主题，从数据源中抽取哪些数据因此数据仓库的项目小组应当由业务人员和信息部门的人员共同组成，双方须要相互沟通，协作开发数据仓库开发数据仓库的过程包括以下几个步骤
1.系统分析，确定主题建立数据仓库的第一个步骤就是通过与业务部门的充分沟通，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求附件三内部培训效果评估表部门姓名培训内容培训时间请就下面每一项进行评价，并请在相对应的分数上打课程内容很差差一般好很好优秀
1.5678910课程目标是否符合我的工作和个人发展须要
25678910.课程学问是否深度适中、易于理解
35678910.课程内容是否切合实际、便于应用培训师
45678910.培训师表达是否清晰、看法友善
5.5678910培训师对培训内容是否有独特精辟见解
65678910.培训师是否激励学员参与，现场气氛很好
7.5678910培训师对学员提问是否所作出的回答与指导培训收获
8.5678910获得了适用的新学问和新理念
9.获得了可以在工作上应用的一些有效的技巧或技术
567891010.促进客观地谛视自己以与自己的工作，帮助对过去的工作5678910进行总结与思索其它收获
11.A.B.C.D.整体上，您对这次课程的满足程度是不满一般满足特别满足
12100.您赐予这次培训的总评分是（以分计）_________________
13.15本次培训你认为那些内容对你的帮助最大.请您提出其他培训建议或培训需求
14.您认为课程或讲师最应改进的地方
1.说明填写完整后与时将本表交人事管理部；
2.请赐予您真实的评估看法，以帮助我们不断提高培训水平业务人员往往会排列出很多想解决的问题，信息部门的人员应当对这些问题进行分类汇总，确定数据仓库所实现的业务功能一旦确定问题以后，信息部门的人员还须要确定一下几个因素•操作出现的频率，即业务部门每隔多长时间做一次查询分析•在系统中须要保存多久的数据，是一年、两年还是五年、十年•用户查询数据的主要方式，如在时间维度上是依据自然年，还是财政年•用户所能接受的响应时间是多长、是几秒钟，还是几小时由于双方在理解上的差异，确定问题和了解问题可能是一个须要多次往复的过程，信息部门的人员可能须要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能的确是业务部门所须要的
2.选择满足数据仓库系统要求的软件平台在所要解决的问题确定后，其次个步骤就是选择合适的软件平台,包括数据库、建模工具、分析工具等这里有很多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准厂商的背景和支持实力，能否供应全方位的技术支持和询问服务•数据库对大数据量级的支持实力•数据库是否支持并行操作•能否供应数据仓库的建模工具，是否支持对元数据的管理•O能否供应支持大数据量的数据加载、转换、传输工具•能否供应完整的决策支持工具集，满足数据仓库中各类用户的•须要
3.建立数据仓库的逻辑模型具体步骤如下:1确定建立数据仓库逻辑模型的基本方法2基于主题视图，把主题视图中的数据定义转到逻辑数据模型中3识别主题之间的关系4分解多对多的关系5用范式理论检验逻辑数据模型6由用户审核逻辑数据模型
4.逻辑数据模型转化为数据仓库数据模型具体步骤如下:
（1）删除非战略性数据模型中不须要包含逻辑数据模型中的全部数据项，某些用于操作处理的数据项要删除
（2）增加时间主键数据仓库中的数据肯定是时间的快照，因此必需增加时间主键
（3）增加派生数据对于用户常常须要分析的数据，或者为了提高性能，可以增加派生数据
（4）加入不同级别粒度的汇总数据数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高粒度是数据仓库设计的一个重要因素，它干脆影响到驻留在数据仓库中的数据量和可以执行的查询类型明显，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限对数据操作的效率与能得到数据的具体程度是一对冲突，通常，人们希望建成的系统既有较高的效率，又能得到所需的具体资料实施数据仓库的一个重要原则90%就是不要试图包括全部具体数据，因为的分析需求是在汇总数据上进行的试图将粒度细化到最低层，只会增加系统的开销，降低系统的性能
5.数据仓库数据模型优化数据仓库设计时，性能是一项主要考虑因素在数据仓库建成后，也须要常常对其性能进行监控，并随着需求和数据量的变更进行调整优化数据仓库设计的主要方法是合并不同的数据表•通过增加汇总表避开数据的动态汇总•3~5通过冗余字段削减表连接的数量，不要超过个•用代码而不是描述信息作为键值•对数据表做分区•
6.数据清洗转换和传输由于业务系统所运用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到之前，必需进行数据的清洗和转换，保证数据仓库中数据的一样性在设计数据仓库的数据加载方案时，必需考虑以下几项要求•加载方案必需能够支持访问不同的数据库和文件系统数据的清洗、转换和传输必需满足时间要求，能够在规定的时间范围内完成•支持各种转换方法，各种转换方法可以构成一个工作流•支持增量加载，只把自上一次加载以来改变的数据加载到数据仓库
7.开发数据仓库的分析应用建立数据仓库的最终目的是为业务部门供应决策支持实力，必需为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求信息部门所选择的开发工具必需能够•满足用户的全部分析功能要求数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同如有的用户只是简洁的分析报表，有些用户则要求做预料和趋势分析•供应敏捷的表现方式分析的结果必需能够以直观、敏捷的方式表现，支持困难的图表运用方式上，可以是客户机/服务器方式，也可以是阅读器方式事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必需考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一样的界面。
个人认证
优秀文档
获得点赞 0
