数据仓库系统设计文档

数据仓库系统总体设计摘要本文档为XX通信公司网上通信记录查询平台设计说明书，为XX通信公司网上通信记录查询平台详细设计的之要依据本文档的主要阅读对象为XX通信公司网上通信记录查询平台的详细设计人员经过需求分析调查，确定了数据仓库系统总体定位和系统功能需求现根据需求分析规定和局具体情况，确定数据仓库整体方案，以指导数据仓库系统研究、开辟、实现关键字指标；主题；数据仓库；联机分析；数据挖掘；决策支持概述1背景

1.1本软件全称为XX通信公司网上通信记录查询平台术语定义

1.2DW数据仓库DC数据中心OLTP在线事务处理OLAP在线分析处理BI商业智能DSS决策支持系统SOA面向服务的架构EA企业架构ETL数据抽取、转换、加载Statistical Paramet指er标Subject主题DataMart数据集市MetaData元数据OLTP On-LineTransactionProcess Dng联机事务处理DSS决策支持系统AS应用服务器服务器型号HP DL580CPU英特尔至强E73704核，

2.40GHz,8M查询用户账户余额，充值记录ER图如图查询办理过的业务类型

4.4用户查询自己办理过的业务类型ER图如图查询用户一年内短信与通话月情况表

4.5用户查询自己一年内短信与通话月情况表ER图如图各个数据层表结构设计5」业务数据层5业务层的数据又称操作型数据，它是最原始的数据，是其他层次上数据的源数据业务数据层的数据通常是很细节的数据，它们是经过日复一日积累起来的，而且访问频率很高，是面向应用的数据本系统中在这一层上主要包括的数据有短信记录、通话记录、扣费记录、充值记录以及业务办理记录这些数据未经集成，是最原始的数据逻辑上，这些数据都是以二维表的形式存储，它们的表结构分别如下，类型是否主表字段名中文字段数建可否为空名User_name用户名Char20是否Phone_nuNumber手机号码否mberSend_time发送时间Date否Message_t信息类型CharlO否ypeReceive_nu否对方号码NumbemberBasic_fee否基本话费Float表-1短信记录表字段名中文字段m号类型是否主锭:可否为空名User_name用户名Char20是否手机号码N imber否Phone_numberStart_time i否置话起始Date时间Call_location通话地点Char20否Longtrip_type长途类型Char10否Call_type通话类型Char10否Call_time通话时长Number否Receive_num Number对方号码否berBasic_fee基本通话Float否费Longtrip_fee长途费Float否表・2通话记录表字段名中文字段数据类型是否主键可否为空名User_name用户名Char20是否Number手机号码否Phone_numb erDate时间否Chargeback_Date_____________Char20套餐及功能否Package费NumberFee circle费用周期否FloatFee费用否表・3扣费记录表字段名中文字段数据类型是否主键可否为空名User_neme用户名Char20是否Number手机号码否Phone_numbe rRecharge_dat Date充值日期否eRecharge_resBoolean充值结果否ultRecharge_am Float充值金额否ount表-4充值记录表字段名中文字段数据类型是否主键可否为空名User_name用户名Char20是否手机号码Number否Phone_numberBusiness_na业务名称Char20否meHandle_date办理口期Date否State状态Booolean否表-5业务办理记录数据仓库层

5.2数据仓库层的数据是又业务层的原始数据经过ETL得来的，具有一定的集成度在本系统中，用户查询一段时间内的短信、通话记录、充值记录以及办理过的业务所得到的数据即是这一层的数据这些数据在逻辑上也是以二维表的形式存储的，具体如下表字段名数据类型是否主键可否为空中文字段名User_name用户名Char20是否Number手机号码否Phone_numberQuery_circle查询周期Number否Qyery_date查询日期Date否CharlOOMessage_reco短信记录否rd表・6短信记录表短信记录表是从业务数据层的短信记录中抽取得来的表字段名中文字段数』居类型是否主镇£可否为空名User_name用户名Char20是否Number手机号码否Phone_num♦erQuery_circle查询周期Number否Qyery_date查询日期Date否Call_record通话记录Char15O否表-7通话记录表通话记录表是从业务数据层的通话记录中抽取得来的查询充值记录以及办理过的业务也是从相应的记录中抽取得来的数据集市层

5.3数据集市层的数据时由数据仓库层的数据经过ETL得到的，它的集成度更高，粒度也更大用户查询一年内的短信与通话月情况得到的数据即是这一层的数据，具体二维表如下表字段名中文字段数据类型是否主键是否为空名User_name用户名Char10是否手机号码Number否Phone_numberYear_month年份月份Number否查询日期DateQuery_date否NumbeMessage_aou短信条数否ntFloatFee费用否表・8月短信情况1表字段名中文字段是否主键是否为空数据类型名User_name用户名Char10是否手机号码Number否Phone_numberYear_month年份月份Number否Query_date查询日期Date否通话总时Numbe否Calltime_aount间Fee费用Float否表・9月通话情况个体层

5.4个体层的数据往往是暂时的，费重复的考虑到用户查询自己的余额的得到的数据是随时可能变化的，而且余额与充值、套餐扣费、短信扣费、通话扣费等都有关系，在本系统中我们把账户余额放到个体层备份与恢复6数据备份方式

6.1备份备份系统中所有的数据全备份所需时间最长，但恢复时间最短，操作最方便,当系统中数据量不大时，采用全备份最可靠量备份只备份上次彻底备份以后增加的数据分备份只备份上次彻底备份以后有变化的数据按需备份根据暂时需要有选择地进行数据备份数据恢复方式

6.2灾难恢复灾难恢复措施在整个备份制度中占有相当重要的地位因为它关系到系统在经历灾难后能否迅速恢复灾难恢复操作通常可以分为两类第一类是全盘恢复，第二类是个别文件恢复全盘恢复全盘恢复普通应用在服务器发生意外灾难导致数据全部丢失、系统崩溃或者是有计划的系统升级、系统重组等，也称为系统恢复个别文件恢复个别文件恢复可能要比全盘恢复常见得多，利用网络备份系统的恢复功能，我们很容易恢复受损的个别文件WebserverWeb服务器参考资料

1.3数据仓库课程课件林友芳概要设计说明书模板林友芳《实用软件工程》清华大学出版社系统设计2从充分发挥系统作为“数据库，信息库，思想库，智囊库”的作用，向用户提供“快、精、准”的通讯记录查询服务的需要出发，采用当今数据库领域成熟稳定的数据仓库、决策分析等技术，在高效的网络平台上建设提供一个“决策数据管理与分析中心”的基本解决方案系统采用多层体系结构，建立一个良好开放性的数据仓库系统环境，适应不断增加和变化的业务需求多层体系结构通过引入中间层组件，扩大了传统的客户/服务器和两层计算模式多层结构可由以下三类分层来定义前端的客户层，负责提供可移植的表达逻辑；中间的应用层，允许用户通过将其与实际应用隔离而共享和控制业务逻辑；后端的数据管理与服务层，提供对专门服务（例如数据库服务器）的访问结构化、层次化、模块化采用面向对象技术，使系统高度结构化、模块化、层次化，整个系统由接口定义良好的多个模块组成，每一个模块都有详细的功能说明和设计文稿，每一个模块完成相对独立的功能，模块之间的接口定义规范，使模块功能的变化相对独立，不影响整个系统的功能和结构，便于系统升级，维护具有良好的平台移植性选用支持多种操作平台的数据库服务器、应用服务器、WEB服务器等服务器软件系统，选用具有良好平台移植性的B/S和C/S模式下的开辟语言开辟应用程序和应用中间件，提高应用系统的平台移植性以最简单的方式实现复杂的功能为提高系统的稳定性和可读性，可维护性，尽量采用简洁易懂的方式实现系统功能，不追求复杂、深奥的算法层次结构

2.1应用层安全服务层WEB服务器WEB服务层也务逻辑层应用服务器■■■■■■■■数据存储层数据仓库（DW）整个系统在逻辑上分为三层原始数据层，中间逻辑层（业务逻辑层、WEB服务层、安全服务层），应用层原始数据层以统一规范的方式存储数据；中间逻辑层解析应用层的业务逻辑，使应用层和原始数据相互独立，提高应用层系统（程序）的可扩展性、可移植性；应用层面向最终用户，提供友好、简洁、方便的用户界面，具有良好的业务无关性系统用例模型图

2.2根据系统功能需求，用例模型图绘制如图系统用例图网络拓扑结构

2.3我们根据以下列出的几点，确定硬件系统结构系统已经拥有比较完备的内部网络系统公司数据仓库系统的数据、信息既能够在系统的网络内最大限度的实现数据共享，又能将可以对公众发布的信息分不同的级别向外界发布尽可能在网络设计上考虑防止黑客攻击、病毒传播等破坏数据的手段和方式尽可能利用现有网络系统，包括系统专有网，公共Interne网3政府办公局域网等我们设计了一个在物理上可以随时隔离或者连接、由两大部份组成的网络系统结构，如下图所示:女全评估uuasHi猫系统入侵椅测系统交换1000M0外部网络防火电I»«备份服务器四工服务湍矶虫服务器数据仓摩服务占工作站fla aar作站r作站I作站内部络M说明出于网络安全的原因，将整个网络分为内部网络和外部网络两部份内部网络与外部网络的系统机构基本相同外部网络基本上用在对外发布，不包括保密信息外部网络需要的发布数据从内部网络中通过ETL工具获得，存放在外部网络的数据仓库中外部网络经过防火墙、路由器与Interne相t连为保证数据安全，只在外部网络从内部网络抽取数据时，两者才是连通的（且要经过防火墙），其余时间两个网络物理隔离工作站分别为各个处室的个人PC机，也可以是单独的工作站，功能为向ETL服务器提供仓库所需数据及通过浏览器访问数据仓库数据信息ETL工具定期从各个处室的数据库系统抽取数据，且ETL服务器兼中间数据库服务器，抽取的数据暂时保存在ETL服务器上，在导入数据仓库之前容许修改考虑到数据仓库系统决策分析时需要大量数据信息，所以要求交换机容量应为1000M OLAP服务o器和应用服务器结合比较密切，在实际的应用中共享一台设备入侵检测系统是一台单独的设备，放在路由之后，起到防止非法入侵的作用安全隐患扫描系统可以运行在一台高性能的PC机上，提供及时的安全扫描，及早发现问题网络层次结构

2.4系统内核层数据仓库内部系统公共网络层:Internet外部应用层PC浏览器B/S其他客户系统整个数据仓库系统由内而外分为四层系统内核层包括数据仓库服务系统及应用系统系统安全层使用网络安全产品，与局现有网络系统兼容，保护内部数据安全，网上信息传送安全、防止黑客破坏或者恶意入侵公共网络层基于TCP/IP的城域网和广域网省局目前开通的帧中继网，使用现在已经建成的公共网络将数据、信息、知识发布出去外部应用层各种数据仓库系统的客户应用系统，通过外部应用系统用户可以获得系统提供的向外发布的各种信息处理流程

2.5指标数据抽取子系统通过读取ETL中间数据库中的抽取模型和清洗模型，把各个处室的数据暂存到中间数据库指标数据加载子系统读取中间数据库中的转换模型与加载模型，把中间数据库的数据加载到数据仓库中指标数据抽取子系统通用数据接口ETL（数据抽取.清洗.转换.加载）开辟及运行环境3中间数据库指标数据加载子系统数据仓库系统是一个跨平台、综合的大型应用系统综合用户习惯与系统效率等方面的考虑，整个数据仓库系统的各子系统将分别运行在不同的操作平台下，这些子系统密切合作，形成一个密切结合、高效的整体ODBC硬件环境

3.1基于高速网络环境服务器采用高档小型机输入界面客户端为高性能客户端操作系统

3.2服务系统运行于UNIX操作系统UNIX以其较小的内核、较高的运行效率著名，获得了服务器上主流操作系统的地位全球著名的硬件产商都有与自身服务器密切结合的UNIX操作系统（如IBM的AIX和SUN公司的Solarie,s HP的HP_UX）,能充分发挥系统的最大性客户端系统运行在Windows操作系统下全世界90%的PC用的是Windows操作系统,泛博用户已经习惯了Windows操作系统的界面、风格局几乎所有PC都是运行在Windows系统下的，数据仓库系统的客户端系统（包括系统管理、ETL工具客户端等）运行在Windows系统下能满足用户需要，缩短系统投入使用的培训时间开辟语言

3.3JAVA语言最先由网景公司利用在WEB上，是最好的跨平台开辟语言，是当前B/S模式的首选开辟语言；C语言最先在UNIX系统下使用，是一种执行效率非常高的高级开辟语言，C++的浮现使C语言包含了面向对象概念，C++语言也得到了日益广泛的应用，是C/S模式的首选开辟语言数据库系统

3.4数据库系统采用Oracle9,i Oracle9i是Oracle公司对数据仓库支持最好的数据库系统，它的复合索引，物化视图等技术可以使数据的查询效率有很大提高系统运行环境

3.5本系统运行环境需求如图系统运行环境逻辑结构图351数据仓库服务器环境要求服务器型号HP DL380CPU英特尔至强E5520（4核，

2.26GHz,8M三级高速缓存）内存6G操作系统UNIX352数据仓库管理服务器服务器型号HP DL360CPU英特尔至强E5504（4核，

2.00GHz,4M三级高速缓存）内存4G。