作者 | 陈浩（交通银行、九卦金融圈专栏作者）

来源 | 九卦金融圈

数据资源

随着商业银行信息化的发展，产生了大量的非结构化难以共享的数据资源，这些数据资源存在大量非结构化的数据、数据分散性高、数据采集标准不一致等情况。在数据资源的实际应用中，开发一张新报表需经过需求编写等多个环节，这些流程繁琐，耗时较长，往往等到报表上线时，业务人员的需求已经发生变化，导致返工或者新上线的报表无人使用。

为解决上述问题，银行将各种异构的数据源通过ETL操作从而构建了银行企业级数据仓库，解决了大量数据难以共享、数据不一致问题；然后在以后的数据仓库基础上，通过构建商业银行BI自助平台，该平台提供了一种快速开发、快速迭代报表的方案，无论是技术人员还是业务部门分析人员可基于已建立的业务主题，快速迭代获取所需数据，从而减少人工数据处理的误差，提高工作效率，全面提升数据管理水平。

一、银行数据资源的现状

随着企业信息化建设的发展，银行建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作，进而产生大量的数据资源。

金融行业的大量数据资源因其行业特征有以下方面难点：

1.金融业务中存在大量非结构化的信息。金融行业的数据分析历史悠久、经验丰富，正因如此，积累了大量的以纸质化存在的业务数据，如合同文本等信息。

2.金融数据分散度较广。以商业银行为例，大量的数据会分散在总行、分行、二级分行等不同的层级中，并不完全集中在总行层面，更不谈不同机构之间的数据共享。

3.数据标准不一致。以个人征信业务为例，在不同数据库系统中，数据账户标准、数据编码标准、数据接口标准、数据分级标准、数据安全标准等方面都存在较大不一致。

4.信息孤岛现象严重。金融机构有很多异构的数据库系统且随着业务的发展外挂系统也难以融入核心系统，造成了信息孤岛问题。

银行如何处理大量的数据资源是一个研究的热点和难点。

国内金融机构经过多年信息化建设，也通过“先建设数据仓库，后人力开发报表”的传统解决方案积累了大量的数据，但是其产生的有限分析结果却极其有限。这种模式是由技术人员主导，技术人员很有可能不知道“哪些数据有用”，而业务人员则不清楚“有用的数据在哪”。而在数据运营时，两方面部门之间相互合作，难免会出现响应慢，灵活差，共享难等问题。

二、商业智能在银行的应用

商业智能（BI,Business Intelligence）的应用可以让业务用户完成自动数据抽取、自主数据分析、自助数据挖掘、自助数据可视化，甚至可以通过自然语言完成数据探索。将金融行业杂乱无章的数据变成简明扼要的分析结果及预测，除了在前段设计更优化的 UI 布局逻辑，在后端搭建数据治理合作平台同样重要。其中的所有流程都需要技术人员与业务人员打破隔阂、亲密无间、通力合作。

商业智能(BI)是利用数据仓库技术，将多种源系统数据，通过数据预处理（数据提取、转换、加载，ETL）存储至数据仓库，经由各种查询分析工具、联机分析处理（OLAP）工具或数据挖掘工具，实现对数据的收集、管理分析展现，并将业务及管理数据转换成企业决策可利用的信息。系统主要包括数据预处理、数据仓库、数据展现和数据挖掘四个模块。

三、银行数据仓库的构建

(一)数据仓库的概念

数据仓库，根据William H. Inmon在《Building the Data Warehouse》中的定义，数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程。数据仓库具有以下优秀的特点：

(1)数据仓库的数据是面向主题的。数据仓库里的数据是面向主题域进行组织的，而这些主题通常是用户使用数据仓库进行决策时所关心的重点内容。在银行的数据仓库中典型的主题有应收账款、理财产品、银银代理、电子票据、贷款、存款、客户等。

(2)数据仓库的数据是集成的。数据仓库里的数据可以来自多个分散的操作性数据，数据仓库的建立正是将数据进行提取、净化、转换、装载、编码统一的过程。

(3)数据仓库的数据是随时间而变化的。一般而言，企业数据仓库中数据的时间期限通常为3-5年，要远远长于操作型系统中数据的时间期限。

(4)数据仓库的数据是不可更新的。由于数据仓库中的数据是一系列某一时刻生成的复杂的快照，因此为决策提供数据时涉及到的操作主要是数据的查询。

(二)、银行数据仓库的构建

要实现对分散在各地且存储形式繁多的金融数据进行集成，建立科学合理的指标体系和信息采集机制，整合信息资源，建成一个体系完整、内容全面、质量较高、数据权威可靠，同时便于提取和查询分析的数据中心，数据仓库是最佳的选择。

银行数据仓库系统需要采集企业内部生产管理系统所有市场经营相关的数据源，包括核心业务系统、信贷系统、理财系统、特色业务系统、ECIF系统(企业客户信息系统)、风险管理系统、ECRM(企业级客户关系系统)等方面的信息，对其进行规范和整合，然后按客户资料、存款、贷款、理财、风险管理、特色业务等主题，将数据按照数据集市的形式存放，并提供多维报表和挖掘工具，为分析人员提供数据仓库系统和分析平台，解决此前分析人员所面对的数据分散、口径不统一、分析工作缺乏延续性等问题。

银行数据仓库的架构包含数据集成层、业务处理层、决策支撑层、数据展现层，如图1所示。

图1：银行数据仓库架构图

(1)数据集成层

数据集成层数据集成层，抽取现有业务系统数据，补充采集历史数据，导入外部数据，将这些数据进行汇集、清洗、转换(Extract-Transform-Load, ETL)以及分类存储的规范操作。抽取（Extraction）、转换（Transformation）、装载（Loading）这三种操作数据的工作就是我们通常所说的ETL过程，此过程非常的复杂，大约会占到数据仓库建立总时间的70%左右：

数据抽取：数据抽取的任务就是将数据源中的数据抽取出来，为数据转换和数据加载做准备。银行的数据源通常包含DB2、GaussDB、Kylin、MySql、FI、prestosql等多种数据源。

数据转换：数据转换的任务是将从数据源中抽取出的数据进行统一的转换，形成规则的、符合数据仓库要求的数据，为数据加载做准备。

数据装载：数据装载的任务就是将抽取出来且转换完毕的数据装载到数据仓库中。

大量数据资源经过ETL操作后，可以按照客户资料、存款、贷款、理财、风险管理、特色业务等主题不同的主题进行分类存放，并为后续提供有效的数据支撑。

(2)业务处理层

业务处理层，包括金融数据、元数据及业务处理应用系统，实现交互式数据访问、基本报表生成、数据共享、数据上报和数据维护等功能，通过对分类存储的数据进行加工处理，从而得到不同主题的数据，为决策分析提供应用支撑和数据服务。

(3)决策支持层

决策支持层是将统计型数据进行逻辑归类和主题建模，形成分析型数据，运用相应的经济模型，在线分析和数据挖掘等工具进行决策分析和预警分析等。

(4)数据展现层

由于不同用户对数据仓库系统有着不同的需求、观察角度和观察方式，数据仓库系统应该能够提供多种的数据展现方式来满足不同用户的需求。银行的数据仓库系统除了展现日常固定的数据应用支撑外，还可以通过不同的角色进行个性化的定制，结合不同用户的操作以及数据的分类方式，以报表、图形、office工具等各种形式进行展现，使得数据展现更加符合用户习惯。

四、商业银行BI平台的构建及应用

（一）商业银行BI平台的构建

由于数据治理及数据应用的需要，银行全面推进“集团数据管理运用平台”的建设工作。平台主体包括BI 自助分析可为全行各部门提供自助取数、自助分析、深度建模挖掘数据价值的一站式数据服务。

商业银行BI 自助分析可在满足总分行不同业务部门、不同族群用户多样化、个性化的经营管理、业绩考核、统计分析、数据挖掘场景，提高全行数据使用效率，培养业务条线数据分析专业化人才，建立数据共建共用机制，形成“用数据说话”的企业文化，进一步提升全行数据治理水平。内置集成的 BI工具，主要包括业务主题定制、组合分析、透视分析等功能，为用户提供自由探索、自助分析、自主分享的数据应用体验。

图2：商业银行BI自助平台架构图

商业银行BI自助平台的架构图，该图主要有数据连接、数据准备、分析功能、数据展现、数据查看5个功能构成，如图2所示。

(1)数据连接

数据连接是BI平台可快速连接系统提供的已建立业务主题的数据仓库、数据源表以及分行特色加工的数据集等数据资源，这些主题数据将为后续数据的处理分析提供数据支撑。

(2)数据准备

数据准备包含SQL数据集和自助数据集，SQL数据集是面向技术人员，自助数据集是面向所有用户。SQL数据集是对于部分系统提供的业务主题无法满足分析需求的情况，技术人员可自行创建SQL数据集进行后续的数据看板制作。自助数据集是一类基于个性化需求的数据集，用户可以根据业务需求，通过可视化的方式进行多表关联，保存成自助数据集。这些自助数据集允许被仪表盘、清单表、透视表进行数据分析应用。

(3)分析功能

分析功能是在数据准备后，利用数据挖掘技术，应用相应的经济模型对数据进行操作，可以借助多维分析、数据下钻、数据联动等满足日常对数据处理的需求，并为后续的决策分析和预警分析提供数据支撑。

(4)数据展现

BI处理好后的数据表系统，可通过各种类型的方式进行展现，目前商业银行可提供的展现方式包括清单表、透视表、折线图、柱状图、饼图、漏斗图、雷达图、混合图、富文本、筛选器、图片组件、散点图、仪表图、矩形树图、桑基图、指标卡、排行卡、标签组件、URL链接等组件。

(5)数据查看

数据操作间制作的数据看板存储区域，可通过数据大屏、电子表格、组合分析、透视分析的方式进行查看。用户可创建自己的统一数据看板，并通过OA、核心系统以及移动端进行数据的分享，也可通过其他用户分享查看自己的所需的数据，从而第一时间为决策提供依据。

经过BI平台的构建，商业银行BI 自助平台提供了一种快速开发、快速迭代报表的方案，无论是技术人员还是业务部门分析人员可基于已建立的业务主题，通过组合分析、透视分析等功能创建各类展示报表，根据需要从宽表中选择字段，并设置表头、表尾的展现样式。在数据源满足需求的情况下，可快速定制一张新的报表。

(二)商业银行BI自助平台的应用

在传统报表开发模式下，开发一张新报表需经过需求编写、方案设计、系统开发、技术测试、业务测试、投产上线等多个环节，流程繁琐，耗时较长，往往等到报表上线时，业务人员的需求已经发生变化，导致返工或者新上线的报表无人使用。业务人员可通过 BI 自助平台自行完成常规数据借用操作，取代传统手工取数或者技术人员后台取数的模式，压降常规性、重复性数据借用工单数量，进一步提升业务部门数据使用效率。商业银行的BI平台上线后已有2000多个应用，下面2个实例为商业银行BI自助平台的相关应用。

1.个人经营贷客户结算量系统

为了随时查看个人经营贷客户结算量相关的数据统计，同时为个人经营贷客户利率定价工作提供数据依据，依托总行的数据仓库BDHA的大量数据资源，定制开发个人经营贷客户结算数据，通过系统自动生成报表，解放人工，节约人力成本。

功能描述:

将个人经营贷客户及其对应企业的有效结算量及代发数据进行统计加工，便于分行进行参考定价，可以按时间范围进行灵活统计，统计的结果可以导出至EXCEL。

统计加工规则如下：

设定个人经营贷结算数据为个人对应企业结算数据+个人结算数据，具体模型规则设定如下：

假设客户所有个人账户每日流入为a，每日流出为b，则个人每日净流入为c=a-b(若净流入为负，即c<0,则统一取c=0)

个人经营贷对应所有公司账户每日流入为d，每日流出为e，则公司每日净流入为f=d-e（若净流入为负，即f<0,则统一取f=0)

则客户每日净流入x=(a/2+d)-(b/2+e)（若x<0，则统一取x=0）

则任意时间段内客户净流入为X=x1+x2+…xn，个人净流入=c1+c2+.....+cn,公司净流入为f1+f2+....+fn

同时为提升客户代发贡献度，考虑到系统统计中将对公客户代发也记为客户流出，故将客户代发单独进行核算，假设对公客户月代发为y，则任意时间段内代发额Y=y1+y2+…+yn。为提高客户对代发的重视程度，在最终测算时，将代发按四倍量计入客户流入。

因此修正后，将客户总结算流入量设为Z=X+4Y。

最后，为平衡客户贷款不同造成的差异，使用结算贷款比作为最终考核指标。

任意时间段内结算贷款比=客户结算流入量/日均贷款。

图3：个人经营贷客户结算量系统功能流程图

决策人员及客户经理可随时查看任意时间段的个人经营贷客户结算量情况，决策部门以及实施的相关人员角色可以结合市场实时的分析个人经营贷客户利率定价，促进了业务的发展。

2.非现场监管报表系统

数据质量管理是银行经营管理的基础工作，也是银行健康发展和风险管控的有效支撑。近年来，随着监管部门对数据质量的要求逐渐提高，报表数据逐渐增多，为实现对基层减负，减轻基层辖行工作量，同时减少人工数据统计的误差，提高工作效率，全面提升数据管理水平，采用BI工具一次制作、永久使用，减少重复劳动，提高效率，快速准确的按照要求提供所需数据。

系统设置了“分行数据导入”、“省行数据导入”、“展示报表”、“数据对比”四个模块。

一是创建了数据归集平台，将辖行的零散数据集合起来，可实现数据有效集中，减少人工统计的压力和误差，打破分行间数据孤岛的局面，为后续的决策管理与数据服务提供强大的数据支撑。

二是实现数据赋能，统一数据管理是利用大数据在数据分析方向的创新探索，数据分析方法和模型同样可用于其他业务板块，为全行业务协同发展奠定坚实基础。

报表总分核对系统创建了数据归集平台，将辖行的零散数据集合起来，可实现数据有效集中，减少人工统计的压力和误差，打破分行间数据孤岛的局面，为后续的决策管理与数据服务提供强大的数据支撑。

非现场监管报表总分核对系统可促进全辖数据共享机制的形成，实现科技赋能。有效减轻基层压力，减少经营单位数据报送工作，由系统取数，简化工作流程，提高工作效率，实现为基层减负；同时可提高数据统计质量，持续提升统计队伍素质，推动统计制度建设和数据质量管控长效机制健全完善，夯实数据质量基础，提升统计分析能力。

商业银行BI的构建不仅解决了大量数据难以共享、数据不一致问题，提升了数据质量；还提供了一种快速开发、快速迭代报表的方案，减少重复劳动，提高工作效率。商业银行BI平台为决策管理与数据服务提供强大的数据支撑，提高了全行工作效率，同时也提升了银行的数据管理水平。