随着银行业同互联网、供应链、个性化终端等相关领域的合作日趋密切，各类数据也随之迅速膨胀并呈现出几何级数的增长。虽然有些银行可能还没有意识到数据爆炸性增长带来的问题， 但是数据对于银行的重要性已经成为业界的共识。当前， 金融行业正面临着大数据和数据管控带来的挑战。

　　大数据带来的四大挑战及 应对策略

　　“对于银行决策者而言，大数据处理分析是对多个数据源进行快速、可扩展的数据分析，从而支持商业目标。”交通银行股份有限公司数据中心副总经理周彦倜表示， 大数据处理分析对银行的价值在于对现有业务运行模式的评估、对金融产品利润点的预测以及对未来运营模式的趋势分析，从而优化业务流程、扩大客户群体、提升用户体验、增加业务利润、塑造良好的社会形象。

　　当前金融行业面临的大数据挑战一方面来自于银行源源不断的创新产品和新业务;另一方面来自于传统数据中心架构的性能问题。周彦倜认为，在大数据的实际应用中，商业银行可能面临四大挑战。

　　一是，数量庞大： 数据的规模庞大、增长速度快， 从T B ( 1 0 0 0 G B ) 级别， 跃升到P B (1000TB)甚至EB(1000PB)、ZB(1000EB)级别。

　　二是，类型多样：数据的类型繁多、构成复杂，除了传统的结构化数据外，还包括了文字、语音、视频、文档、图片等多种非结构化数据。

　　三是，分析规则复杂：数据的价值潜力巨大，但隐藏较深，需要综合多种复杂的分析算法对数据进行“提纯”。

　　四是，时效性要求较高：数据的处理速度快、时效性强，要进行实时或准实时的处理，并实时反馈处理结果。

　　面对以上挑战，周彦倜认为商业银行的应对策略包括以下内容：搭建成熟稳定的大数据技术平台和数据基础，同业务部门紧密沟通， 明确数据处理目标及产出物，根据具体需求，预设、制定分析模型及流程并在实践过程中完善优化。

　　横向扩展是大数据IT架构应该具有的基本特征。“ 只有通过有效组织的大数据， 才便于管理和使用。”周彦倜基于交通银行的工作实践具体阐述了大数据技术平台的构建。例如交通银行数据仓库模型已将交通银行各个业务系统的数据集中、整合到一个统一的数据平台，实现交通银行客户、账户、产品、渠道、交易等信息的单一视图和信息共享，从而为客户管理、风险管理、运营管理、绩效管理、财务管理等各类管理分析提供支持和服务。目前，交通银行的数据仓库处理平台已经涵盖了核心账务、信贷管理信息、国际业务、贷记卡、个贷、基金、网银、银保通等100多个业务系统的主要数据，数据量超过70TB。这个统一处理平台承担数据的整合、加工、在线数据查询、数据分析、数据分发、数据提取等功能。

　　不同的商业银行其大数据处理平台的技术和流程特点也各不相同。对此，周彦倜表示， 总体来说， 大数据的主体是非结构化数据。在当前的数据构成上，80%的数据是非结构化或半结构化的，结构化数据仅有20%。目前，业界对于结构化数据的处理和分析已经较为成熟，而对于非结构化数据的处理和分析才刚刚起步。

　　“大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些有意义的数据进行专业化处理。相比传统的数据仓库应用，大数据分析具有数据量大、查询分析复杂、实时性等特点。” 周彦倜表示， “ 其中， 大数据分析对数据的处理速度要求时效性之高，更是同传统的数据挖掘技术有着本质的不同。”

　　以交通银行实践为例，交通银行数据中心对于大数据的处理主要分为处理“结构化数据”的数据仓库平台及处理“非结构化/半结构化数据”的应用日志集中分析平台。其中，交通银行的数据仓库采用了业界领先的Teradata海量并行平台和成熟的基于3NF的金融业数据模型，存量数据超过70TB，每日约处理600G左右的结构化数据。应用日志集中分析平台则是以业务应用日志集中存放为基础、大数据处理工具为引擎、以“数据预处理、数据索引建立、数据规模化搜索分析” 为技术手段，目前已集中应用日志数据10TB，每日处理渠道类、业务类系统数据超过200G(压缩后)， 实现了对重要业务数据的集中分析处理。

　　据周彦倜介绍，交通银行信用卡中心的大量服务基于电话完成，客服、电销、信审、催收等部门包括自有和外包的电话座席人员总计数千人，而且随着银行业务的不断扩展，人员规模还在持续增加。由于业务繁忙、工作压力大，员工的流失频率高，服务质量控制难度大。针对以上问题，交通银行信用卡中心着眼于“ 大数据” 的挖掘和分析，通过对海量语音数据的持续在线和实时处理，为服务质量改善、经营效率提升、服务模式创新提供支撑，从而全面提升运营管理水平。实现这一目标的关键是采用智能语音云(Smart Voice Cloud) 产品对海量语音数据进行分析处理。智能语音云是新型数据服务平台，它采用了大规模异构数据的高效存管和流式数据处理机制，实现了海量语音数据的归集、处理、存储、调用和分析。交通银行信用卡中心的智能语音云始于2011年9月， 2012年2月11日一期产品正式上线投产。目前，数据处理时效采用T+1 的准实时方式，每天平均数据处理量约5000小时、20GB，高峰日超过100GB，历史语音检索调听花费的时间从3～5个工作日缩短为5分钟，检索反馈时效低于100毫秒，调听反馈时效低于1秒，系统整体可用性达到了99.9%，达到了预期的指标， 取得了令人满意的效果。目前，交通银行信用卡中心正基于当前平台陆续增加自动质检和业务分析应用，预计该应用实施完成后，质检覆盖率可提高到70%以上，违规行为检出率可提高到15%以上。

　　交通银行数据管理战略实践

　　作为我国首家股份制商业银行，交通银行也是第一家登录国际资本市场的商业银行， 在信息化建设过程中， 先后经历了“ 基于网点的微机应用阶段” 、“ 基于同城集中式的小型机应用阶段” 和“ 基于全行的数据大集中应用阶段”。

　　经过近几年的建设，目前，交通银行数据中心已完成数据仓库系统及应用日志集中平台搭建，并基于这两个平台， 建设完善了数据仓库模型、数据提取平台、应用日志分析平台等， 为业务部门及数据分析部门服务。在大数据集中基础上， 交通银行在数据管理及数据安全、数据备份、数据清理、数据借用、数据修改、敏感数据处理等方面均实行了规范的流程管理。在数据安全方面，通过安全监控平台对应用日志、网络日志中异常的访问、安全漏洞进行监控和预警。

　　对于数据分析对银行业务发展的重要作用，周彦倜表示， 有价值的数据分析结果不仅为交通银行技术部门所使用，更重要的是为客户、为业务部门服务。周彦倜介绍，在交通银行数据中心，各应用系统负责人会定期同对口业务部门组织“业务沟通会”，深入了解业务部门的需求;围绕业务较为关注的定期数据提取需求，搭建“数据提取平台”，为业务部门定制开发需求模板，并最终由业务人员直接操作平台进行数据提取和分析。大数据可以为市场决策提供强大的信息参考，但它无法直接影响业务结果和销售业绩;使用大数据分析结果作为决策参考，改进流程和产品，应是技术部门、业务部门共同努力的目标。

　　“中国有着庞大的用户群体和应用市场，探索以大数据分析为基础的解决方案，是银行提高自身竞争力的重要手段。”周彦倜表示， 在“大数据时代”，银行所面临的竞争不仅仅来自于同行业内部，外部的挑战也日益严峻。互联网、电子商务等新兴企业在产品创新能力、市场敏感度和“大数据”处理经验等方面都拥有明显的优势，一旦涉足金融领域，将对银行形成较大的威胁。近期，阿里巴巴已开始利用大数据技术提供金融服务，通过旗下的阿里巴巴、淘宝网和支付宝等电商平台的各种信息数据，借助大数据分析技术自动判定是否给予企业贷款，全程几乎不用人工干预。这种基于“大数据”分析能力的竞争优势已凸显出来。

　　自2006年成立至今，交通银行数据中心在信息化道路上不断探索和创新。对于交通银行数据管理战略走向，周彦倜表示，未来，交通银行会基于已有平台的数据基础和技术手段，深入挖掘海量数据中对业务、客户的有效信息，使庞杂多变的数据在过滤加工后变得更有价值;同时，探索大数据处理同现有业务流程间的关系，将数据结果自动转化为产业价值。