捷希源邮储银行大数据测试研究与实践

]article_adlist-->

文/中国邮政储蓄银行软件研发中心闫宝旺黄静王莉

数据作为新型生产要素，国家对数据的重视程度已达到前所未有的战略高度，从目前各行业数据管理及应用实践来看，大多面临数据质量及应用效率的双重挑战。大数据测试对于确保数据质量、保障系统稳定性、提升业务处理能力等方面具有重要意义。通过有效的大数据测试，可以发现潜在问题，提高数据准确性和利用率，增强数据造血能力，释放数据要素价值。邮储银行深入研究并制定标准化大数据测试工艺，积极开展技术创新，自主研发大数据测试服务平台，提升数据测试能力，保障全行数据质量，降低潜在业务风险，为银行产品和服务创新奠定坚实的基础。

]article_adlist-->

大数据测试面临的挑战

为保障全行数据质量，赋能数据应用，软件研发中心深耕大数据测试领域，实现行内大数据类工程测试实施全覆盖。在此过程中积累了很多经验，也面临不少痛难点问题，总结为以下几个方面。

1. 测试技能门槛较高。伴随着海量数据（维权）处理和多样化业务场景需求，对测试人员的专业技能提出了更高要求。技术方面应熟悉大数据生态圈，具备复杂业务逻辑的SQL脚本编写能力；业务方面需深入理解银行业务知识，熟悉上下游业务系统的数据加工规则和取值逻辑。

2. 业务场景覆盖不够全面。大数据测试具有数据量大、数据复杂多样等特点捷希源，且测试环境资源受限，数据量、数据内容与生产环境存在较大差异，难以满足真实的业务场景需求，数据的不充分性往往对测试结果的可靠性造成一定的影响。

3. 脚本管理不够规范。在数据测试领域，开发、测试人员通常将测试脚本存储在本地环境中，难以实现版本维护及工程之间的复用，且脚本编写质量参差不齐，缺少统一的线上化管理、版本控制和质量检核工具。

4. 手工测试效率较低。大数据业务复杂且数据量庞大，涉及数据库表和字段众多，传统的手工测试仅能采用抽样测试，覆盖率和执行效率较低，回归测试成本高。复杂SQL关联分析难度较大，缺少自动化、可视化的工具，人工检核费时费力，且容易出错。

]article_adlist-->

打造大数据测试质量保障体系

1. 构建大数据测试方法论。经过多年的大数据测试实战摸索，针对数据质量测试、数据业务测试等多种测试类型，以邮储银行测试管理体系为基础，形成数据仓库测试、报表测试、模型测试等实践指导手册，100%覆盖数据集市、数据中台、监管报送、分析报表类等系统，保障系统功能正确性和数据服务稳定性。

2. 创新大数据测试工艺。在总体策略方面采用灰盒测试，既关注系统输入输出，又关注代码逻辑及程序内部结构；在数据范围方面以静态数据测试为主，动态数据测试为辅，数据整体测试和重点数据抽样测试相结合，测试环境与验证环境双线并行，尽可能还原真实的业务场景。在数据测试领域拓展测试边界，践行测试左移，测试人员深度参与需求分析与设计，检查开发映射文档与业务需求的一致性，避免因规则定义错误而导致开发测试返工；同步开展测试右移，根据业务上线验收问题单，开展测试根因分析和复盘总结，反哺测试覆盖率的提升。

3. 定制化大数据系统测试策略。基于行内数据仓库、数据集市系统架构，采用分层测试策略：根据各层级映射逻辑，有侧重地开展数据质量测试、汇总指标验证和业务规则校验。而针对数据中台、统一报表等平台类、应用类系统，采用端到端的测试策略：测试人员基于源表梳理业务逻辑，从技术角度编写测试脚本实现端到端加工逻辑验证。从业务角度预先在源系统埋数，经过各层数据加工处理后，在下游系统验证整个链路的准确性。

4. 自主研发大数据测试服务平台。为解决大数据测试面临的技术要求高、数据量大、测试效率低等问题捷希源，软件研发中心自主研发大数据测试服务平台，提供数十种规则校验及跨库、跨表数据比对等功能。同时输出标准化测试模板，支持丰富多样的数据质量、数据加工测试场景，通过对数据测试底层能力的封装，以自动化、工具化的手段替代手工持续测试，提升数据测试效能。除测试环境，平台还部署至准生产环境，使用脱敏后的批量数据模拟实际生产环境进行测试，保障测试充分性。

5. 规范管理大数据测试资产。针对数据测试脚本大多保存在本地、无法复用的问题，依托大数据测试服务平台对测试脚本等资产进行线上化管理，实现脚本统一维护和版本控制。支持测试脚本按照规范自动检核，提高脚本编写规范性；支持SQL语句解读，形成血缘分析图，有效降低复杂SQL的关联分析难度，全方位提升数据测试效率。

图1 邮储银行大数据质量保障体系

]article_adlist-->

大数据测试体系应用效果及价值分析

1. 提升数据质量，助力全行数据治理。数据质量是银行业关注的焦点问题，大数据测试作为保障数据质量的重要防线，发挥着举足轻重的作用。在邮储银行2024年信息化工程建设过程中，依托完善的大数据测试体系，提前发现并解决的数据质量问题数较上一年度大幅提升，数据精确度和完整性显著提高，为业务经营、决策分析等提供可靠的数据支撑。通过测试套件集自动进行批量检测，对各系统开展常态化数据质量监控，实现数据问题早预警、早识别、早处理，有效促进数据治理的精细化与高效化。

2. 加速测试创新，促进测试提质增效。基于自主研发的大数据测试服务平台，实现数据测试自动化。当测试场景涉及海量数据时，借助平台将抽样检核升级为全量测试，大幅提高了测试覆盖率；针对行内通用的数据文件格式和内容进行验证时，单次文件检验已从小时级缩短至秒级，实现测试时长骤减。随着平台的持续应用和推广，累计编写和执行的数据测试脚本数较同期增长约一倍，实现测试质量及效率的显著提升。

3. 降低业务风险，赋能数据应用场景。通过实施全面精细的大数据测试，不仅能够提升数据质量，更能够预先识别并规避由数据偏差引发的业务风险。经测试验证的准确数据可以帮助数据分析师更好地挖掘数据潜在价值。在风控领域，大数据测试使风险评估和预警模型更精准，强化银行风险识别和防控能力；在客户画像和个性化服务领域，大数据测试可以保障客户数据准确性，以深入了解客户需求和行为特征，提高客户洞察能力。