2010, 加快实施新资本协议 建设全面风险管理体系, 《中国金融电脑》第06期。
2012-10~2013-10,中国光大银行基于互联网以及大数据挖掘的风险预警平台。
2010, 加快实施新资本协议 建设全面风险管理体系, 《中国金融电脑》第06期。
2012-10~2013-10,中国光大银行基于互联网以及大数据挖掘的风险预警平台。
文章《实时计算在银行的思考与实践》将风控在实践中的挑战总结为以下几点:第一个是复杂算法的问题,第二个是复杂计算的问题,第三个是实时计算的问题。文章在此基础上,进一步指出,目前遇到的问题主要有几个:第一个就是银行的设施、云平台、大数据平台以及技术站能不能支持大规模的并行计算;第二个是在算法上还有复杂计算问题;第三个是图形计算的问题;第四个是在进行反欺诈和反洗钱过程中,银行可能会遇到流式计算的问题。
马波专家指出,从业务需求上来看实时计算的应用,首先风控的问题就是客群下沉,渠道的多样化,产品多样化的问题;从获客的角度来看,主要面临的是客户需求越加复杂,客户线上渠道的流量的增长。马波专家进一步分享到,在针对性的风控手段方面可以通过实时性的欺诈检测、更敏捷的产品迭代实现;在敏捷的产品迭代这块,业界当前较为主流的技术是云端的开发和容器技术,能够很好的解决产品迭代,敏捷服务,快速部署,运营维护的这些问题;在实时性的欺诈检测和流式计算的问题上,现在较为主流的技术是一个称为Flink的总线技术。
在当前的工作实践中,马波专家认为在关注客户和交易的运营管理时最核心的问题是,银行能够精确地进行事件的捕获,并且对事件捕获有快速算法进行及时响应。一方面,实时的关系图谱的方法可以用于捕获这种贷还业务、群体欺诈业务的数据信息,因为只有从关系相关性当中,银行能找到欺诈特征和欺诈群体的一些控制方法;另一方面,银行也可以进行自主研发,在实践中也尝试对金融的特殊词的编码训练,在词的关联特征的金融表达方面做一些探索。
马波专家通过对大数据发展历程、银行数据转型思路例子的介绍,提出了线上化转型对数据的要求:一是在数据流上的事件捕捉;第二个要求是多元数据实时整合;第三个要求就是敏捷迭代,主要考虑如何更快的迭代产品,响应客户需求,在运营端可能是需要快速更新迭代模型、产品和策略;第四个要求是处理实时化,即线上场景时效性极高,如何应对欺诈的线上化与智能化,在技术上要实现需求,技术上保证数据反馈的可靠性、稳定性和实质性。
实时计算就是一个实时的数据处理,实时的数据应用,还有实时的数据接入,主要是处理高频大规模的数据流,还有就是数据流上的复杂事件的实时检测反馈和决策,更全面的数据接入和整合,更敏捷的开发效率,更强的故障恢复性,能严格地计算准确性。马波专家强调,这些问题也需要大家积极思考和应对,只有这样才能让大数据真正地得到应用和落地。
马波专家介绍到,Flink一是具备分布式架构,微服务架构与Hadoop架构的全面支持;二是具备多层次语法,满足清晰、易理解的SQL语法和灵活性极高的DataStream API满足各应用场景;三是能进行及时的流处理,具有时间窗口机制、迟到数据处理机制保证计算结果的实时性和准确性;四是具有丰富的外部接口,能全面对接数据存储,满足各种数据接入与输出场景;五是有机器学习支撑,能够实现端到端的数据处理,实现特征到模型预测的闭环反馈。在技术原理上,Flink把传统的select这种查询语句进行了一个项目化的拆分,即把它的传统的数据库的这种操作创新后变成了一个并行操作,大大的提高了效率。Flink的平台组建主要包括三个层面,一是数据服务层,多样化的存储引擎提供丰富的数据接口,全面对接银行数据场景;二是实时计算层,Kafka用于与服务的解耦,Flink对接数据服务层,承载了核心的实时计算需求;三是微服务层,场景模块化,容器化的部署,提供对外输出服务的能力。
马波专家指出,在银行的智能运营体系中,实时计算作为数据总线,支撑了银行服务中台的建设工作;在风险场景中,实时计算服务风险业务,下承离线数据与图数据,对接业务端口数据流,成为整个数据链路的核心枢纽。其次,马波专家进一步分享了实时计算应用案例和在业界的进展(信贷反欺诈和实时用户画像)。最后,马波专家总结了实时计算的思考与未来。他认为,目前实时计算技术还是不够成熟,主要在几个方面:存储方面,还没有统一的解决方案;实时与离线数据链路割裂的问题;技术组件分散化的问题;用户端的需求不足等。
因此,在此基础上,马波专家提出了两点趋势思考。一方面是数据实时化。未来,业界需求将集中在以下几个方向,打造全面的实时端产品,驱动数据流的更好的开发与利用:一是实时的数据流接入,围绕实时计算的数据存储;二是实时的数据流计算,以数据流为驱动的产品和应用方向;三是实时的机器学习与模型迭代,在线模型迭代、模型流水线开发和分布式部署;四是实时的报表展示,针对实时BI场景的解决方案。另一方面是流批统一。过去是批处理的这种方式,那么未来是要转化到流式计算的这种方式。
来源:TGES2020前沿讲座系列11:金融科技核心技术与应用——马波《实时计算在风险管理中的应用》
文章《加快实施新资本协议,建设全面风险管理体系》指出,新资本协议实施的难点及需要注意的问题在于数据基础差、实施范围广、专业人才匮乏、跨部门协作要求高、监管要求的不确定性、IT系统要求高。马波专家通过对新协议对中国银行业稳健发展的分析指出,实施新资本协议是对风险管理体制的再造,旨在建立一个将银行治理结构、战略、偏好、政策、流程、文化和工具融为一体的全面风险管理体系。因此,尽管新资本协议不是强制性法律,真正的约束力局限于十国集团,但其影响力非常广泛,包括中国在内的很多国家都明确宣布采纳新资本协议作为本国的监管规范,一些先进的银行都采取积极措施,力争早日实施新资本协议。这已经成为当今国际银行业风险管理发展的大趋势。
来源:《中国金融电脑》,2010年6期