「回顾」基于金融智能风控的实时指标处理技术

配套 PPT 下载，请识别底部二维码关注社区公众号，后台回复_【风控反欺诈】_

分享嘉宾：** 尹航 ** 邦盛科技高级技术专家

整理编辑：朱琴

内容来源：DataFun AI Talk《基于金融智能风控的实时指标处理技术体系》

出品社区：DataFun

注：欢迎转载，转载请注明出处。

本次分享主要包含以下三个部分：

Part 01 互联网时代面临的风控挑战

1.1 数据泄露、欺诈泛滥

现在是大数据时代也是互联网时代，这个时代最大的挑战：

第一数据泄露，无论是你的密码、银行卡卡号、密码相关的信息都可以买到；

第二黑产分子也考虑性价比，所以数据泄露极其严重不可阻挡，如何在泄露的情况下做到风控？黑产已成体系化，非常严重，盗库，撞库，洗库，验证多个环节；

第三互金激励了互联网的应用给客户带来了大量的便利，便利的同时也带来了相应的麻烦，银行传统的金融机构注重的是稳定，而互金注重的是速度。也就是说，一个年轻人需要借 5000 元，同时向几家贷款机构发起申请，谁最先给，后几家就不用了，所以特别注重速度，谈到的秒贷什么的，都出自于互金领域，银行面临着压力、竞争，因此银行也往这方面发展，互金从某种程度上在加大速度的同时，若风控等一些规则跟不上的话，就加速了安全的不稳定性；

第四各种各样的应用，包含直销银行，网上银行，各种先进的技术带来了业务的创新，但这种创新和技术不匹配，带来了滞后性。

1.2 现有的金融风控系统面临的挑战

风控反欺诈分为交易反欺诈和申请反欺诈。简单规则，硬性规则：比如“出国在外，经常接到电话，您消费超过一万元，这是您花的钱吗？是则过，不是则打住”，这样的规则是一视同仁，不需要平台，不需要经常改变，做到业务系统里即可，那现在的规则及其复杂；事后处理：对黑产分子、欺诈分子具有威慑作用，能够掌握到痕迹，各位想想我们不是公安系统，不是破案的，我们要把他拦在防范事件未发生之前，比如做交易反欺诈，来一笔交易，事中就拦截了，要在 100 毫秒内就给个答复，主动放行还是强验证，而不是过去了之后再去追查各种线索，现在目前大多数都是事后处理；业务人员很难做到实时的调整参数，等等各种调参，反映整个系统的灵活性不够；人工智能，机器学习，关联图谱，设备指纹等这些技术如何和风控、实时系统相结合，是摆在我们面前迫切的话题；对黑产的了解是魔高一尺道高一丈，还是道高一尺魔高一丈，刚才也有人问这样的问题，为什么模型用用就有问题了，当然是有数据问题等诸多问题，但其中不可忽略一个问题，任何一个模型，任何一个规则是有时效性的，而且这个时间是越来越短，建模人员了解了黑产的特征，建立模型或者说有相应的规则梳理出来了，那你就把黑产挡住了，能走过去，那说明他跳窗了，这个门就逐渐失效了，这是很正常的现象，所以说我们要对黑产的了解，基于业务不停的跟它斗争，就是说魔高一尺道高一丈；本身内部的数据，外部的数据如何获取，大数据时代不是代表着你的数据获取的越多越好，数据是有成本的，无论是金钱的成本还是人力的成本，这些成本需要考虑进来，要知道用什么样的数据合适，然后这些数据如何和系统结合，结合完后怎么能发挥作用，那么这就是个非常大的课题，所以说这是挑战。

1.3 大数据时代的机遇与挑战

到了真正的大数据时代，原来是以统计分析和 BI 平台为主，现在变成实时分析，原来都说历史数据分析作为趋势，然后再把分析出来相应的结果用于预测，这些分析一般都是以历史数据 (跑批数据) 结合，最后形成个预测的模型，那么现在我们要做到实时分析，实时决策，这个价值就非常大。

1.4 大数据处理: 批式 + 流式

数据的价值从它产生开始就逐渐降低，而且一开始时会显著降低；数据产生时叫热数据，一般超过了瞬时（秒级 / 毫秒级）就已经进入了温数据，温数据一般是在一天左右，价值下降；在往后就是冷数据，冷数据也有一定价值，比较稳定。原来所谈的大数据平台，或所利用的实时分析或各种分析模型，大部分利用冷数据来做的，那么今天分享如何利用热数据。

Part 02 实时指标处理技术体系

2.1 实时计算发展历程与目标

计算机进入实时处理时代，spark streaming、storm、flink 等流处理。最开始的时候用的简单数据库，延迟低，几十毫秒非常快，但它是个小量数据，在这个数据量下做到实时，没有问题；接着进入了数据仓库时代，数据仓库时代是大数据时代，大数据时代就面临着问题，超高的延迟，有时候算个东西算几天，几十个小时很正常；接着进入了以 Hadoop 为主的大数据平台，不是解决延时问题，是降低了成本；现在有 Flink，Spark Streaming 等各种流处理，这些流处理是能够降下来的，延迟能达到毫秒级，但它和业务结合是有一定问题的。在这里定义无状态和有状态，无状态是指拿到数据，还不知道怎么去利用它；有状态是指在拿数据时就知道怎么做；实际上我们原来这部分统称数据驱动，有数据了驱动相应的模型，而到这就称做逻辑驱动，需要一个逻辑或规则或者需要点东西，再去准备数据，其实邦盛平台就是这样做的，现在可以达到毫秒级微秒级。

2.2 金融机构客户行为管理指标体系

无论是人工智能，机器学习，关联图谱还是规则都离不开指标；在信贷领域，无论是交易反欺诈，申请反欺诈，登陆、收单、柜面还有行为等许多指标，但在这定义的指标既有价值也有权重；这些指标需要大量的梳理出来，下一步要知道什么是实时指标。

2.3 实时指标处理需求的业务场景和技术挑战

实时指标处理也就是热数据，它会用在哪些领域里？比如实时反欺诈，业界 100 毫秒的概念，够判断；一个交易过来，要 100 毫秒内进入风控系统里，给业务一个回馈，回馈主动放过还是强验证，而这个叫无感知；超过 100 毫秒就叫有感知，对客户体验不好，所以说应用在实时反欺诈领域里；另一个实时营销，能够快速的找到目标客户；再有实时授信，目前所说的秒贷，原来是几天或十几天才能批，现在能达到一天之内或几小时内或像那些优质客户能达到秒级；但真正说的是，只要申请，只要进来，马上就能审批到，这一定是个趋势，所以说谁能抢先占到了这个高点，公司的业务就能把别人甩出大截，业务会明显的上升；另外这里面还有些别的方式，比如说给证券行业，更是实时分析，它是基于微秒级的，为券商，散户提供相应的分析；再一个实时网络机器人，判断谁在跟我对话，是个真人还是台机器，一台机器会不断的占用带宽来读取，比如一些民航售票等等或者一些网站，带宽基本上被吃住了，因为它不断的查询你的额度或票目前的状态，占了大量的带宽，并不是说他是黑产份子，那么要给它限制流量，限制流量前要知道他是否是人，有的不是人也会伪装成人，他会用些随机算法，但是我会用标准差 / 方差方法仍然能找出他的痕迹，那就要给他适当的延迟或带宽短点；另外实时的 IT 运维，怎么能快速的反应；设备运行状态可以应用到公共领域，因此说实时指标平台是有广阔的应用场景。

2.4 实时指标计算的计算特点

实时指标计算的特点：长周期、多维度、大数据量。长周期：指标里含有半年，一年这样的参数；原来说一个小时，几分钟这叫短周期；一个银行卡号 / 一个身份证号，这叫小维度，海淀区或北京市所有安卓手机的用户这叫多维度；模型或规则里用到了这样的数据，那么它就是个典型的多维度数据；计算模式也是非常复杂的，比如说一个规则，如果一个银行卡号过来买东西，这个银行卡号关联的最近一个月（30 天之内）所购买的商品排名前 3 位，你的这次购买在不在这前 3 位之内，先从数仓里把和他相关联的所有的一个月内的数据取出来排序，而且是动态实时排序，排完序之后找出前 3 名再去比对，大数据做这么个决策如何在毫秒级完成?

2.5 实时指标体系的计算模式

2.6 AI 模型迫切需要实时落地

一般来讲，AI 模型要落地的话，有三种基本模式，一用规则教，是个形式化的方法；二用数据学，这是典型机器学习应用，是种统计的方法；三用问题引导，在实践中提升，是控制论的方法；无论是哪种方法，到我这来，一定是说是用规则集或评分卡或知识图谱等等，这里用到随机森林，GBDT，神经网络等等来支撑着 AI 模型。

2.7 大数据实时智能处理技术

要想实现快速决策，实时采集、实时加工、实时分析、实时决策这四步都不能少，每步都需要快速，哪个环节慢了，整个系统都会慢下来，会使得实时风控或热数据根本没办法好好的应用，那么我们是怎么做的？采集后要快速实时的进行清洗加工，加工之后，要按照一定的特色进行提取，最后返到决策系统，和传统的加工有什么不同；比如，做一道宫保鸡丁，现在有菜谱，只要一来胡萝卜就按照宫保鸡丁那样切好，放到冰箱里，一来鸡肉，也洗好切好，放在那，需要用的时候弄下就好，炒菜和数据不同的在哪，数据不一样可以复制成多套，按照多个菜单来，来个胡萝卜，要丁就切成丁，要条切成条，数据需要什么样的就洗成什么样的，等到决策的时候就像菜单炒菜特别快，这就是原理；还有一部分，是把源数据给到 T 数据处理平台，给机器学习用，机器学习一般分两个平台，一个是学习平台，一个是决策平台，学习平台也称是训练平台，训练平台大部分是以跑批的，大量数据为主，所以我们的数据要和跑批的数据结合，然后让它不断的训练，同时我的数据还能进到图数据库中，图数据库后由场景化就能进到复杂网络里，给这些关联图谱用，这些图谱最终汇合到决策平台，在决策平台里有个决策引擎，这个决策引擎光有规则就叫做单引擎，规则加上机器学习，叫做双核，按百分比决策，可调整；加上图的话，叫三核决策，所以说这两者并不矛盾而是相互补充的。

2.8 机器学习模型快速上线

机器学习如何快速上线，把决策前置，分成俩部分，一部分只要来了数据就存在流立方里，等到决策的时候，进行加工汇总就行；有了机器学习决策引擎，就需要特征，而这个特征一定要是实时的，如果做的不好就不能做到实时决策，这块就需要用流立方 /PipeACE 解决。

2.9 全栈式机器学习平台 - 智能学习平台

机器学习平台，邦盛也有采集，训练及应用为一体的机器学习平台，对于项目来说，用多种算法来算，用生存对抗的方式来看哪种方法或哪种算法或哪种模型最优，目前用 GBDT，随机森林较多，一般都会做至少 3 个以上。

2.10 全栈式知识图谱平台

知识图谱，如何定义边，定义节点，找出关系，而且要做到实时。

Part 03 邦盛实时指标处理产品的技术特点

3.1 邦盛提供的产品和方案

邦盛产品特点，产品非常单一，只做金融反欺诈及互联网授信，以技术为主，从战略、咨询、策略、模型、数据、到平台一个完整的系列。

3.2 邦盛对金融风险控制系统建设的理解与实践

邦盛有设备指纹，黑手机号等等相关的数据，重点来谈，流立方、PipeACE，关联图谱，机器学习，如何建模，无论是咨询到产品落地，以及到相应的服务都提供。

3.3 实时指标处理平台在整个系统架构中的位置

实时指标处理平台在整个的风控体系或金融体系里处于什么样的位置，虽然是很小一块，数据来了，实时的存在指标平台里，与菜单相关联，再与实时指标处理引擎相配合。

3.4 指标系统与相关系统的交互

存储存什么，把各种各样的指标拿过来，而且这些指标存的是中间结果，且是增量，然后用实时引擎来处理。

3.5 复杂业务场景中实时指标计算

基于复杂业务场景的指标计算，包括采集多源，比如说对接多种数据源，不是一个个的对接，而是从某种程度上说，找到通用的接口，接着要实时的加工，ETL 处理有 PipeACE ，然后实时计算由流立方处理，计算有多种方式，基本上涵盖了目前规则所用到的各种各样计算，按时序处理：比如有条规则银行卡在过去 10 天内的交易 1 万元的次数大于 20 次，过去 10 天而不是传统意义上的 10 天，而是从现在这个时刻起，过去 24 小时算一天，在 1 月 1 日，来了笔交易，交易额 1 万 8，在流立方系统里存的 1，等到下午再来笔交易，1 万 2，也大于 1 万，系统里记为 2，1 月 1 日存的是 2，1 月 3 日存的是 1，1 月 4 日存的 5 等，把过去 10 天的数据累加即可；比如现在达到 19 次了，来了笔 2 万 4 的交易，就 20 次了，给他过，过了 5 秒中又来了次，当天就差 5 秒下一次就阻断了，超过 20 次了，只有邦盛系统才能实时处理，不然解决不了这个问题，这就是基于时序；刚说的是 10 天，可以灵活的改成 15 天或 20 天，不需要动任何的指标平台，只要从指标里取数就好，去决策引擎里修改即可。