A. 零售银行如何玩转大数据
零售银行如何玩转大数据
我们可以从备用数据库里收集有关联的数组和数据,并使用Hadoop进行分析。或者我们可以通过机器学习技术现有数据中隐藏的关联关系。
普通数据组的介绍
针对所有客户每月收入和支出的分类分析数组是一直存在的。这类数组是因为客户银行账户借记、贷记等各种日常操作而产生的。每一笔交易的产生通常都伴随着一个电子号码,比如电费话费单、商户类别码等等。此外,我们还可以通过商户名称、描述以及留言来对交易进行区分。
我们可以识别出很多消费类别,比如房产类消费(租金或者按揭)、能源类消费(加油或者电费)、食品及家居类消费、教育类、汽车消费、餐饮、大额项目(购买电视、家具)、税费、娱乐、信用卡和贷款支付、奢侈品等等。
同样,收入分类有工资、分红、退税交易、社会福利收入、房租收入、销售等等。通过简单的回归分析可以得到针对每个客户的收入支出情况的整体趋势,以及每个细分类别的趋势。
机器学习和预测
我们可以使用各种机器学习算法和模型来做预测。这里我们介绍两种算法：监督学习以及非监督学习。
监督学习算法通过分析和验证历史数据来得到模型,这个模型可以通过输入数据之间的联系得到确定的结果。样本数据可以随意选取,但是最好提前进行分组处理以得到更准备的结果。通常可以将客户数组数据按照年龄、收入、地域、教育背影以及储蓄量进行分类。每一类还会继续细分，比如年龄可以分成5个20的层级。我们能直接看到每一层级中客户的数量,从而我们可以从每一层级里抽取5%的样本数据来进行分析。这类样本数据能够让我们最直接地看出哪个类别对最后结果的影响最大。比如我们可以很明显地看出教育背影对投资产品的影响最大。
非监督机器学习算法则会从现有的数据中寻找未知的关联模型。我们可以通过那些非正常的客户行为模式中来找到欺诈信息的蛛丝马迹。
1. 产品的私人订制
银行可以把钱省下来去做那些昂贵的市场推广活动来宣传银行产品。产品应该最大程度地提供给那些有可能需要并接受它们的人，所以应该针对客户推荐与其最相关的产品。这些就需要好好研究客户之前都爱使用哪些产品。
客户所使用的银行产品和服务的历史数据都可以拿来做分析，并生成独立的模型。我们筛选并验证出最好的学习算法,然后用它们计算哪些类别和变量能产生最大的效果。
2. 金融欺诈的早期侦测以及减少欺诈损失
这项内容包括识别身份造假、信用卡欺诈、电信欺诈、洗钱以及对网上银行和移动银行的攻击。不断出现的新型欺诈手段需要灵活、迅速的检测算法。过去,银行只使用基于统计学和规则的算法去识别可疑行为。这些算法有很大的局限性，因为它们只能识别已知的欺诈手段,维护成本高，计算中无法覆盖每个用户的全部历史数据,并且经常误报。
我们使用了包含已知欺诈案件的数据集。这些欺诈案件被分为几类储存，如盗取身份透支欺诈，信用卡盗窃，消费信贷欺诈，伪造支票偿还信用卡，盗窃支票，盗录磁条复制卡片，使用窃取的客户凭证或安全设备攻击网上银行，流氓电商运用信用卡诈骗等等。我们使用了利用反向传播进行训练的神经网络和决策树两种算法。这些算法对已有数据进行处理,从而识别新型诈骗的出现。
3. 预测客户流失和取消服务
银行对客户流失和取消服务的预测有很强的时间敏感性，因为在客户不可挽回地决定取消某项服务或转投竞争对手之前，留给银行的时间仅有几天而已。银行必须及早识别那些有可能流失的客户并联系他们，为他们提供其它可选择的服务或是解决他们的问题。留存能带来高利润的活跃客户的成本比起流失他们之后再吸引回来的成本要低得多。
我们预测时使用的原始数据包括账户流动情况，借记卡和信用卡流动情况,CRM中记录的客户数据，服务订购数据，服务中心和分支机构的访问交易数据以及登录信息等。常用的收入和支出数据也被纳入其中。
我们还建立关键事件的时间序列,诸如注销借记卡，从其它银行转入的工资、分红、租金等收入,客户主动联系服务中心或是访问分支机构，注销信用卡等等。
我们还建立了另外一组客户集，他们符合年龄、收入、存款和地理位置分布等画像但仍然是银行的存留客户。
基于以上，我们建立了有效的模型以预测客户在不可挽回地转投竞争对手之前的一系列行为。我们已经使用了一些监督学习算法，例如支撑向量机进行二类分类以及利用用反向传播的神经网络。在使用主成分分析对输入数据进行降维后，我们使用非监督学习算法中的K聚类算法和KCm算法来降低输入数据的维度。
我们在最近的数据中识别出了数百名符合模式的活跃用户，在他们转投竞争对手之前，相关分行应当及早进行联络。
4. ATM机和银行网点中现金分配的最优解决方案
对于ATM机和银行网点而言，一年之中不同时段的现金需求量是在不断变化的。这种变化可能由天气、突发事件、假期及旅游等各种因素引发。准确预测出ATM机和银行网点的现金需求量非常重要。无论是频繁地往ATM机里放现金，还是ATM机因缺少现金而停止使用,成本都很高。另一方面，我们又不希望出现ATM机和网点长期持有冗余现金的情况，因为这既不是最优的现金分配方法，同时也会加大引发犯罪的可能。
我们会使用多个维度的数据进行分析，包括：ATM机的服务日志,ATM机和银行网点的地理位置信息，每台ATM机的提款数据，ATM机和银行网点当地的天气预报,赛事安排,每个地区的文化活动、重要事件以及节假日安排。此外，信用卡和借记卡的流动情况也是重要的数据源，可以判断不同地区在每年不同时间的现金需求量。我们使用普通数据组来确定不同地区客户的工资、社会福利和其它收入的到账时间。
我们提取并分析了这样一些数据，包括：所有ATM机在一年中每一天取现数量的中位数，所有ATM机一天中每小时取现数量的中位数。这一数据集被用来计算天气、重要事件、星期几及节假日对某一具体地区的现金需求量的影响。我们还将过去4年间的重要文化、体育及其它事件与其发生的地理坐标数据结合加以处理，计算出了每项事件对其辐射范围100米以内的ATM机的现金需求量的影响。根据影响程度的不同,我们对这些事件进行了分类。这一数据组可以预测以后类似事件的影响。
同时，我们计算了天气与当地每台ATM机现金需求量的相关性，过程中涉及到的天气相关的参数包括降水量、温度和风力等。
另外,我们还建立数组分析了不同地区收入(包括工资、社会福利等)到账日和现金需求量的相关性。
基于以上数据集，我们建立了预测每台ATM机和网点一年中任意一天现金需求量的模型。这些模型考虑了历史天气预报数据和重要事件安排，也用到了很多高级算法如波尔兹曼机、感知机和高斯判别分析等。
5. 昂贵银行渠道使用的最小化
在昂贵的银行渠道比如柜台服务或光顾支行或电话客服的使用率最小化上我们做出了巨大的投入。
使用率的最小化可以由优化网上银行或手机银行应用、帮助页、帮助软件以及优化网站界面实现。另一个方法鼓励正在犹豫的客人转而使用更便宜的方式是目标更加明确的推广活动。
可分析数据最主要的来源是来源于网上银行以及手机银行应用的网页记录。我们曾用过带银行账号的使用记录，客服中心交易记录数据组，用户信息的CRM数据组，或分行交易记录的数据组。
另一个重要的数据组是客服中心、支行的投诉以及咨询的来电、邮件、来信。我们将数据以网络帮助页的咨询点的相关兴趣点分类。这能帮助找出解释不清晰、造成误解的以及不必要咨询电话的帮助页面。这还能帮助管理网上银行那些复杂的造成投诉的操作。它发现了许多领域比如关于帮助页面没有涵盖的信用卡支付汇率，这反而常常在电话或分行咨询中常常被提到。网上银行的产品据此修改，提供自助咨询、搜索优化、网上银行管理、以及手机银行应用等服务,以减少客服中心以及分行的使用率。
我们分析了以转化客户到网上银行、手机银行以及自助柜员机的市场营销活动的结果数据。根据相关性分析，许多大范围的营销活动并不十分有效。我们也分析了最近将大部分业务转移到网上的银行客户的规律。这帮助我们找出更有可能转移到网上的客户。对这些客户我们应该使用更有针对性的个性化的营销策略,根据各个分行的特点进行活动。
6. 评估债务产品的客户
为了可靠地评估风险，对现有客户批准借记产品，不仅需要考虑现有的信用状况、可支配收入状况，还需要客户的全部历史和社交记录。这样以减少银行承担的风险并增加来自有价值客户的收入。
我们使用通用收入支出数据库分析，客户全部的信用卡、借贷、透支或其他金融产品的交易记录以及CRM信息。
使用MarkovChain随机分析评估与客户行为相关的借贷支付可能。此类模型在盈利性借贷、信用卡以及其他金融产品的历史数据中得到验证。我们注意到信用记录的可靠性得到增加,并能够据此为被拒绝的客户提供替代产品。
以上是小编为大家分享的关于零售银行如何玩转大数据的相关内容，更多信息可以关注环球青藤分享更多干货
B. 大数据技术在金融行业中的典型应用
大数据技术在金融行业中的典型应用
近年来，我国金融科技快速发展，在多个领域已经走在世界前列。大数据、人工智能、云计算、移动互联网等技术与金融业务深度融合，大大推动了我国金融业转型升级，助力金融更好地服务实体经济，有效促进了金融业整体发展。在这一发展过程中，又以大数据技术发展最为成熟、应用最为广泛。从发展特点和趋势来看，“金融云”快速建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇和巨大的发展动力。
大数据在金融行业的典型应用场景
大数据涉及的行业过于广泛，除金融外，还包括政治、教育、传媒、医学、商业、工农业、互联网等多个方面，各行业对大数据的定义目前尚未统一。大数据的特点可归纳为“4V”。第一，数据体量大（Volume），海量性也许是与大数据最相关的特征。第二，数据类型繁多（Variety），大数据既包括以事务为代表的传统结构化数据，还包括以网页为代表的半结构化数据和以视频、语音信息为代表的非结构化数据。第三，价值密度低（Value），大数据的体量巨大，但数据中的价值密度却很低。比如几个小时甚至几天的监控视频中，有价值的线索或许只有几秒钟。第四，处理速度快（Velocity），大数据要求快速处理，时效性强，要进行实时或准实时的处理。
金融行业一直较为重视大数据技术的发展。相比常规商业分析手段，大数据可以使业务决策具有前瞻性，让企业战略的制定过程更加理性化，实现生产资源优化分配，依据市场变化迅速调整业务策略，提高用户体验以及资金周转率，降低库存积压的风险，从而获取更高的利润。
当前，大数据在金融行业典型的应用场景有以下几个方面：
在银行业的应用主要表现在两个方面：一是信贷风险评估。以往银行对企业客户的违约风险评估多基于过往的信贷数据和交易数据等静态数据，内外部数据资源整合后的大数据可提供前瞻性预测。二是供应链金融。利用大数据技术，银行可以根据企业之间的投资、控股、借贷、担保及股东和法人之间的关系，形成企业之间的关系图谱，利于企业分析及风险控制。
在证券行业的应用主要表现为：一是股市行情预测。大数据可以有效拓宽证券企业量化投资数据维度，帮助企业更精准地了解市场行情，通过构建更多元的量化因子，投研模型会更加完善。二是股价预测。大数据技术通过收集并分析社交网络如微博、朋友圈、专业论坛等渠道上的结构化和非结构化数据，形成市场主观判断因素和投资者情绪打分，从而量化股价中人为因素的变化预期。三是智能投资顾问。智能投资顾问业务提供线上投资顾问服务，其基于客户的风险偏好、交易行为等个性化数据，依靠大数据量化模型，为客户提供低门槛、低费率的个性化财富管理方案。
在互联网金融行业的应用，一是精准营销。大数据通过用户多维度画像，对客户偏好进行分类筛选，从而达到精准营销的目的。二是消费信贷。基于大数据的自动评分模型、自动审批系统和催收系统可降低消费信贷业务违约风险。
金融大数据的典型案例分析
为实时接收电子渠道交易数据，整合银行内系统业务数据。中国交通银行通过规则欲实现快速建模、实时告警与在线智能监控报表等功能，以达到实时接收官网业务数据，整合客户信息、设备画像、位置信息、官网交易日志、浏览记录等数据的目的。
该系统通过为交通银行卡中心构建反作弊模型、实时计算、实时决策系统，帮助拥有海量历史数据，日均增长超过两千万条日志流水的银行卡中心，形成电子渠道实时反欺诈交易监控能力。利用分布式实时数据采集技术和实时决策引擎，帮助信用卡中心高效整合多系统业务数据，处理海量高并发线上行为数据，识别恶意用户和欺诈行为，并实时预警和处置；通过引入机器学习框架，对少量数据进行分析、挖掘构建并周期性更新反欺诈规则和反欺诈模型。
系统上线后，该银行迅速监控电子渠道产生的虚假账号、伪装账号、异常登录、频繁登录等新型风险和欺诈行为；系统稳定运行，日均处理逾两千万条日志流水、实时识别出近万笔风险行为并进行预警。数据接入、计算报警、案件调查的整体处理时间从数小时降低至秒级，监测时效提升近3000倍，上线3个月已帮助卡中心挽回数百万元的风险损失。
网络的搜索技术正在全面注入网络金融。网络金融使用的梯度增强决策树算法可以分析大数据高维特点，在知识分析、汇总、聚合、提炼等多个方面有其独到之处，其深度学习能力利用数据挖掘算法能够较好地解决大数据价值密度低等问题。网络“磐石”系统基于每日100亿次搜索行为，通过200多个维度为8.6亿账号精确画像，高效划分人群，能够为银行、互联网金融机构提供身份识别、反欺诈、信息检验、信用分级等服务。该系统累计为网络内部信贷业务拦截数十万欺诈用户，拦截数十亿不良资产、减少数百万人力成本，累计合作近500家社会金融机构，帮助其提升了整体风险防控水平。
金融大数据应用面临的挑战及对策
大数据技术为金融行业带来了裂变式的创新活力，其应用潜力有目共睹，但在数据应用管理、业务场景融合、标准统一、顶层设计等方面存在的瓶颈也有待突破。
一是数据资产管理水平仍待提高。主要体现在数据质量不高、获取方式单一、数据系统分散等方面。
二是应用技术和业务探索仍需突破。主要体现在金融机构原有的数据系统架构相对复杂，涉及的系统平台和供应商较多，实现大数据应用的技术改造难度很大。同时，金融行业的大数据分析应用模型仍处于起步阶段，成熟案例和解决方案仍相对较少，需要投入大量的时间和成本进行调研和试错。系统误判率相对较高。
三是行业标准和安全规范仍待完善。金融大数据缺乏统一的存储管理标准和互通共享平台，对个人隐私的保护上还未形成可信的安全机制。
四是顶层设计和扶持政策还需强化。体现在金融机构间的数据壁垒较为明显，各自为战问题突出，缺乏有效的整合协同。同时，行业应用缺乏整体性规划，分散、临时、应激等特点突出，信息价值开发仍有较大潜力。
以上问题，一方面需要国家出台促进金融大数据发展的产业规划和扶持政策，同时，也需要行业分阶段推动金融数据开放、共享和统一平台建设，强化行业标准和安全规范。只有这样，大数据技术才能在金融行业中稳步应用发展，不断推动金融行业的发展提升。
C. 大数据能为银行做什么
随着移动互联网、云计算、物联网和社交网络的广泛应用，人类社会已经迈入一个全新的“大数据”信息化时代。而银行信贷的未来，也离不开大数据。
国内不少银行已经开始尝试通过大数据来驱动业务运营，如中信银行信用卡中心使用大数据技术实现了实时营销，光大银行建立了社交网络信息数据库，招商银行则利用大数据发展小微贷款。从发展趋势来看，银行大数据应用总的可以分为四大方面：
第一方面：客户画像应用。
客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是，银行拥有的客户信息并不全面，基于自身拥有的数据有时难以得出理想的结果甚至可能得出错误的结论。
比如，如果某位信用卡客户月均刷卡8次，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。包括：
（1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库）。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理；
（2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可；
（3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况；
（4）其他有利于扩展银行对客户兴趣爱好的数据，如网络广告界目前正在兴起的DMP数据平台的互联网用户行为数据。
第二方面：精准营销
在客户画像的基础上银行可以有效的开展精准营销，包括：
（1）实时营销。实时营销是根据客户的实时状态来进行营销，比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销（某客户采用信用卡采购孕妇用品，可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务）；或者将改变生活状态的事件（换工作、改变婚姻状况、置居等）视为营销机会；
（2）交叉营销。即不同业务或产品的交叉推荐，如招商银行可以根据客户交易记录分析，有效地识别小微企业客户，然后用远程银行来实施交叉销售；
（3）个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐，如根据客户的年龄、资产规模、理财偏好等，对客户群进行精准定位，分析出其潜在金融服务需求，进而有针对性的营销推广；
（4）客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。
第三方面：风险管控
包括中小企业贷款风险评估和欺诈交易识别等手段。
（1）中小企业贷款风险评估。银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效的开展中小企业贷款。
（2）实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎进行实时的交易反欺诈分析。如IBM金融犯罪管理解决方案帮助银行利用大数据有效地预防与管理金融犯罪，摩根大通银行则利用大数据技术追踪盗取客户账号或侵入自动柜员机(ATM)系统的罪犯。
第四方面：运营优化。
（1）市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道尤其是网络渠道推广的质量，从而进行合作渠道的调整和优化。同时，也可以分析哪些渠道更适合推广哪类银行产品或者服务，从而进行渠道推广策略的优化。
（2）产品和服务优化：银行可以将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，更深层次地理解客户的习惯，智能化分析和预测客户需求，从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析，通过对还款数据挖掘比较区分优质客户，根据客户还款数额的差别，提供差异化的金融产品和服务方式。
（3）舆情分析：银行可以通过爬虫技术，抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息，并通过自然语言处理技术进行正负面判断，尤其是及时掌握银行以及银行产品和服务的负面信息，及时发现和处理问题；对于正面信息，可以加以总结并继续强化。同时，银行也可以抓取同行业的银行正负面信息，及时了解同行做的好的方面，以作为自身业务优化的借鉴。
银行是经营信用的企业，数据的力量尤为关键和重要。在“大数据”时代，以互联网为代表的现代信息科技，特别是门户网站、社区论坛、微博、微信等新型传播方式的蓬勃发展，移动支付、搜索引擎和云计算的广泛应用，构建起了全新的虚拟客户信息体系，并将改变现代金融运营模式。
大数据海量化、多样化、传输快速化和价值化等特征，将给商业银行市场竞争带来全新的挑战和机遇。数据时代，智者生存，未来的银行信贷，是从数据中赢得未来，是从风控中获得安稳。