bat大数据哪个好用

A. 几个简单好用的bat批处理，总有你需要的

什么？你还不知道怎么查看自己电脑的IP地址？不知道怎么一键修改IP？不知道为什么QQ、微信能用网页却不能正常打开？

那就往下看吧，总有你需要的。

批处理的使用方法： 复制批处理命令，粘贴到新建的记事本文档内，选择另存为，保存类型选择 所有文件 ，文件名随意命名但结尾后缀必须是 .bat ，不区分大小写。如果里面有汉字，显示有乱码的情况，需要在另存的同时将“编码”选择为 ANSI 保存即可。有些运行时涉及更大权限，需要右击选择 以管理员身份运行 。

用于解决DNS解析异常，导致一台电脑内全部或个别不能上网的异常。有时候QQ、微信能用却打不开网页，也有这方面的原因。

ipconfig的常用命令参考，依此可以配置最简单的批处理：

有这样的场景，我需要用自己电脑测试，分别是DHCP获取IP和手动固定IP，来回手动配置很麻烦，又经常要这么切换，这就需要做两个BAT批处理文件了，用时直接【以管理员身份】运行点击切换。

PS：文中的网卡名【本地连接】只是举例，实际需要根据ncpa.cpl命令查到看要使用的是哪个网卡来更换。

说明： 请根据实际情况修改网卡名称、IP等信息，个别场景中网关也可以删除不配置。文中的无线网卡名称为WLAN，本地连接的名称还是本地连接。

启动界面效果图举例：

感谢阅读，是不是有你想用的呢？

B. 现在市面上有哪些好用的数据挖掘工具或者平台

现在市面上用得最多的数据挖掘工具要数思迈特软件Smartbi Mining。它是是思迈特软件Smartbi旗下的产品。思迈特软件Smartbi Mining通过深度数据建模，可以为你提供预测能力，支持多种高效实用的机器学习算法，包含了分类、回归、聚类、预测、关联，5大类机器学习的成熟算法。

其中包含了多种可训练的模型：逻辑回归、决策树、随 机森林、朴素贝叶斯、支持向量机、线性回归、K均值、DBSCAN、高斯混合模型。除提供主要算法和建模功能外，思迈特软件Smartbi Mining数据挖掘平台还提供了必不可少的数据预处理功能。

还包括字 段拆分、行过滤与映射、列选择、随机采样、过滤空值、合并列、合并行、JOIN、行选择、去除重复值、排序、增加序列号、增加计算字段等。

数据挖掘中通常涉及到四种任务:

分类:将熟悉的结构概括为新数据的任务

聚类:在数据中以某种方式查找组和结构的任务，而不需要在数据中使用已注意的结构。

关联规则学习:查找变量之间的关系

回归:旨在找到一个函数，用最小的错误来模拟数据。

思迈特软件Smartbi是国家认定的“高新技术企业”，广东省认定的“大数据培育企业”， 广州市认定的“两高四新企业”，获得了来自国家、地方政府、国内外权威分析机构、行业组织、知名媒体的高度关注和认可，斩获“大数据百强企业”。

思迈特软件Smartbi也是“中国十佳商业智能方案商”、“中国科技创新企业100强”等100+荣誉奖项！凭借NLP和数据挖掘功能入选Gartner“中国AI创业公司代表厂商（2020）”，凭借Eagle自助分析平台入选“Gartner 增强分析2020代表厂商”。

数据挖掘工具靠不靠谱，来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。

思迈特软件Smartbi个人用户全功能模块长期免费试用
马上免费体验:Smartbi一站式大数据分析平台

C. BAT三巨头开始挖掘大数据

BAT三巨头开始挖掘大数据
阿里巴巴CTO即阿里云负责人王坚博士说过一句话：云计算和大数据，你们都理解错了。
实际上，对于大数据究竟是什么业界并无共识。大数据并不是什么新鲜事物。信息革命带来的除了信息的更高效地生产、流通和消费外，还带来数据的爆炸式增长。“引爆点”到来之后，人们发现原有的零散的对数据的利用造成了巨大的浪费。移动互联网浪潮下，数据产生速度前所未有地加快。人类达成共识开始系统性地对数据进行挖掘。这是大数据的初心。数据积累的同时，数据挖掘需要的计算理论、实时的数据收集和流通通道、数据挖掘过程需要使用的软硬件环境都在成熟。
概念、模式、理论很重要，但在最具实干精神的互联网领域，行动才是最好的答案。国内互联网三巨头BAT坐拥数据金矿，已陆续踏上了大数据掘金之路。
BAT都是大矿主，但矿山性质不同
数据如同蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。
网络拥有两种类型的大数据：用户搜索表征的需求数据;爬虫和阿拉丁获取的公共web数据。
阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。
腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。
下面，就将三家公司的情况一一扫描与分析。
一、网络：含着数据出生且拥有挖掘技术，研究和实用结合
搜索巨头网络围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。
除了网页外，网络还通过阿拉丁计划吸收第三方数据，通过业务手段与药监局等部门合作拿到封闭的数据。但是，尽管网络拥有核心技术和数据矿山，却还没有发挥出最大潜力。网络指数、网络统计等产品算是对数据挖掘的一些初级应用，与Google相比，网络在社交数据、实时数据的收集和由数据流通到数据挖掘转换上有很大潜力，还有很多事情要做。
2月底在北京出差时，写了一篇《搜索引擎的大数据时代》发在虎嗅。创造了零回复的记录。尽管如此，仍然没有打消我对搜索引擎在大数据时代深层次变革的思考。 搜索引擎在大数据时代面临的挑战有：更多的暗网数据;更多的WEB化但是没有结构化的数据;更多的WEB化、结构化但是封闭的数据。这几个挑战使得数据正在远离传统搜索引擎。不过，搜索引擎在大数据上毕竟具备技术沉淀以及优势。
接下来，网络会向企业提供更多的数据和数据服务。前期网络与宝洁、平安等公司合作，为其提供消费者行为分析和挖掘服务，通过数据结论指导企业推出产品，是一种典型的基于大数据的C2B模式。与此类似的还有Netflix的《纸牌屋》美剧，该剧的男主角凯文·史派西和导演大卫·芬奇都是通过对网络数据挖掘之后，根据受欢迎情况选中的。
网络还会利用大数据完成移动互联网进化。核心攻关技术便是深度学习。基于大数据的机器学习将改善多媒体搜索效果和智能搜索，如语音搜索、视觉搜索和自然语言搜索。这将催生移动互联网的革命性产品的出现。尽管网络已经出发，其在大数据上可做的事情还有很多。
在数据收集方面，网络需要聚合更多高价值的交易、社交和实时数据。例如加强自己贴吧知道的社交能力、尽快让地图服务与O2O结合进而掌握交易数据，以及推进移动App、穿戴式设备等数据收集系统。
在数据处理技术上，网络成立深度学习研究院加强自己在人工智能领域的探索，在多媒体和中文自然语言处理领域已经有一些进展;云存储、云计算的基础设施建设也在逐步完善。但深度学习仍然是一个巨大的挑战，网络等探索者还有很多待解问题，如：无监督式学习、立体图像识别。
在数据变现方面，网络需将数据挖掘能力、数据内容聚合和提取等形成标准化的服务和产品，进而开拓大数据领域的企业和开发者市场。而不仅仅是颇为个性化、定制化地为大型企业提供解决。
网络的优势体现在海量的数据、沉淀十多年的用户行为数据、自然语言处理能力和深度学习领域的前沿研究。在技术人才方面网络是聚集国内最多大数据相关领域顶尖人才的公司。听说网络前段时间花五千万挖了数据挖掘、自然语言处理、深度学习领域的十来位大牛，包括一些学者和教授。例如Facebook科学家徐伟。
在挖人上，舍得花钱不够，还得用心。对于真正的大牛来说，钱只是一个影响因素。能否实现自己的梦想，公司的资源能否帮助自己的研究至关重要。徐伟在回国前就曾问过其他从硅谷回国工程师的意见，得到答案是积极的，最终促成他作出决定。
总体来看，网络拥有大数据也具备大数据挖掘的能力，并且正在进行积极地准备和探索。在加强面向未来的研究和人才布局的同时，也注重实用性的技术产出。
二、腾讯：数据为产品所用，自产自销
微创新提出者金错刀有个关于腾讯的故事。 1999年腾讯公司刚刚成立不久，天使投资人刘晓松决定向其注资的一个主要原因就是因为他发现，“当时虽然他们的公司还很小,但已经有用户运营的理念,后台对于用户的每一个动作都有记录和分析。”而另一个投资人却因为马化腾在公司很小时就花钱在数据上表示不满。此后腾讯的产品生产及运营、腾讯游戏的崛起都离不开对数据的重视。
腾讯拥有社交大数据，在企鹅帝国完成数据的制造、流通、消费和挖掘。 腾讯大数据目前释放价值更多是改进产品。据腾讯Q1财报，增值服务占总收入的78.7%;电子商务业务占14.1%;网络广告收入占6.3%。从广告收入比例可以看出腾讯的大数据在精准营销领域暂时还未大量释放出价值。与其产品线对应的GMAIL、Google+的Google以及社交巨头Facebook则通过广告赚得盆满钵满。
在笔者看来，腾讯的思路主要是补齐产品，注重QZONE、微信、电商等产品的后端数据打通。例如最近腾讯微博利用“大数据技术”实现好友关系自动分组、低质量信息自动过滤、优质信息分类阅读等智能化功能。明显的用数据改进产品的思路。 那么如果腾讯要深入大数据挖掘缺少什么呢?笔者认为其只需马化腾“摁下启动按钮”。数据已经准备好了，就差模式，也就是找到需求或者能更深层次驱动大数据利用的产品，而不是用大数据改进自己的产品。腾讯还在观望，等其他人去试错验证出一套模式或者产品后，自己可以“站在巨人肩上”。这是腾讯的典型思维。
在人才方面，腾讯很早便开始重金挖人。尤其是2010年在Google宣布退出中国后，Google图片搜索创始人朱会灿、Google中国工程研究院副院长颜伟鹏、Google中日韩文搜索算法的主要设计者，《浪潮之巅》及《数学之美》作者吴军相继加入腾讯。搜搜花了很多钱，但被认定为一款无法承载腾讯重托的产品，最后这些大牛都走了。大都回Google了。
腾讯在大数据领域也缺少技术带头人。其对公关也不重视。技术大牛很少出来做报告，更不会向网络、阿里那样主动包装宣传技术大牛。其技术虽然低调，但执行力很强。据腾讯的程序员朋友说封闭开发、集体加班是常有的事情。但配套的重金激励也能跟上。重金之下必有勇夫、腾讯用制度保障技术产出。另外腾讯在高校合作领先一步，在2010年便与清华大学合作成立了清华腾讯联合实验室。这么看腾讯的技术人才这块似乎有短板。会不会到时候马化腾按下启动按钮，发现没数据挖掘能力呢?不会，腾讯搞不定数据挖掘，到时候依然可以挖到大牛，甚至读论文来搞定这事儿。数据挖掘已较为成熟。数据挖掘实际是数据库、统计学、机器学习三个领域的融合。在学术界已经发展多年。不过自然语言识别和深度学习等方面要赶上网络，就难了。除非将网络的数据和众大牛一起倒腾过来。
总体来看，腾讯目前的大数据策略是先将产品补全，产品后台数据打通，形成稳定生态圈。本阶段先利用大数据挖掘改进自己的产品。后期有成熟的模式合适的产品，则利用自家的社交及关系数据时，开展对大数据的进一步挖掘。
三、阿里巴巴：坐拥金数据，尝试做面向未来的数据集市
阿里巴巴B2B出身，在外贸蓬勃的大环境下，依靠服务中小企业发家。淘宝、支付宝等toC的产品出生前，阿里并不依赖也不擅长技术。业界普遍认为阿里没有技术基因。直到淘宝、支付宝以及天猫三个产品后，对海量用户大并发量交易、海量货架数据的管理、安全性等方面的严苛要求，阿里完成进化，在电商技术上取得不菲的成绩。在一段时期阿里仍然浪费了手里掌握的大量数据。这些数据还是“最值钱”的金数据。
数据挖掘无非是从原始数据提取价值。阿里现有的数据产品例如数据魔方、量词统计、推荐系统、排行榜以及时光倒流相对来说是比较简单的BI(商业智能)，没到大数据的阶段。“大数据”浪潮袭来，阿里提出“数据、金融和平台”战略。前所未有地重视起对数据的收集、挖掘和共享。马云在“退居”前动不动都对外提“数据”。有位阿里朋友甚至开玩笑说，马云英文名可以从Jack Ma改为Data Ma。阿里现CEO陆兆禧曾做过CDO，首席数据官。为了用数据来驱动阿里电商帝国，阿里还成立了横跨各大事业部的“数据委员会”。
阿里的各项投资案也显示其整合、利用和完善数据的野心：新浪微博的社交及媒体数据、高德的地图数据和线下数据以及友盟的移动应用数据，都是其数据及平台战略的一部分。数据战略正在首席人工智能官(CBO)车品觉领头下逐步落地，王坚的云为其提供基础设施、基础技术支撑。
就在马云退休之后，王坚对外透露其跟马云开玩笑说的一句话：阿里巴巴对数据的理解深度，不会超过苏宁对电子商务的理解。估计马云不一定认同他这话。马云对大数据已经有着自己的理解和考量。马云曾经说过其对大数据的思考。大致意思是：现在从信息时代进入数据时代了。区别是信息时代更多的是精英玩的游戏。我比别人聪明，我能提取出信息出来;数据时代，别人比我聪明，将数据开放给更聪明的人处理，数据即资产，分析即服务。
计算机发展的过程是从象牙塔、到平民到草根。大数据也是这样，一开始在象牙塔阶段，少数精英公司才能玩;但到后面只要有数据就有价值。数据也有所有权，产生数据、流通数据、挖掘数据的都会获得相应的价值。而阿里擅长的便是“建立市场”，建立一个数据交易市场。届时任何个人和企业都可以将数据和挖掘服务拿上去，交易。初期阿里会将自己珍藏的电商和信用数据逐步放到上面。 有数据的人，拿上去卖，或者让别人分析，分析即服务。没有数据的人，即可以去买，也可以去帮别人挖掘，做矿工。
阿里并不是技术驱动，而是业务驱动的。因此在技术层面我们看到，基于前面提到的阿里大数据思路，其技术重心主要在系统层面。阿里拥有LVS(Linux Virtual Server，Linux虚拟服务器)开源软件创始人章文嵩，Linux Kernal、文件系统、大牛DBA等领域的大牛。从人才布局可以看到阿里擅长的技术领域，体现在对于并发访问、电信级别的电商业务的支撑方面的得心应手。在去年双十一期间，支撑了单日过亿的订单量。铁道部奇葩网12306在日均40万时已经不行了。
总体来看，阿里更多是在搭建数据的流通、收集和分享的底层架构。自己并不擅长似乎也不会着重来做数据挖掘的活儿。而是将自己擅长的“交易”生意扩展到数据。让天下没有难做的“数据生意”。
总结一下
移动互联网浪潮下，现实世界正在加速数字化，每个人，每个物体、每件事情、每一个时间节点，都在向网上映射。空间和时间两个维度的联网，使得数字世界正在接近一步步模拟现实世界。历史、现在和未来都会映射到网上。对大数据的挖掘正是对世界的二次发现和感知。BAT三巨头已经出发。

D. 哪个大数据分析软件比较好用

每个人用的数据工具都不一样的，目前我在用bdp个人版，从数据接入、处理、分析，再到最后的可视化呈现，感觉都还不错，解决了我很多数据问题，推荐个好用的数据可视化工具，大数据魔镜，有很多种可视化效果，可自由搭配颜色，做标记。有分析、探索、挖掘及决策树功能，可连接数据库，实时更新数据。

E. 国内真正的大数据分析产品有哪些

国内的大数据公司还是做前端可视化展现的偏多，BAT算是真正做了大数据的，行业有硬性需求，别的行业跟不上也没办法，需求决定市场。
说说更通用的数据分析吧。
大数据分析也属于数据分析的一块，在实际应用中可以把数据分析工具分成两个维度：
第一维度：数据存储层——数据报表层——数据分析层——数据展现层
第二维度：用户级——部门级——企业级——BI级

1、数据存储层
数据存储设计到数据库的概念和数据库语言，这方面不一定要深钻研，但至少要理解数据的存储方式，数据的基本结构和数据类型。SQL查询语言必不可少，精通最好。可从常用的selece查询，update修改，delete删除，insert插入的基本结构和读取入手。

Access2003、Access07等，这是最基本的个人数据库，经常用于个人或部分基本的数据存储；MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。

SQL Server2005或更高版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。

DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台。

BI级别，实际上这个不是数据库，而是建立在前面数据库基础上的，企业级应用的数据仓库。Data Warehouse，建立在DW机上的数据存储基本上都是商业智能平台，整合了各种数据分析，报表、分析和展现！BI级别的数据仓库结合BI产品也是近几年的大趋势。

2、报表层
企业存储了数据需要读取，需要展现，报表工具是最普遍应用的工具，尤其是在国内。传统报表解决的是展现问题，目前国内的帆软报表FineReport已经算在业内做到顶尖，是带着数据分析思想的报表，因其优异的接口开放功能、填报、表单功能，能够做到打通数据的进出，涵盖了早期商业智能的功能。

Tableau、FineBI之类，可分在报表层也可分为数据展现层。FineBI和Tableau同属于近年来非常棒的软件，可作为可视化数据分析软件，我常用FineBI从数据库中取数进行报表和可视化分析。相对而言，可视化Tableau更优，但FineBI又有另一种身份——商业智能，所以在大数据处理方面的能力更胜一筹。

3、数据分析层
这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具；
Excel软件，首先版本越高越好用这是肯定的；当然对excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作！但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件；
SPSS软件：当前版本是18，名字也改成了PASW Statistics；我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件；
SAS软件：SAS相对SPSS其实功能更强大，SAS是平台化的，EM挖掘模块平台整合，相对来讲，SAS比较难学些，但如果掌握了SAS会更有价值，比如离散选择模型，抽样问题，正交实验设计等还是SAS比较好用，另外，SAS的学习材料比较多，也公开，会有收获的！
JMP分析：SAS的一个分析分支
XLstat：Excel的插件，可以完成大部分SPSS统计分析功能

4、表现层
表现层也叫数据可视化，以上每种工具都几乎提供了一点展现功能。FineBI和Tableau的可视化功能上文有提过。其实，近年来Excel的可视化越来越棒，配上一些插件，使用感更佳。
PPT：办公常用，用来写数据分析报告；
Xmind&网络脑图：梳理流程，帮助思考分析，展现数据分析的层次；
Xcelsius软件：Dashboard制作和数据可视化报表工具，可以直接读取数据库，在Excel里建模，互联网展现，最大特色还是可以在PPT中实现动态报表

F. 大数据分析工具有哪些,好用的有吗

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash。

G. 大数据处理软件用什么比较好

常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

数据分析与处理方法：

采集

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

H. BAT的金融大数据到底是如何运作的

1、大数据征信：在个人征信领域，目前是金融行业面临的最大问题。基于用户在互联网上的消费行为、社交行为、搜索行为等产生的海量数据，其价值并未被充分挖掘，个人征信在大数据的采集和信息挖掘上面仍有很大的想象空间。阿里的芝麻信用在其中算是最会玩的。芝麻信用几乎打通了用户的身份特质，行为偏好，人脉关系，信用历史，履约能力等各类信息。这恰恰是因为接入了电商、支付、社交等各类数据维度。

2、大数据风控：大数据风控目前应该是前沿技术在金融领域的最成熟应用，相对于智能投顾、区块链等还在初期的金融科技应用，大数据风控目前已经在业界逐步普及。目前，美国基本上都用三大征信局的信息，最传统的评分基本上都是用FICO来做的。各家平台会尝试着用机器学习、神经网络等大数据处理方法。

国内市场对于大数据风控的尝试还是比较积极。特别是大公司，可以将移动互联网的行为和贷款申请人联系到一起展开大数据风控。网络在风控层面上的进展还是比较突出，网络安全每天要处理数十亿网民搜索请求，保护数亿用户的终端安全，保护十万网站的安全，因此积累了大量的数据。

一个很具体的案例就是，通过海量互联网行为数据，比如监测相关设备ID在哪些借贷网站上进行注册、同一设备是否下载多个借贷App，可以实时发现多头贷款的征兆，把风险控制到最低。

3、大数据消费金融：消费金融对大数据的依赖是天然形成的。比如说消费贷、工薪贷、学生贷，这些消费型的金融贷款很依赖对用户的了解。所以必须对用户画像进行分析提炼，通过相关模型展开风险评估，并根据模型及数据从多维度为用户描绘一个立体化的画像。

网络金融的优势在于，通过基于大数据和人工智能技术为基础的合作商户管理平台，为合作商户提供涵盖营销和金融服务的全面管理方案，降低获客成本，解决细分行业的微小需求。一方面可以降低风险，另一方面也能提升金融的安全度。

在大数据消费金融的领域中，腾讯和阿里的优势很大程度上是在渠道层面上的。正如前文所说的，阿里以电商-支付-信用为三级跳板，针对性很强支付宝接入消费金融产品之后会有较强的渠道作用。而在去年12月，腾讯的“微粒贷”已经接入到了微信支付当中。在消费金融的发展速度上，腾讯速度也不差。

4、大数据财富管理：财富管理是近些年来在我国金融服务业中出现的一个新业务。主要为客户提供长期的投顾服务，实现客户资产的优化配置。这方面业务在传统金融机构中存在的比较多。不过因为技术能力不足，大数据财富管理在传统金融机构中相对弱势。

财富管理在互联网公司的业务中也非常流行。蚂蚁金服一开始最为简单的财富管理方式就是余额宝，后来逐渐演化成经过大数据计算智能推荐给用户的各种标准化的“宝宝”理财产品。网络金融相对来说更进一步，是依托“网络大脑”通过互联网人工智能、大数据分析等手段，精准识别和刻画用户，提供专业的“千人千面”的定制化财富管理服务。

金融大数据的孪生兄弟金融云是地基，未来更具看点

大数据和云计算永远都是相伴相随的一对孪生兄弟。金融大数据核心工作包括三方面，即获取数据、建立模型、模型在实践中优化、迭代。而对于金融大数据而言，金融云才是它的地基。

打个不恰当的比方，前文中说大数据是煤矿，而金融云其实就是矿井。矿井的安全行、可靠性决定了挖煤的效率和结果。

金融云把底层技术很多问题都解决了。大量金融模型都是金融云所引入的，如客户模型、产品模型、账务模型等。同时金融云关注金融本身的严谨性和周密性、安全性的考虑。

2016年7月，“腾讯云+未来”峰会上，腾讯云和腾讯金融云都已成为最重点部署的业务。同年9月，网络世界大会金融科技分论坛上，网络金融云正式向业界开放。据时任网络金融研发负责人沈抖表示，网络金融云将通过人工智能、安全防护、智能获客、大数据风控、IT系统、支付等六大技术能力给合作伙伴赋能。10月，阿里云栖大会上，阿里金融云负责人则是提出将会和生态合作伙伴、服务联盟为金融行业量身定制推出云增强服务。

大数据必须要跑在云端，而金融大数据更需要和业内其他企业展开数据、支付、业务等一系列的合作。金融云对可用性、安全性的要求严格，比如说对一个高度可控可信的云安全体系而言，基础环境安全、风控与审计、数据安全三者缺一不可。而金融云在未来的竞争中将发挥越来越重要的作用。

?

I. BAT的互联网大数据应用有何不同

从数据类型看，腾讯数据最为全面，这与其互联网业务全面相关，其最为突出的是社交数据和游戏数据，其中：社交数据最为核心的是关系链数据、用户间的互动数据、用户产生的文字、图片和视频内容；游戏数据主要包括大型网游数据、网页游戏数据和手机游戏数据，游戏数据中最为核心的是游戏的活跃行为数据和付费行为数据，腾讯的数据最大的特点是基于社交的各种用户行为和娱乐数据。阿里最为突出的是电商数据，尤其是用户在淘宝和天猫上的商品浏览、搜索、点击、收藏和购买等数据，其数据最大特点是从浏览到支付形成的用户漏斗式转化数据。网络的数据以用户搜索的关键词、爬虫抓取的网页、图片和视频数据为主，网络的数据特点是通过搜索关键词更直接反映用户兴趣和需求，网络的数据以非结构化数据更多。

网络、阿里巴巴和腾讯的数据应用场景
网络、阿里巴巴和腾讯的数据应用场景都有共同的体系，该体系一共分为七层，代表了企业不同层面的数据价值应用场景，形成了企业运营的数据价值金字塔：

（1）数据基础平台层。金字塔的最底层也是整个金字塔的基础层，如果基础层搭建不好，上面的应用层也很难在企业运营中发挥效果，这一层的技术目标是实现数据的有效存储、计算和质量管理；业务目标是把企业的所有用户（客户）数据用唯一的ID串起来，包括用户（客户）的画像（如性别、年龄等）、行为以及兴趣爱好等，以达到全面的了解用户（客户）的目的；
（2）业务运营监控层。这一层首要的是搭建业务运营的关键数据体系，在此基础上通过智能化模型开发出来的数据产品，监控关键数据的异动，通过各种分析模型等可以快速定位数据异动的原因，辅助运营决策；
（3）用户/客户体验优化层。这一层主要是通过数据来监控和优化用户/客户的体验问题。这里面既运用了结构化的数据来监控，也运用非结构化的数据（如文本）来监控体验的问题。前者更多的是应用各种用户（客户）体验监测的模型或者工具来实现，后者更多的是通过监测微博、论坛和企业内部的客户反馈系统的文本来发现负面的口碑，以及时的优化产品或服务；
（4）精细化运营和营销层。这一层主要通过数据驱动业务精细化运营和营销。主要可以分为四方面：第一，构建基于用户的数据提取和运营工具，以方便运营和营销人员通过人群定向把客户提取出来，从而对客户进行营销或运营活动；第二方面，通过数据挖掘的手段提升客户对活动的响应；第三，通过数据挖掘的手段进行客户生命周期管理；第四，主要是用个性化推荐算法基于用户不同的兴趣和需求推荐不同的商品或者产品，以实现推广资源效率和效果最大化，如淘宝商品的个性化推荐；
（5）数据对外服务和市场传播层面。数据对外服务一般为服务该互联网企业的客户或用户，如网络通过提供网络舆情、网络代言人、网络指数等服务其广告主客户；淘宝通过数据魔方、淘宝情报和在云端等产品服务其客户；腾讯通过腾讯分析和腾讯云分析等服务其开放商客户。在市场传播层面，主要通过有趣的数据信息图谱和数据可视化产品来实现（如淘宝指数、网络指数、网络春节迁徙地图）。
（6）经营分析层面。主要通过分析师对大数据进行统计，形成经验分析周报、月报和季度报告等，对用户经营情况和收入完成等情况进行分析，发现问题，优化经营策略。
（7）战略分析层面。这方面既要结合内部的大数据形成决策层的数据视图，也要结合外部数据尤其是各种竞争情报监控数据、国外趋势研究数据来辅助决策层进行战略分析。
虽然网络、阿里巴巴和腾讯在企业运营的数据价值的应用体系上有共同的特点，但由于企业的商业模式以及数据资产不同，他们在整体的大数据发展策略也有显着的不同。
网络大数据策略
网络大数据最重要的是来源是通过爬虫搜集的100多个国家的近万亿网页数据，数据量是在EB级的规模。网络的数据非常多样化，其收集的数据既有为非结构化的或者半结构化的数据，包括网页数据、视频和图片等数据，也有结构化的数据，如用户的点击行为数据，广告客户的付费行为数据等。
网络大数据主要服务三类人群：一类是互联网网民，通过大数据和自然语言处理技术让网民的搜索更加准确；第二类是广告主，通过大数据让广告主的广告和搜索关键词的匹配度更高，或者和网民正在看的网页内容匹配度更高；第三类是，也是在重点推进的网络大数据引擎，重点是服务传统行业拥有一定规模数据的企业。
网络大数据引擎代表了互联网企业数据服务能力开放和合作的趋势，网络大数据引擎由以下三方面构成：

开放云：网络的大规模分布式计算和超大规模存储云，开放云大数据开放的是基础设施和硬件能力。过去的网络云主要面向开发者，大数据引擎的开放云则是面向有大数据存储和处理需求的“大开发者”。据网络相关人员称，网络开放云还拥有CPU利用率高、弹性高、成本低等特点。网络是全球首家大规模商用ARM服务器的公司，而ARM架构的特征是能耗小和存储密度大，同时网络还是首家将GPU（图形处理器）应用在机器学习领域的公司，实现了能耗节省的目的。
数据工厂：数据工厂为网络将海量数据组织起来的软件能力，与数据库软件的作用类似，不同的是数据工厂是被用作处理TB级甚至更大的数据。网络数据工厂支持超大规模异构数据查询，支持SQL-like以及更复杂的查询语句，支持各种查询业务场景。同时网络数据工厂还将承载对于TB级别大表的并发查询和扫描，大查询、低并发时每秒可达百GB。
网络大脑：网络大脑将网络此前在人工智能方面的能力开放出来，主要是大规模机器学习能力和深度学习能力。此前它们被应用在语音、图像、文本识别，以及自然语言和语义理解方面，并通过网络Inside等平台开放给了智能硬件。现在这些能力将被用来对大数据进行智能化的分析、学习、处理、利用，并对外开放。
网络将基础设施能力、软件系统能力以及智能算法技术打包在一起，通过大数据引擎开放出来之后，拥有大数据的行业可以将自己的数据接入到这个引擎进行处理。从架构来看，企业或组织也可以只选择三件套中的一种来使用，例如数据存放在自己的云，但要运用网络大脑的一些智能算法或者数据存放在网络云，自己写算法。
网络大数据引擎的作用
我们可以从两方面来具体看网络大数据引擎的作用：
（1）对于政府机构：如交通部门有车联网、物联网、路网监控、船联网、码头车站监控等地方的大数据，如果这些数据与网络的搜索记录、全网数据、LBS数据结合，在利用网络大数据引擎的大数据能力，则可以实现智能路径规划和运力管理；卫生部门拥有流感法定报告数据、全国流感样病例哨点监测和病原学监测数据，如果和网络的搜索记录及全网数据结合，便可进行流感预测、疫苗接种指导。
（2）对于企业：很多企业也拥有海量大数据，不过很多企业的大数据处理和挖掘能力比较弱，如果应用网络大数据引擎，则可以对海量数据进行可靠低成本的存储，进行智能化的由浅入深的价值挖掘。如在2014年4月的网络技术开放日上，中国平安便介绍了如何利用网络的大数据能力加强消费者理解和预测，细分客户群制定个性化产品和营销方案。
阿里巴巴大数据策略
阿里巴巴大数据整体发展方向是以激活生产力为目的的DT(data technology，数据技术驱动)数据时代发展。阿里巴巴大数据未来将由“基于云计算的数据开放+大数据工具化应用”组成：
（1）基于云计算的数据开放。云计算使中小企业可以在阿里云上获得数据存储、数据处理服务，也可以构建自己的数据应用。云计算是数据开放的基础，云计算可以为全球的数据开发者提供数据工作平台，阿里分布式的存储平台和在这个平台上的算法工具，可以更好的为数据开发者所用；同时，阿里巴巴还需要做好数据的脱敏，把数据的商业定义，每个标签打得足够清晰，能够让全球的数据开发者在阿里巴巴平台展开数据思维，让数据为政府所用、消费者所用以及行业所用。阿里的大数据开放之后，线上线下的数据能够串联起来，所有人都是数据提供方，也是数据的使用者。
（2）在大数据应用上，马云已经在整个数据应用上确定了两个方针：
第一个方针：从IT到DT（数据技术），DT就是点燃整个数据和激发整个数据的力量，被管理所用，被社会所用，被销售所用，为制造业所用，为消费者信用所用。前文已经分析道，阿里巴巴的数据资产是以电商为主，其中，淘宝和天猫每天会产生丰富多样的数据，阿里巴巴已经沉淀了包括交易、金融、生活服务等多种类型的数据。这些数据能够帮助阿里巴巴进行数据化运营（如下图）。

另外一个其最为重要的应用是金融领域——小微金融。在小微金融企业融资领域。由于银行无法掌握小微企业真实的经营数据，不仅导致很多企业无法拿到贷款，还因为数据类型的不足导致整个判断流程过长，阿里已经通过其电商数据中的交易、信用、SNS等多种数据来决定是否可以发放贷款以及放贷的额度。
第二个方针：让阿里巴巴的数据、让阿里巴巴的工具能够成为中国商业的基础设施。阿里巴巴已经开始在转型，阿里将由自己直接面对消费者变成支持网商面对消费者，阿里会根据其已有的运营和数据经验，开发更多的工具，帮助网商成长，让网商们更懂得用最好的工具、服务去服务好消费者。正如马云所言“我相信没有一个网商不希望拥有自己的客户，没有一个网商不希望知道客户对自己的体验到底好还是坏，如何持久的拥有这些客户，我们觉得一个国家的经济，应该让给企业家群体去做，我们觉得淘宝网商未来的经济，是应该留给网商们去决定，而不是我们去做决定”。
腾讯大数据策略
腾讯的大数据目前更多的是为腾讯企业内部运营服务，相对于阿里和网络，数据开放程度并不高。因此，对于腾讯我们主要重点介绍腾讯大数据在服务企业内部的应用场景和服务。
腾讯90%以上的数据已经实现集中化管理，数据集中在数据平台部，有超过100多个产品的数据已经集中管理起来，而且是集中存储在腾讯自研数据仓库（TDW）。腾讯大数据从数据应用的不同环节可以分为四个层面，包括数据分析、数据挖掘、数据管理和数据可视化：

（1）数据分析层有四个产品：自助分析、用户画像、实时多维度分析和异动智能定位工具。自助分析可以帮助非技术人员通过简单的条件配置实现数据的统计和展示功能；用户画像则是对某一群用户或者某一业务的用户实现自动化的人群画像；实时多维度分析工具则是可以对某一指标可以实现实时的多个维度的切分，方便分析人员从不同角度对某一指标进行多维度分析；异动智能定位工具则实现数据异动问题的智能化定位。
（2）数据挖掘层面的产品应用有：精准广告系统、用户个性化推荐引擎和客户生命周期管理。精准广告系统如广点通，是基于腾讯大社交平台的海量数据为基础，通过精准推荐算法，以智能定向推广位导向实现广告精准投放；用户个性化推荐引擎根据每位用户的兴趣和喜好，通过个性化推荐算法（协同过滤、基于内容推荐、图算法、贝叶斯等），实现产品的个性化推荐需求；客户生命周期管理系统，则是基于大数据，根据用户/客户的所处的不同生命周期进行数据挖掘，建立预测、预警和用户特征模型，以根据用户/客户所处的不同生命周期特点进行精细化运营和营销。
（3）在数据管理层面则有：TDW（腾讯数据仓库）、TDBank（数据银行）、元数据管理平台和任务调度系统和数据监控。这一层面主要是实现数据的高效集中存储、数据的业务指标定义管理、数据质量管理、计算任务的及时调度和计算以及数据问题的监控和告警。
（4）在数据可视化层面有：自助报表工具、腾讯罗盘、腾讯分析和腾讯云分析等工具。自助报表工具可以自助化的实现结构相对简单和逻辑相对简单的报表。腾讯罗盘分为内部版和外部版，内部版则是服务于腾讯内部用户（产品经理、运营人员和技术人员等）的高效报表工具，外部版则是服务于腾讯合作伙伴如开发商的报表工具。腾讯分析是网站分析工具，帮助网站主进行网站的全方位分析。腾讯云分析则是帮助应用开发商决策和运营优化的分析工具。
总的来看，网络、阿里巴巴和腾讯三大互联网企业都拥有大数据，三大互联网巨头的数据都用来优化自己业务的运营效果，从这个层面看，其数据价值应用场景比较类似。但由于其业务和商业模式的不同决定了三者数据资产的不同，也决定了三者未来大数据策略的不同，尤其是基于大数据的开放和合作角度看，网络和阿里巴巴相对更加开放。对于重视大数据开放和合作的互联网企业，他们最为期待的是借着大数据开放的策略，与更多的传统行业交换更多的数据，从而更好的丰富其在线下数据，形成线上和线下数据的协同，从中拓展新的商业模式，如智能硬件和大数据健康。