数据处理的方式有哪些

1. 依照操作系统的数据处理方式分类共有哪几种数据处理方式

按数据处理方式可分类：（1）电子数字计算机：所有信息以二进制数表示；（2）电子模拟计算机：内部信息形式为连续变化的模拟电压，基本运算部件为运算放大器；（3）混合式电子计算机：既有数字量又能表示模拟量，设计比较困难。

2. 数据处理是什么意思

数据处理是对数据（包括数值的和非数值的）进行分析和加工的技术过程。包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。

数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程。

(2)数据处理的方式有哪些扩展阅读：

计算机数据处理主要包括8个方面：

1、数据采集:采集所需的信息。

2、数据转换：把信息转换成机器能够接收的形式。

3、数据分组：指定编码，按有关信息进行有效的分组。

4、数据组织：整理数据或用某些方法安排数据，以便进行处理。

5、数据计算：进行各种算术和逻辑运算，以便得到进一步的信息。

6、数据存储：将原始数据或计算的结果保存起来,供以后使用。

7、数据检索:按用户的要求找出有用的信息。

8、数据排序：把数据按一定要求排成次序。

参考资料来源：网络-数据处理

3. 数据处理的常用方式

数据分析与处理方法：
采集
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，还有，常用数据挖掘算法都以单线程为主。

4. 数据处理的常用方法有

1、列表法：是将实验所获得的数据用表格的形式进行排列的数据处理方法。列表法的作用有两种：一是记录实验数据，二是能显示出物理量间的对应关系。
2、图示法：是用图象来表示物理规律的一种实验数据处理方法。一般来讲,一个物理规律可以用三种方式来表述:文字表述、解析函数关系表述、图象表示。
3、图解法：是在图示法的基础上，利用已经作好的图线，定量地求出待测量或某些参数或经验公式的方法。
4、逐差法：由于随机误差具有抵偿性，对于多次测量的结果，常用平均值来估计最佳值，以消除随机误差的影响。
5、最小二乘法：通过实验获得测量数据后，可确定假定函数关系中的各项系数，这一过程就是求取有关物理量之间关系的经验公式。从几何上看，就是要选择一条曲线，使之与所获得的实验数据更好地吻合。

5. 数据处理的方式有哪几种（简单说明）

典型的计算方法有：
1、列表法
2、作图法
3、逐差法
4、最小二乘法
等等...

6. 数据处理方式

什么是大数据：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），网络随便找找都有。

大数据处理流程：

1.是数据采集,搭建数据仓库，数据采集就是把数据通过前端埋点，接口日志调用流数据，数据库抓取，客户自己上传数据，把这些信息基础数据把各种维度保存起来，感觉有些数据没用（刚开始做只想着功能，有些数据没采集， 后来被老大训了一顿）。

2.数据清洗/预处理：就是把收到数据简单处理，比如把ip转换成地址，过滤掉脏数据等。

3.有了数据之后就可以对数据进行加工处理，数据处理的方式很多，总体分为离线处理，实时处理，离线处理就是每天定时处理，常用的有阿里的maxComputer,hive,MapRece,离线处理主要用storm,spark,hadoop,通过一些数据处理框架，可以吧数据计算成各种KPI,在这里需要注意一下，不要只想着功能，主要是把各种数据维度建起来，基本数据做全，还要可复用，后期就可以把各种kpi随意组合展示出来。

4.数据展现，数据做出来没用，要可视化，做到MVP，就是快速做出来一个效果，不合适及时调整，这点有点类似于Scrum敏捷开发，数据展示的可以用datav，神策等，前端好的可以忽略，自己来画页面。

数据采集：

1.批数据采集，就是每天定时去数据库抓取数据快照，我们用的maxComputer，可以根据需求，设置每天去数据库备份一次快照，如何备份，如何设置数据源，如何设置出错，在maxComputer都有文档介绍，使用maxComputer需要注册阿里云服务

2.实时接口调用数据采集，可以用logHub,dataHub,流数据处理技术,DataHub具有高可用，低延迟，高可扩展，高吞吐的特点。

高吞吐：最高支持单主题（Topic）每日T级别的数据量写入，每个分片（Shard）支持最高每日8000万Record级别的写入量。

实时性：通过DataHub ，您可以实时的收集各种方式生成的数据并进行实时的处理，

设计思路：首先写一个sdk把公司所有后台服务调用接口调用情况记录下来，开辟线程池，把记录下来的数据不停的往dataHub,logHub存储，前提是设置好接收数据的dataHub表结构

3.前台数据埋点，这些就要根据业务需求来设置了，也是通过流数据传输到数据仓库，如上述第二步。

数据处理：

数据采集完成就可以对数据进行加工处理，可分为离线批处理，实时处理。

1.离线批处理maxComputer，这是阿里提供的一项大数据处理服务，是一种快速，完全托管的TB/PB级数据仓库解决方案，编写数据处理脚本，设置任务执行时间，任务执行条件，就可以按照你的要求，每天产生你需要数据

2.实时处理：采用storm/spark,目前接触的只有storm,strom基本概念网上一大把，在这里讲一下大概处理过程，首先设置要读取得数据源，只要启动storm就会不停息的读取数据源。Spout，用来读取数据。Tuple：一次消息传递的基本单元，理解为一组消息就是一个Tuple。stream,用来传输流，Tuple的集合。Bolt：接受数据然后执行处理的组件,用户可以在其中执行自己想要的操作。可以在里边写业务逻辑，storm不会保存结果，需要自己写代码保存，把这些合并起来就是一个拓扑，总体来说就是把拓扑提交到服务器启动后，他会不停读取数据源，然后通过stream把数据流动，通过自己写的Bolt代码进行数据处理，然后保存到任意地方，关于如何安装部署storm，如何设置数据源，网上都有教程，这里不多说。

数据展现：做了上述那么多，终于可以直观的展示了，由于前端技术不行，借用了第三方展示平台datav,datav支持两种数据读取模式，第一种，直接读取数据库，把你计算好的数据，通过sql查出，需要配置数据源，读取数据之后按照给定的格式，进行格式化就可以展现出来

@jiaoready @jiaoready 第二种采用接口的形式，可以直接采用api，在数据区域配置为api，填写接口地址，需要的参数即可，这里就不多说了。

7. 常用的数据处理方法

前面所述的各种放射性测量方法，包括航空γ能谱测量，地面γ能谱测量和氡及其子体的各种测量方法，都已用在石油放射性勘查工作之中。数据处理工作量大的是航空γ能谱测量。

（一）数据的光滑

为了减少测量数据的统计涨落影响及地面偶然因素的影响，对原始测量数据进行光滑处理。消除随机影响。

放射性测量数据光滑，最常用的光滑方法是多项式拟合移动法。在要光滑测量曲线上任取一点，并在该点两边各取m个点，共有2m+1点；用一个以该点为中心的q阶多项式对这一曲线段作最小二乘拟合，则该多项式在中心点的值，即为平滑后该点的值。用此法逐点处理，即得光滑后的曲线，光滑计算公式（公式推导略）为

核辐射场与放射性勘查

式中：y_i+j、为第i点光滑前后的值；为系数；为规范化常数。

五点光滑的二次多项式的具体光滑公式为

核辐射场与放射性勘查

如果一次光滑不够理想，可以重复进行1～2次，但不宜过多重复使用。

光滑方法，还有傅里叶变换法，以及多点平均值法，多点加权平均值法等。

使用那种方法选定之后，一般都通过编程存入计算机，进行自动化处理。

图7-2-1是美国东得克萨斯州一个油田上的航空γ放射性异常中的两条剖面图（A-B和B-C）。经过光滑处理后，低值连续，清晰明显，与油田对应的位置较好。说明四个油藏都在铀（w（U））和钾（w（K））的低值位置。

图7-2-1 美国东得克萨斯油田航空γ放射性异常剖面图

（二）趋势面分析方法

趋势分析主要反映测量变量在大范围（区域）连续变化的趋势。在原始数据中常含有许多随机误差和局部点异常，直观反映是测量曲线上下跳动或小范围突变。使用趋势分析处理是为了得到研究区域辐射场的总体分布趋势。

趋势面分析，实质上是利用多元回归分析，进行空间数据拟合。根据计算方法不同，又可分为图解法趋势面分析和数学计算法趋势面分析。图解法趋势面分析的基本思路是对观测数据采用二维方块取平均值法，或滑动平均值法计算趋势值。方块平均值法是对每一方块内的数据取平均值，作为该方块重心点的趋势值。滑动平均值法是设想一个方框，放在测区数据分布的平面图上，把落在方框内的测点数据取平均值，记在方框中心上，最后得到趋势面等值图。一般讲做一次是不够的，需要如此重复3～9次。一般都有专门程序可供使用（不作详述）。如图7-1-14（a）为原始数据等值图，中间有许多呈点状高值或低值分布，经过四次趋势面分析之后可以清楚地看出三个低值异常区。

计算法趋势面分析是选定一个数学函数，对观测数据进行拟合，给出一个曲线。拟合函数常用的有多项式函数，傅里叶级数，三角函数以及指数函数的多项式函数等。目前以二维多项式函数应用最多。

（三）岩性影响及其校正分析

不同岩石、不同土壤中放射性核素含量是有差别，有的相差还比较大，有的相差甚至超过10%～20%。这是油田放射性测量的主要影响因素。

一个测区可能出现不同土壤分布，把不同放射性水平的土壤上测量结果校正到同一水平（叫归一化方法）是非常重要的工作，主要有下面三种方法。

1.确定土壤核素含量的归一化方法

利用γ能谱测量资料，根据测区地质图或土壤分布图，分别统计总道的总计数率和铀、钍、钾含量的平均值。然后进行逐点校正，即逐点减去同类土壤的平均值，其剩余值即为异常值。

核辐射场与放射性勘查

式中：分别为第 i类土壤中测点 j的总计数和铀、钍、钾含量。分别为i类土壤的平均总计数和铀、钍、钾的平均值。分别为扣除各类土壤平均值后的剩余值，即为各测点不同土壤校正后的归一化的油田的放射性异常。根据需要可以用来绘制平面剖面图或等值线图，即为经过不同岩性（土壤）校正后的油田放射性异常图。

这个方法的缺点是计算工作量较大。

2.用钍归一化校正铀、钾含量

对自然界各种岩石中的钍、铀、钾含量的相关性研究（D.F.Saundr，1987），发现它们的含量具有很好的相关性（表7-2-2）；而且随岩性不同含量确有相应的增加或减小，据此可以利用钍的含量计算铀和钾的含量。钍有很好的化学稳定性，钍在地表环境条件下基本不流失。因此，利用钍含量计算出来的铀、钾含量，应当是与油藏存在引起的铀、钾

表7-2-2 几种岩石的钍、铀、钾含量

异常无关的正常值。用每点实测的铀、钾，减去计算的正常值，那么每个测点的铀、钾剩余值（差值）应当是油气藏引起的异常值。这样就校正了岩性（土壤）变化的影响。

对于航空γ能谱测量的总道计数率，也同样可以用钍含量（或计数率）归一化校正总道计数率，效果也非常好。

具体方法如下。

1）对铀、钾的归一化校正。

2）根据航空γ能谱测量或地面γ能谱测量数据，按测线计算铀、钍、钾含量。根据岩石（土壤）中钍与铀，钍与钾的相关关系（表7-2-1），认为铀和钍存在线性关系，钾和钍存在对数线性关系，于是建立相应的拟合关系式。

核辐射场与放射性勘查

式中：A、B、A′、B′为回归系数（对每个测区得到一组常数）；w_i（Th）为测点i实测的钍含量；w_点i（U）、w_点i（K）为i点由钍含量计算的铀、钾含量。

计算每个测点的铀、钾剩余值：

核辐射场与放射性勘查

式中：w_i（U）、w_i（K）为测点i的实测值。剩余值Δw_i（U）和Δw_i（K）为油藏引起的异常值。

南阳-泌阳航空γ能谱测区，测得的钍、铀、钾含量，按钍含量分间隔，计算其平均值，列于表7-2-3。根据此表中数据，由（7-2-7）和（7-2-8）式得：

核辐射场与放射性勘查

表7-2-3 南阳-泌阳航空γ能谱计算的钍、铀、钾

3）对总道γ计数率的归一化校正。钍比较稳定，可以认为与油气藏形成的放射性异常无关。经研究得知，原岩的总道计数率（I_点i）与钍含量的对数值存在近似的线性关系，即

核辐射场与放射性勘查

根据γ能谱实测数据求得实测i点的总道计数率（I_i）与I_点i的差值：

核辐射场与放射性勘查

即为消除岩性影响的，由油气藏引起的γ总计数率异常值。

图7-2-2 钍归一化校正岩性影响的结果

图7-2-2为任丘双河油田，两条测线（1100线和11010线）。用钍归一化法，消除岩性影响的结果。油田边界高值和油田上方低值，除钾11010线外都比较明显清晰。与已知油田边界基本一致。

8. 大数据技术常用的数据处理方式有哪些

大数据技术常用的数据处理方式，有传统的ETL工具利用多线程处理文件的方式；有写MapRece，有利用Hive结合其自定义函数，也可以利用Spark进行数据清洗等，每种方式都有各自的使用场景。

在实际的工作中，需要根据不同的特定场景来选择数据处理方式。

1、传统的ETL方式

传统的ETL工具比如Kettle、Talend、Informatica等，可视化操作，上手比较快，但是随着数据量上升容易导致性能出问题，可优化的空间不大。

2、Maprece

写Maprece进行数据处理，需要利用java、python等语言进行开发调试，没有可视化操作界面那么方便，在性能优化方面，常见的有在做小表跟大表关联的时候，可以先把小表放到缓存中(通过调用Maprece的api)，另外可以通过重写Combine跟Partition的接口实现，压缩从Map到rece中间数据处理量达到提高数据处理性能。

3、Hive

在没有出现Spark之前，Hive可谓独占鳌头，涉及离线数据的处理基本都是基于Hive来做的，Hive采用sql的方式底层基于Hadoop的Maprece计算框架进行数据处理，在性能优化上也不错。

4、Spark

Spark基于内存计算的准Maprece，在离线数据处理中，一般使用Spark sql进行数据清洗，目标文件一般是放在hdf或者nfs上，在书写sql的时候，尽量少用distinct，group by recebykey 等之类的算子，要防止数据倾斜。

9. 论述题试述数据处理的方式有哪两种及各自的优缺点

数据交换的方式和优缺点：

存储转发模式：
（1）优点：保证了数据帧的无差错传输。
（2）缺点：增加了传输延迟，而且传输延迟随数据帧的长度增加而增加。
快速转发模式：
（1）优点：数据传输的低延迟。
（2）缺点：无法对数据帧进行校验和纠错。
自由分段模式：
这种模式的性能介于存储转发模式和快速转发模式之间。自由分段模式是交换机接收数据帧时，一旦检测到该数据帧不是冲突碎片就进行转发操作。冲突碎片是因为网络冲突而受损的数据帧碎片，其特征是长度小于64字节。冲突碎片并不是有效的数据帧，应该被丢弃。因此，交换机的自由分段模式实际上就是一旦数据帧已接收的部分超过64字节，就开始进行转发处理。

10. 数据处理的基本方法有哪些

典型的计算方法有：1、列表法2、作图法3、逐差法4、最小二乘法等等