❶ 数据挖掘主要涉及到哪些方面的知识
1. 工程能力
( 1 )编程基础:需要掌握一大一小两门语言,大的指 C++ 或者 Java ,小的指Python 或者 shell 脚本;需要掌握基本的数据库语言;
建议:MySQL + python + C++ ;语言只是一种工具,看看语法就好;
推荐书籍:《C++ primer plus 》
( 2 )开发平台: Linux ;
建议:掌握常见的命令,掌握 Linux 下的源码编译原理;
推荐书籍:《Linux 私房菜》
( 3 )数据结构与算法分析基础:掌握常见的数据结构以及操作(线性表,队,列,字符串,树,图等),掌握常见的计算机算法(排序算法,查找算法,动态规划,递归等);
建议:多敲代码,多刷题;
推荐书籍:《大话数据结构》《剑指 offer 》
( 4 )海量数据处理平台: Hadoop ( mr 计算模型,java 开发)或者 Spark ( rdd 计算模型, scala开发),重点推荐后者;
建议:主要是会使用,有精力的话可以看看源码了解集群调度机制之类的;
推荐书籍:《大数据 spark 企业级实战》
2. 算法能力
( 1 )数学基础:概率论,数理统计,线性代数,随机过程,最优化理论
建议:这些是必须要了解的,即使没法做到基础扎实,起码也要掌握每门学科的理论体系,涉及到相应知识点时通过查阅资料可以做到无障碍理解;
( 2 )机器学习 / 深度学习:掌握 常见的机器学习模型(线性回归,逻辑回归, SVM ,感知机;决策树,随机森林, GBDT , XGBoost ;贝叶斯, KNN , K-means , EM 等);掌握常见的机器学习理论(过拟合问题,交叉验证问题,模型选择问题,模型融合问题等);掌握常见的深度学习模型( CNN ,RNN 等);
建议:这里的掌握指的是能够熟悉推导公式并能知道模型的适用场景;
推荐书籍:《统计学习方法》《机器学习》《机器学习实战》《 UFLDL 》
( 3 )自然语言处理:掌握常见的方法( tf-idf , word2vec ,LDA );
3. 业务经验
( 1 )了解推荐以及计算广告相关知识;
推荐书籍:《推荐系统实践》《计算广告》
( 2 )通过参加数据挖掘竞赛熟悉相关业务场景,常见的比赛有 Kaggle ,阿里天池, datacastle 等。
❷ 数据挖掘是什么
数据挖掘(Data Mining)是指通过大量数据集进行分类的自动化过程,以通过数据分析来识别趋势和模式,建立关系来解决业务问题。换句话说,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
原则上讲,数据挖掘可以应用于任何类型的信息存储库及瞬态数据(如数据流),如数据库、数据仓库、数据集市、事务数据库、空间数据库(如地图等)、工程设计数据(如建筑设计等)、多媒体数据(文本、图像、视频、音频)、网络、数据流、时间序列数据库等。也正因如此,数据挖掘存在以下特点:
(1)数据集大且不完整
数据挖掘所需要的数据集是很大的,只有数据集越大,得到的规律才能越贴近于正确的实际的规律,结果也才越准确。除此以外,数据往往都是不完整的。
(2)不准确性
数据挖掘存在不准确性,主要是由噪声数据造成的。比如在商业中用户可能会提供假数据;在工厂环境中,正常的数据往往会收到电磁或者是辐射干扰,而出现超出正常值的情况。这些不正常的绝对不可能出现的数据,就叫做噪声,它们会导致数据挖掘存在不准确性。
(3)模糊的和随机的
数据挖掘是模糊的和随机的。这里的模糊可以和不准确性相关联。由于数据不准确导致只能在大体上对数据进行一个整体的观察,或者由于涉及到隐私信息无法获知到具体的一些内容,这个时候如果想要做相关的分析操作,就只能在大体上做一些分析,无法精确进行判断。
而数据的随机性有两个解释,一个是获取的数据随机;我们无法得知用户填写的到底是什么内容。第二个是分析结果随机。数据交给机器进行判断和学习,那么一切的操作都属于是灰箱操作。
❸ 什么是数据挖掘,或数据挖掘的过程是什么
1.1 数据挖掘的兴起
1.1.1 数据丰富与知识匮乏
整个知识发现过程是由若干重要步骤组成(数据挖掘只是其中一个重要步骤):
1)数据清洗:清除数据噪声和与挖掘主题明显无关的数据
2)数据集成:将来自多数据源中的相关数据组合到一起
3)数据转换:将数据转换为易于进行数据挖掘的数据存储形式
4)数据挖掘:它是知识挖掘的一个重要步骤,其作用是利用智能方法挖掘数据模式或规律知识
5)模式评估:其作用是根据一定评估标准从挖掘结果筛选出有意义的模式知识
6)知识表示:其作用是利用可视化和知识表达技术,向用户展示所挖掘出的相关知识
1.1.4 数据挖掘解决的商业问题(案例)
客户行为分析
客户流失分析
交叉销售
欺诈检测
风险管理
客户细分
广告定位
市场和趋势分析
❹ 数据挖掘是什么
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据挖掘流程:
定义问题:清晰地定义出业务问题,确定数据挖掘的目的。
数据准备:数据准备包括:选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工,包括检查数据的完整性及数据的一致性、去噪声,填补丢失的域,删除无效数据等。
数据挖掘:根据数据功能的类型和和数据的特点选择相应的算法,在净化和转换过的数据集上进行数据挖掘。
结果分析:对数据挖掘的结果进行解释和评价,转换成为能够最终被用户理解的知识。
数据挖掘的技术,可粗分为:统计方法、机器学习方法、神经网络方法和数据库方法。统计方法,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、CBR、遗传算法、贝叶斯信念网络等。神经网络方法,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是基于可视化的多维数据分析或OLAP方法,另外还有面向属性的归纳方法。
❺ 什么是指如何把大数据智能化的潜力挖掘出来
数据挖掘是指人们从事先不知道的大量不完整、杂乱、模糊和随机数据中提取潜在隐藏的有用信息和知识的过程。下面说下我们在挖掘大数据的时候,都会用到的几种方法:
方法1、(可视化分析)无论是日志数据分析专家还是普通用户,数据可视化都是数据分析工具的最基本要求。可视化可以直观地显示数据,让数据自己说话,让听众看到结果。
方法2、(数据挖掘算法)如果说可视化用于人们观看,那么数据挖掘就是给机器看的。集群、分割、孤立点分析和其他算法使我们能够深入挖掘数据并挖掘价值。这些算法不仅要处理大量数据,还必须尽量缩减处理大数据的速度。
方法3、(预测分析能力)数据挖掘使分析师可以更好地理解数据,而预测分析则使分析师可以根据可视化分析和数据挖掘的结果做出一些预测性判断。
❻ 数据挖掘它在把数据加工成有用信息的过程中起什么作用
数据挖掘的定义是:从大量的数据中通过算法搜索隐藏于其中信息的过程。
也就是说在数据加工成有用的信息的第一步(除了收据收集以外)就是数据挖掘,他是数据再加工的前提条件,没有数据挖掘,那么也就不存在后面的而所谓数据分析等等这么内容,因为你根本没有从大量的数据中找到隐藏域其中的“有用”的信息。
举个例子:电视剧《在一起》中有一集是讲流调的,其中有个人能准确地说出那个老太太和另外一个人同时出现在了某个地方,这个就是数据挖掘。然后再根据地点的公共监控和特征,找到二者存在的关系,这个就是数据分析,如果都挖掘不出来(不知道二者曾经共同出现过),那么怎么进行分析呢?
当然数据分析不仅仅是这一点,数据的治理,整理,汇总,分类,建模等等,这些都是数据分析,那么数据分析的前提是有数据,这个数据从哪里来的,数据挖掘从海量的数据中“挖”来的,数据挖掘起到的主要作用我觉得就是这个--信息准备(把数据从海量的庞大的不可操作的信息,转换为轻量的有用的可操作的信息)
❼ 数据挖掘的功能 数据挖掘可以挖掘到什么类型的模式
数据挖掘功能用于指定数据挖掘任务要找的模式类型.一般而言,数据挖掘任务可以分两类:描述和预测.描述性挖掘任务描述数据库中的数据的一般性质.预测性挖掘任务对当前数据进行推断,以做出预测.
概念/类描述:特征化和区分
数据特征化
数据区分
挖掘频繁模式,关联和相关
关联分析.假设作为AllElectronics的市场部经理,想确定在相同的事务中,哪些商品经常被一起购买.从AllElectronics事务数据库中挖掘出来的这种规则的一个例子是
buys (X, "computer") => buys(X, "software") [support = 1%, confidence = 50%]
其中,X是变量,代表顾客.50%的置信度或可信性表示,如果一位顾客购买计算机,则购买软件的可能性是50%.1%的支持度意味所分析的所有事务的1%显示计算机与软件一起购买.这个关联规则涉及单个重复的属性或谓词(即 buys).包含单个谓词的关联规则称作单维关联规则(single-dimensional association rule).去掉谓词符号,上面的规则可以简单地写成 "computer => software [1%, 50%]".
假设给定涉及购买的AllElectronics关系数据库.数据挖掘系统还可以发现如下形式的规则:
age(X, "20...29") ^ income(X, "20K...29K") => buys(X, "CD player") [support = 2%, confidence = 60%]
该规则指出,所研究的AllElectronics顾客,2%是20 ~ 29岁,年收入为2000 ~ 29000,并且在AllElectronics购买了CD播放机.这个年龄和收入组的顾客购买CD机的概率为60%.注意,这个属性称为一维,上面的规则可以称作多维关联规则 (multidimensional association rule).