大数据面试要问什么问题

1. 大数据开发人员面试常会被问什么问题

1、你自身的优点
这个问题不仅仅是在大数据面试当中常常被问，在各行各业的面试中都经常出现。所以面试者要尽可能说一些和工作相关的优点，比如“学习能力强”“能抗住压力”等，再举一个自己之前工作的例子进行证明，这会让面试官觉得很真实。
2、为什么要离开上家公司
其实面试官问这种问题的时候，就是在看你人品。很多人觉得说上家公司不好的话才是好的，其实不是的，离职见人品，如果你能在面试官面前说上家公司的不好，也能在下家公司说这家公司的不好。所以在面试官问及这个问题的时候，最好结合自身的发展来说。
3、未来几年的规划
回答这个问题的时候，不要说自己不知道、不清楚，会显得你这个人没有目标和方向。所以如果应聘者对这个问题不知道怎么回答的时候，可以跟面试官交流一下现在大数据行业的职业目标以及准备做些什么去实现这个目标，至少要让面试官看到应聘者对选择这个职业的热情，甚至是对选择这份工作的热情。

2. 2021年大数据工程师面试内容包括哪些

【导语】近年来，大数据发展如火如荼，很多人都选择学习大数据专业或者转行大数据，大数据里又包含很多就业岗位，所以在进行岗位选择的时候，还是需要大家合理选择，为了帮助大家更好的进入大数据行业执业，下面就把2021年大数据工程师面试内容给大家进行一下具体介绍。

1、自我介绍

一般上来就是自我介绍，谈下工作经历和项目经验，面试官会根据你的项目经验对你进行技术面试。在自我介绍时，一定要抓住核心说，不要太啰嗦，尽量放大自己的价值，让面试官感受到你对工作的热情，以及以后对公司贡献的能力。

2、数仓开发知识技能

(1)Java是必问的，不过问的不深，把Javase部分吃透，足以应付Java部分的面试。

(2)Hadoop生态，Yarn、Zookeeper、HDFS这些底层原理要懂，面试经常被问。

(3)Maprece的shuffle过程这个也是面试被常问的。

(4)Hbase和HIve，搞大数据这些不懂真的说不过去。

(5)Mysql、Oracle和Postgres数据库操作要回，Sql要会写。

(6)linux操作系统，这个简单得命令必须要懂，会写shell脚本更好了。

(7)Kettle或Sqoop这种数据处理工具至少要会一个。8，数据仓库建模、数据模型的问题。

3、技术方面知识技能

(1)SparkSql和SparkStreaming，底层原理、内核、提交任务的过程等等，尽量深入内幕，这个经常会跟MapRece作比较的。当然也要了解Storm和Flink，Flink这个建议要学会，以后用处会越来越广。

(2)Redis、Kafka、ElasticSearch这些都得懂原理，深入了解，会使用，会操作，会调优。

(3)impala和kylin这些尽量也要了解会用

(4)Python这个要是有能力，有精力，建议也要往深处学习，我目前正在自学中。

(5)集群的问题，包括一些简单的运维知识。

(6)大数据数据倾斜的问题，包括Spark JVM内存调优问题等等。

关于2021年大数据工程师面试内容，就给大家介绍到这里了，希望对大家能有所帮助，当然进入大数据行业，还需要大家在平时不断进行技能提升，这样才能更好的拥有一席之地。

3. 尚硅谷大数据面试都会问些什么

其实不管是哪家公司面试，都是根据你的简历来对你进行提问，所以自己简历上面写的知识点都要全部对答如流。

还有慎用精通这样的字眼，工作五年以上的人，也不敢说自己对哪一方面能够达到精通的地步。

尚硅谷大数据面试的一些基本问题总结如下：

1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢？
2.讲讲多线程吧， 要是你，你怎么实现一个线程池呢？
3.讲一下Maprece或者hdfs的原理和机制。map读取数据分片。
4.shuffle 是什么？ 怎么调优？
5.项目用什么语言写？ Scala？ Scala的特点？ 和Java的区别？
6.理论基础怎么样，比如数据结构，里面的快速排序，或者，树？ 讲一讲你了解的树的知识？
7.数学怎么样呢？
8.讲一下数据库，SQl ，左外连接， 原理，实现？
9.还了解过数据的什么知识？ 数据库引擎？
10.Hadoop的机架怎么配置的？
11.Hbase的设计有什么心得？
12.Hbase的操作是用的什么API还是什么工具？
13.对调度怎么理解.? 用什么工具吗？
14.用kettle 这种工具还是 自己写程序？ 你们公司是怎么做的？
15.你们数据中心开发周期是多长？
16.你们hbase里面是存一些什么数据

4. 常见大数据公司面试问题有哪些

1、您对“大数据”一词有什么了解?

答： 大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据，这就是为什么使用特殊的工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务，并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。大数据还使公司能够根据数据做出更好的业务决策。

2、告诉我们大数据和Hadoop之间的关系。

答： 大数据和Hadoop几乎是同义词。随着大数据的兴起，专门用于大数据操作的Hadoop框架也开始流行。专业人士可以使用该框架来分析大数据并帮助企业做出决策。

注意： 在大数据采访中通常会问这个问题。 可以进一步去回答这个问题，并试图解释的Hadoop的主要组成部分。

3、大数据分析如何有助于增加业务收入?

答：大数据分析对于企业来说已经变得非常重要。它可以帮助企业与众不同，并增加收入。通过预测分析，大数据分析为企业提供了定制的建议。此外，大数据分析使企业能够根据客户的需求和偏好推出新产品。这些因素使企业获得更多收入，因此公司正在使用大数据分析。通过实施大数据分析，公司的收入可能会大幅增长5-20%。一些使用大数据分析来增加收入的受欢迎的公司是-沃尔玛，LinkedIn，Facebook，Twitter，美国银行等。

5. 面试数据分析师的常见问题

面试数据分析师的常见问题。数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。那么在应聘数据分析师这一职位的求职者会面临哪些面试问题呢？

1、告诉我二个分析或者计算机科学相关项目？你是如何对其结果进行衡量的？
2、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库？
3、什么是：提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则？
4、什么是：协同过滤、n-grams, map rece、余弦距离？
5、点击流数据应该是实时处理？为什么？哪部分应该实时处理？
6、如何设计一个解决抄袭的方案？
7、如何检验一个个人支付账户都多个人使用？
8、什么是概率合并(AKA模糊融合)？使用SQL处理还是其它语言方便？对于处理半结构化的数据你会选择使用哪种语言？
9、你认为哪个更好：是好的数据还是好模型？同时你是如何定义“好”？存在所有情况下通用的模型吗？有你没有知道一些模型的定义并不是那么好？
10、你最喜欢的编程语言是什么？为什么？
11、你是如何处理缺少数据的？你推荐使用什么样的处理技术？
12、什么是大数据的诅咒？
13、对于你喜欢的统计软件告诉你喜欢的与不喜欢的3个理由。
14、SAS, R, Python, Perl语言的区别是？
15、你喜欢TD数据库的什么特征？
16、你参与过数据库与数据模型的设计吗？
17、你是否参与过仪表盘的设计及指标选择？你对于商业智能和报表工具有什么想法？
18、请举例说明maprece是如何工作的？在什么应用场景下工作的很好？云的安全问题有哪些？
19、如何你打算发100万的营销活动邮件。你怎么去优化发送？你怎么优化反应率？能把这二个优化份开吗？
20、如果有几个客户查询ORACLE数据库的效率很低。为什么？你做什么可以提高速度10倍以上，同时可以更好处理大数量输出？
21、如何把非结构化的数据转换成结构化的数据？这是否真的有必要做这样的转换？把数据存成平面文本文件是否比存成关系数据库更好？
22、什么是哈希表碰撞攻击？怎么避免？发生的频率是多少？
23、如何判别maprece过程有好的负载均衡？什么是负载均衡？
24、你处理过白名单吗？主要的规则？(在欺诈或者爬行检验的情况下)
25、(在内存满足的情况下)你认为是100个小的哈希表好还是一个大的哈希表，对于内在或者运行速度来说？对于数据库分析的评价？
26、为什么朴素贝叶斯差？你如何使用朴素贝叶斯来改进爬虫检验算法？
27、普通线性回归模型的缺陷是什么？你知道的其它回归模型吗？
28、什么是星型模型？什么是查询表？
29、你可以使用excel建立逻辑回归模型吗？如何可以，说明一下建立过程？
30、在SQL, Perl, C++, Python等编程过程上，待为了提升速度优化过相关代码或者算法吗？如何及提升多少？
31、使用5天完成90%的精度的解决方案还是花10天完成100%的精度的解决方案？取决于什么内容？
32、定义：QA(质量保障)、六西格玛、实验设计。好的与坏的实验设计能否举个案例？
33、什么是敏感性分析？拥有更低的敏感性(也就是说更好的强壮性)和低的预测能力还是正好相反好？你如何使用交叉验证？你对于在数据集中插入噪声数据从而来检验模型的敏感性的想法如何看？
34、你认为叶数小于50的决策树是否比大的好？为什么？
35、保险精算是否是统计学的一个分支？如果不是，为何如何？
36、给出一个不符合高斯分布与不符合对数正态分布的数据案例。给出一个分布非常混乱的数案例。
37、你如何建议一个非参数置信区间？
38、你如何证明你带来的算法改进是真的有效的与不做任何改变相比？你对A/B测试熟吗？
39、为什么说均方误差不是一个衡量模型的好指标？你建议用哪个指标替代？
40、对于一下逻辑回归、决策树、神经网络。在过去15年中这些技术做了哪些大的改进？
41、除了主成分分析外你还使用其它数据降维技术吗？你怎么想逐步回归？你熟悉的逐步回归技术有哪些？什么时候完整的数据要比降维的数据或者样本好？
42、如何创建一个关键字分类？
43、你熟悉极值理论、蒙特卡罗逻辑或者其它数理统计方法以正确的评估一个稀疏事件的发生概率？
44、什么是归因分析？如何识别归因与相关系数？举例。
45、如何定义与衡量一个指标的预测能力？
46、如何为欺诈检验得分技术发现最好的规则集？你如何处理规则冗余、规则发现和二者的本质问题？一个规则集的近似解决方案是否可行？如何寻找一个可行的近似方案？你如何决定这个解决方案足够好从而可以停止寻找另一个更好的？
47、什么是概念验证？
48、什么是僵尸网络？如何进行检测？
49、你有使用过API接口的经验吗？什么样的API？是谷歌还是亚马逊还是软件即时服务？
50、什么时候自己编号代码比使用数据科学者开发好的软件包更好？
51、可视化使用什么工具？在作图方面，你如何评价Tableau？R？SAS？在一个图中有效展现五个维度？
52、是假阳性好还是假阴性好？
53、你主要与什么样的客户共事：内部、外部、销售部门/财务部门/市场部门/IT部门的人？有咨询经验吗？与供应商打过交道，包括供应商选择与测试。
54、你熟悉软件生命周期吗？及IT项目的生命周期，从收入需求到项目维护？
55、什么是cron任务？
56、你是一个独身的编码人员？还是一个开发人员？或者是一个设计人员？
57、什么让一个图形使人产生误解、很难去读懂或者解释？一个有用的图形的特征？
58、你熟悉价格优化、价格弹性、存货管理、竞争智能吗？分别给案例。
59、Zillow’s算法是如何工作的？
60、如何检验为了不好的目的还进行的虚假评论或者虚假的FB帐户？
61、你如何创建一个新的匿名数字帐户？
62、你有没有想过自己创业？是什么样的想法？
63、你认为帐号与密码输入的登录框会消失吗？它将会被什么替代？
64、你用过时间序列模型吗？时滞的相关性？相关图？光谱分析？信号处理与过滤技术？在什么样的场景下？
65、哪位数据科学有你最佩服？从哪开始？
66、你是怎么开始对数据科学感兴趣的？
67、你觉得下一个20年最好的5个预测方法是？
68、什么是推荐引擎？它是如何工作的？
69、什么是精密测试？如何及什么时候模拟可以帮忙我们不使用精密测试？
70、你认为怎么才能成为一个好的数据科学家？
71、你认为数据科学家是一个艺术家还是科学家？
72、你怎么马上就知道在一篇文章中(比如报纸)发表的统计数字是错误，或者是用作支撑作者的论点，而不是仅仅在罗列某个事物的信息？例如，对于每月官方定期在媒体公开发布的失业统计数据，你有什么感想？怎样可以让这些数据更加准确？
73、给出一些在数据科学中“最佳实践的案例”。
74、什么是效率曲线？他们的缺陷是什么，你如何克服这些缺陷？
75、你处理过的最大的数据量？你是如何处理他们的？处理的结果。
76、什么是一个好的、快速的聚类算法的的计算复杂度？什么好的聚类算法？你怎么决定一个聚类的聚数？
77、你知道使用在统计或者计算科学中的“经验法则”吗？或者在商业分析中。
上述的这些问题在面试数据分析师的求职者中非常容易遇到的，有些的涉及到专业性的问题，因此在面试之前一定要做好充足的准备！

6. 大数据面试题及答案谁能分享一下

大数据时代才刚刚开始。随着越来越多的公司倾向于大数据运营，人才需求达到历史最高水平。这对你意味着什么？如果您想在任何大数据岗位上工作，它只能转化为更好的机会。您可以选择成为数据分析师，数据科学家，数据库管理员，大数据工程师，Hadoop大数据工程师等。在本文中，慧都网将介绍与大数据相关的前10大数据面试问题。

以下是最重要的大数据面试问题以及具体问题的详细解答。对于更广泛的问题，答案取决于您的经验，我们将分享一些如何回答它们的提示。

10个大数据面试入门级问题

无论何时进行大数据采访，采访者都可能会询问一些基本问题。无论您是大数据领域的新手还是经验丰富，都需要基础知识。因此，让我们来介绍一些常见的基本大数据面试问题以及破解大数据面试的答案。

1.您对“大数据”一词有何了解？

答：大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据，这就是使用特殊工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务，并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。大数据还允许公司采取数据支持的更好的业务决策。

2.大数据的五个V是什么？

答：大数据的五个V如下：

• Volume -Volume表示体积大，即以高速率增长的数据量，即以PB为单位的数据量

• Velocity -Velocity是数据增长的速度。社交媒体在数据增长速度方面发挥着重要作用。

• Variety -Variety是指不同的数据类型，即各种数据格式，如文本，音频，视频等。

• Veracity -Veracity是指可用数据的不确定性。由于大量数据带来不完整性和不一致性，因此产生了准确性。

• Value -价值是指将数据转化为价值。通过将访问的大数据转换为价值，企业可以创造收入。



YARN的两个主要组成部分：

• ResourceManager-该组件接收处理请求，并根据处理需要相应地分配给各个NodeManager。

• NodeManager-它在每个单个数据节点上执行任务




7.为什么Hadoop可用于大数据分析？

答：由于数据分析已成为业务的关键参数之一，因此，企业正在处理大量结构化，非结构化和半结构化数据。在Hadoop主要支持其功能的情况下，分析非结构化数据非常困难

• 存储

• 处理

• 数据采集

此外，Hadoop是开源的，可在商用硬件上运行。因此，它是企业的成本效益解决方案。




8.什么是fsck？

答：fsck代表文件系统检查。它是HDFS使用的命令。此命令用于检查不一致性以及文件中是否存在任何问题。例如，如果文件有任何丢失的块，则通过此命令通知HDFS。




9. NAS（网络附加存储）和HDFS之间的主要区别是什么？

答：NAS（网络附加存储）和HDFS之间的主要区别 -

• HDFS在一组计算机上运行，而NAS在单个计算机上运行。因此，数据冗余是HDFS中的常见问题。相反，复制协议在NAS的情况下是不同的。因此，数据冗余的可能性要小得多。

• 在HDFS的情况下，数据作为数据块存储在本地驱动器中。在NAS的情况下，它存储在专用硬件中。




10.格式化NameNode的命令是什么？

答：$ hdfs namenode -format。

欢迎咨询慧都在线客服，我们将帮您转接大数据专家团队，并发送相关资料给您！

以上就是大数据面试题及答案，希望我的回答对您有帮助！