1. 数据分析的五个步骤
我们将数据分析过程组织为五个步骤:提问、整理、探索、得出结论和传达结果。以下是关键要点的概述,但你可以选择跳过。我们将在后面的部分中演练每一步,所以你将很快熟悉整个过程。
第 1 步:提问
你要么获取一批数据,然后根据它提问,要么先提问,然后根据问题收集数据。在这两种情况下,好的问题可以帮助你将精力集中在数据的相关部分,并帮助你得出有洞察力的分析。
第 2 步:整理数据
你通过三步来获得所需的数据:收集,评估,清理。你收集所需的数据来回答你的问题,评估你的数据来识别数据质量或结构中的任何问题,并通过修改、替换或删除数据来清理数据,以确保你的数据集具有最高质量和尽可能结构化。
第 3 步:执行 EDA(探索性数据分析)
你可以探索并扩充数据,以最大限度地发挥你的数据分析、可视化和模型构建的潜力。探索数据涉及在数据中查找模式,可视化数据中的关系,并对你正在使用的数据建立直觉。经过探索后,你可以删除异常值,并从数据中创建更好的特征,这称为特征工程。
第 4 步:得出结论(或甚至是做出预测)
这一步通常使用机器学习或推理性统计来完成,不在本课程范围内,本课的重点是使用描述性统计得出结论。
第 5 步:传达结果
你通常需要证明你发现的见解及传达意义。或者,如果你的最终目标是构建系统,则通常需要分享构建的结果,解释你得出设计结论的方式,并报告该系统的性能。传达结果的方法有多种:报告、幻灯片、博客帖子、电子邮件、演示文稿,甚至对话。数据可视化总会给你呈现很大的价值。
2. 什么叫对数据敏感怎样做数据分析
对数据敏感就是当你看到一大堆杂乱无章的数据时,你会很有耐心的找出其中的规律所在,不厌其烦,并且乐在其中。
而做典型的数据分析可能包含以下三个步骤:
1、探索性数据分析,当数据刚取得时,可能杂乱无章,看不出规律,通过作图、造表、用各种形式的方程拟合,计算某些特征量等手段探索规律性的可能形式,即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。
2、模型选定分析,在探索性分析的基础上提出一类或几类可能的模型,然后通过进一步的分析从中挑选一定的模型。
3、推断分析,通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。
数据分析过程实施
数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。
一、 识别信息需求
识别信息需求是确保数据分析过程有效性的首要条件,可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求,提出对信息的需求。就过程控制而言,管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。
二、收集数据
有目的的收集数据,是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时应考虑:
①识别的需求转化为具体的要求,如评价供方时,需要收集的数据可能包括其过程能力、测量系统不确定度等相关数据;
②确由谁在何时何处,通过何种渠道和方法收集数据;
③录表应便于使用;
④取有效措施,防止数据丢失和虚假数据对系统的干扰。
三、分析数据
分析数据是将收集的数据通过加工、整理和分析、使其转化为信息,通常用方法有: 老七种工具,即排列图、因果图、分层法、调查表、散步图、直方图、控制图; 新七种工具,即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图;
四、数据分析过程的改进
数据分析是质量管理体系的基础。组织的管理者应在适当时,通过对以下问题的分析,评估其有效性:
①供决策的信息是否充分、可信,是否存在因信息不足、失准、滞后而导致决策失误的问题;
②息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致,是否在产品实现过程中有效运用数据分析。
③收集数据的目的是否明确,收集的数据是否真实和充分,信息渠道是否畅通;
④据分析方法是否合理,是否将风险控制在可接受的范围;
⑤据分析所需资源是否得到保障。