Python怎么检验数据分布

1. 每个维度都画出来，看直方图，肉眼判别。python中可以用matplotlib画图。

2. 连续的分布: Kolmogorov Smirnov (k-s) test 或者Cramér–von Mises (CvM) test

3. 离散的分布: Chi-Square test

4. 正态性可以用Lillifors test

5. 通常而言，你会发现这些数据不是从常见分布来的；什么分布并不重要，常见分布只是简化计算用的。

2, 3和4的python实现详见scipy.stats或者statsmodels.stats这两个库的文档

首先是基础篇

1、首先是Excel，貌似这个很简单，其实未必。Excel不仅能够做简单二维表、复杂嵌套表，能画折线图/Column chart/Bar chart/Area chart/饼图/雷达图/Combo char/散点图/Win Loss图等，而且能实现更高级的功能，包括透视表（类似于BI的多维分析模型Cube），以及Vlookup等复杂函数，处理100万条以内的数据没有大问题。最后，很多更高级的工具都有Excel插件，例如一些AI Machine Learning的开发工具。

2. SQL（数据库）

我们都知道数据分析师每天都会处理海量的数据，这些数据来源于数据库，那么怎么从数据库取数据？如何建立两表、三表之间的关系？怎么取到自己想要的特定的数据？等等这些数据选择问题就是你首要考虑的问题，而这些问题都是通过SQL解决的，所以SQL是数据分析的最基础的技能。

3. 统计学基础

数据分析的前提要对数据有感知，数据如何收集？数据整体分布是怎样的？如果有时间维度的话随着时间的变化是怎样的？数据的平均值是什么？数据的最大值最小值指什么？数据相关与回归、时间序列分析和预测等等。

4、掌握可视化工具，比如BI，如Cognos/Tableau/FineBI等，具体看企业用什么工具，像我之前用的是FineBI。这些工具做可视化非常方便，特别是分析报告能含这些图，一定会吸引高层领导的眼球，一目了然了解，洞察业务的本质。另外，作为专业的分析师，用多维分析模型Cube能够方便地自定义报表，效率大大提升。

进阶阶段需要掌握的：

1、系统的学好统计学

纯粹的机器学习讲究算法预测能力和实现，但是统计一直就强调“可解释性”。比如说，针对今天微博股票发行就上升20%，你把你的两个预测股票上涨还是下跌的model套在新浪的例子上，然后给你的上司看。统计学就是这样的作用。

数据挖掘相关的统计方法（多元Logistic回归分析、非线性回归分析、判别分析等）

定量方法（时间轴分析、概率模型、优化）

决策分析（多目的决策分析、决策树、影响图、敏感性分析）

树立竞争优势的分析（通过项目和成功案例学习基本的分析理念）

数据库入门（数据模型、数据库设计）

预测分析（时间轴分析、主成分分析、非参数回归、统计流程控制）

数据管理（ETL（Extract、Transform、Load）、数据治理、管理责任、元数据）

优化与启发（整数计划法、非线性计划法、局部探索法、超启发（模拟退火、遗传算法））

大数据分析（非结构化数据概念的学习、MapReduce技术、大数据分析方法）

数据挖掘（聚类（k-means法、分割法）、关联性规则、因子分析、存活时间分析）

其他，以下任选两门（社交网络、文本分析、Web分析、财务分析、服务业中的分析、能源、健康医疗、供应链管理、综合营销沟通中的概率模型）

风险分析与运营分析的计算机模拟

软件层面的分析学（组织层面的分析课题、IT与业务用户、变革管理、数据课题、结果的展现与传达方法）

2、掌握AI Machine Learning算法，会用工具（比如Python/R）进行建模。

传统的BI分析能回答过去发生了什么？现在正在发生什么？但对于未来会发生什么？必须靠算法。虽然像Tableau、FineBI等自助式BI已经内置了一部分分析模型，但是分析师想要更全面更深度的探索，需要像Python/R的数据挖掘工具。另外大数据之间隐藏的关系，靠传统工具人工分析是不可能做到的，这时候交由算法去实现，无疑会有更多的惊喜。

其中，面向统计分析的开源编程语言及其运行环境“R”备受瞩目。R的强项不仅在于其包含了丰富的统计分析库，而且具备将结果进行可视化的高品质图表生成功能，并可以通过简单的命令来运行。此外，它还具备称为CRAN（The Comprehensive R Archive Network）的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。R语言虽然功能强大，但是学习曲线较为陡峭，个人建议从python入手，拥有丰富的statistical libraries，NumPy ，SciPy.org ，Python Data Analysis Library，matplotlib: python plotting。

以上我的回答希望对你有所帮助

百科狗 baikegou.com