1 描述性统计是什么？

描述性统计是借助图表或者总结性的数值来描述数据的统计手段。数据挖掘工作的数据分析阶段，我们可借助描述性统计来描绘或总结数据的基本情况，一来可以梳理自己的思维，二来可以更好地向他人展示数据分析结果。数值分析的过程中，我们往往要计算出数据的统计特征，用来做科学计算的NumPy和SciPy工具可以满足我们的需求。Matpotlob工具可用来绘制图，满足图分析的需求。

2 使用NumPy和SciPy进行数值分析

2.1 基本概念

与Python中原生的List类型不同，Numpy中用ndarray类型来描述一组数据：

  from numpy import array
  from numpy.random import normal, randint
  #使用List来创造一组数据
  data = [1, 2, 3]
  #使用ndarray来创造一组数据
  data = array([1, 2, 3])
  #创造一组服从正态分布的定量数据
  data = normal(0, 10, size=10)
  #创造一组服从均匀分布的定性数据
  data = randint(0, 10, size=10)

2.2 中心位置（均值、中位数、众数）

数据的中心位置是我们最容易想到的数据特征。借由中心位置，我们可以知道数据的一个平均情况，如果要对新数据进行预测，那么平均情况是非常直观地选择。数据的中心位置可分为均值（Mean），中位数（Median），众数（Mode）。其中均值和中位数用于定量的数据，众数用于定性的数据。

对于定量数据（Data）来说，均值是总和除以总量（N），中位数是数值大小位于中间（奇偶总量处理不同）的值：

均值相对中位数来说，包含的信息量更大，但是容易受异常的影响。使用NumPy计算均值与中位数：

 from numpy import mean, median
 
 #计算均值
 mean(data)
 #计算中位数
 median(data)

对于定性数据来说，众数是出现次数最多的值，使用SciPy计算众数：

 from scipy.stats import mode

 #计算众数
 mode(data)

2.3 发散程度（极差、方差、标准差、变异系数）

对数据的中心位置有所了解以后，一般我们会想要知道数据以中心位置为标准有多发散。如果以中心位置来预测新数据，那么发散程度决定了预测的准确性。数据的发散程度可用极差（PTP）、方差（Variance）、标准差（STD）、变异系数（CV）来衡量，它们的计算方法如下：

极差是只考虑了最大值和最小值的发散程度指标，相对来说，方差包含了更多的信息，标准差基于方差但是与原始数据同量级，变异系数基于标准差但是进行了无量纲处理。使用NumPy计算极差、方差、标准差和变异系数：

  from numpy import mean, ptp, var, std
  
  #极差
  ptp(data)
  #方差
  var(data)
  #标准差
  std(data)
  #变异系数
  mean(data) / std(data)

 from numpy import mean, std
 
 #计算第一个值的z-分数
 (data[0]-mean(data)) / std(data)

  from numpy import array, cov, corrcoef
  
  data = array([data1, data2])
  
  #计算两组数的协方差
  #参数bias=1表示结果需要除以N，否则只计算了分子部分
  #返回结果为矩阵，第i行第j列的数据表示第i组数与第j组数的协方差。对角线为方差
  cov(data, bias=1)
  
  #计算两组数的相关系数
  #返回结果为矩阵，第i行第j列的数据表示第i组数与第j组数的相关系数。对角线为1
  corrcoef(data)

3 使用Matplotlib进行图分析

3.1 基本概念

使用图分析可以更加直观地展示数据的分布（频数分析）和关系（关系分析）。柱状图和饼形图是对定性数据进行频数分析的常用工具，使用前需将每一类的频数计算出来。直方图和累积曲线是对定量数据进行频数分析的常用工具，直方图对应密度函数而累积曲线对应分布函数。散点图可用来对两组数据的关系进行描述。在没有分析目标时，需要对数据进行探索性的分析，箱形图将帮助我们完成这一任务。

3.2 频数分析

3.2.1 定性分析（柱状图、饼形图）

柱状图是以柱的高度来指代某种类型的频数，使用Matplotlib对成绩这一定性变量绘制柱状图的代码如下：

先生成数据：

from numpy import array
from numpy.random import normal

def genData():
    heights = []
    weights = []
    grades = []
    N = 10000

    for i in range(N):
        while True:
            #身高服从均值172，标准差为6的正态分布
            height = normal(172, 6)
            if 0 < height: break
        while True:
            #体重由身高作为自变量的线性回归模型产生，误差服从标准正态分布
            weight = (height - 80) * 0.7 + normal(0, 1)
            if 0 < weight: break
        while True:
            #分数服从均值为70，标准差为15的正态分布
            score = normal(70, 15)
            if 0 <= score and score <= 100:
                grade = 'E' if score < 60 else ('D' if score < 70 else ('C' if score < 80 else ('B' if score < 90 else 'A')))
                break
        heights.append(height)
        weights.append(weight)
        grades.append(grade)
    return array(heights), array(weights), array(grades)

heights, weights, grades = genData()

  from matplotlib import pyplot
  
  #绘制柱状图
  def drawBar(grades):
      xticks = ['A', 'B', 'C', 'D', 'E']
      gradeGroup = {}
      #对每一类成绩进行频数统计
      for grade in grades:
          gradeGroup[grade] = gradeGroup.get(grade, 0) + 1
      #创建柱状图
      #第一个参数为柱的横坐标
      #第二个参数为柱的高度
      #参数align为柱的对齐方式，以第一个参数为参考标准
      pyplot.bar(range(5), [gradeGroup.get(xtick, 0) for xtick in xticks], align='center')
 
      #设置柱的文字说明
      #第一个参数为文字说明的横坐标
      #第二个参数为文字说明的内容
      pyplot.xticks(range(5), xticks)
 
      #设置横坐标的文字说明
      pyplot.xlabel('Grade')
      #设置纵坐标的文字说明
      pyplot.ylabel('Frequency')
      #设置标题
      pyplot.title('Grades Of Male Students')
      #绘图
      pyplot.show()
 
  drawBar(grades)

绘制出来的柱状图的效果如下：

而饼形图是以扇形的面积来指代某种类型的频率，使用Matplotlib对成绩这一定性变量绘制饼形图的代码如下

 from matplotlib import pyplot
 
  #绘制饼形图
  def drawPie(grades):
      labels = ['A', 'B', 'C', 'D', 'E']
      gradeGroup = {}
      for grade in grades:
          gradeGroup[grade] = gradeGroup.get(grade, 0) + 1
     #创建饼形图
     #第一个参数为扇形的面积
     #labels参数为扇形的说明文字
     #autopct参数为扇形占比的显示格式
      pyplot.pie([gradeGroup.get(label, 0) for label in labels], labels=labels, autopct='%1.1f%%')
      pyplot.title('Grades Of Male Students')
      pyplot.show()
 
 drawPie(grades)

绘制出来的饼形图效果如下：

3.2.2 定量分析（直方图、累积曲线）

直方图类似于柱状图，是用柱的高度来指代频数，不同的是其将定量数据划分为若干连续的区间，在这些连续的区间上绘制柱。使用Matplotlib对身高这一定量变量绘制直方图的代码如下：

  from matplotlib import pyplot
  
  #绘制直方图
  def drawHist(heights):
      #创建直方图
      #第一个参数为待绘制的定量数据，不同于定性数据，这里并没有事先进行频数统计
      #第二个参数为划分的区间个数
      pyplot.hist(heights, 100)
      pyplot.xlabel('Heights')
      pyplot.ylabel('Frequency')
      pyplot.title('Heights Of Male Students')
      pyplot.show()
 
  drawHist(heights)

直方图对应数据的密度函数，由于身高变量是属于服从正态分布的，从绘制出来的直方图上也可以直观地看出来：

使用Matplotlib对身高这一定量变量绘制累积曲线的代码如下：

 from matplotlib import pyplot
  
  #绘制累积曲线
  def drawCumulativeHist(heights):
     #创建累积曲线
     #第一个参数为待绘制的定量数据
     #第二个参数为划分的区间个数
     #normed参数为是否无量纲化
     #histtype参数为'step'，绘制阶梯状的曲线
     #cumulative参数为是否累积
     pyplot.hist(heights, 20, normed=True, histtype='step', cumulative=True)
     pyplot.xlabel('Heights')
     pyplot.ylabel('Frequency')
     pyplot.title('Heights Of Male Students')
     pyplot.show()
 
 drawCumulativeHist(heights)

累积曲线对应数据的分布函数，由于身高变量是属于服从正态分布的，从绘制出来的累积曲线图上也可以直观地看出来：

from matplotlib import pyplot

#绘制散点图
def drawScatter(heights, weights):
    #创建散点图
    #第一个参数为点的横坐标
    #第二个参数为点的纵坐标
    pyplot.scatter(heights, weights)
    pyplot.xlabel('Heights')
    pyplot.ylabel('Weights')
    pyplot.title('Heights & Weights Of Male Students')
    pyplot.show()

drawScatter(heights, weights)

 from matplotlib import pyplot
  
  #绘制箱形图
  def drawBox(heights):
      #创建箱形图
      #第一个参数为待绘制的定量数据
      #第二个参数为数据的文字说明
      pyplot.boxplot([heights], labels=['Heights'])
      pyplot.title('Heights Of Male Students')
     pyplot.show()
 
 drawBox(heights)

5 参考资料

1. 描述性统计
2. 使用NumPy进行科学计算