在網站分析中，經常會做網站優化測試，就會比較不同方案的轉換率，例如跳出率，訂單購買率，按鈕點擊率等;也會記錄訪客或者客戶的詳細數據表現。但很多時候差異都很小，究竟是保持現狀還是全面采用新方案的內容，很難有結論，于是兩者差異在統計學的意義是否顯著就變得很重要。
這篇文章主要講解兩種檢驗數據的方法：分別是在Excel中使用已經寫好函數的數據顯著性計算器，和使用SPSS對詳細客戶數據進行顯著性檢驗。
一、Excel-數據顯著性計算器
假設有下列的數據：
社交媒體來源訪問數訂單訂單購買率
YouTube250008903.56%
Facebook48002405%
那么我們可以使用Avinash Kaushik介紹的Excel-數據顯著性計算器來檢驗，詳細請查看http://www.kaushik.net/avinash/excellent-analytics-tip1-statistical-significance/
Excel文件可從此處下載： http://vdisk.weibo.com/s/cz9E6
輸入數據后計算得知(Number of Test Participants是分母，Number of Conversions是分子)，差異是顯著的，因為方框中顯示了”Yes”
以上方法的原理是兩組數據的差異超過了數據置信區間的話，那么就會出現數據顯著性差異的結果。
以上的方法適用于簡單的兩個比率之間的對比，接下來要說說高級點的內容，SPSS中的假設檢驗問題來比較兩個樣本的均值。
二、兩獨立樣本T檢驗
SPSS中比較均值的方法包括：
假設檢驗的方法樣本變量關系范例
均值(單雙因素)單樣本變量之間網站分析師的月(工資、經驗、工作地點)關系
單樣本T檢驗單樣本變量自身iPhone的機身長度
兩獨立樣本T檢驗雙樣本變量之間不同促銷方案的效果、男女性的身高
配對樣本T檢驗同一總體雙樣本變量自身不同月份訪客的購買行為
在介紹兩獨立樣本T檢驗之前，先說下均值的比較情況，由淺入深。
1.均值的檢驗
假設檢驗的步驟一般分為以下幾步：
1)確定原假設和備選假設(原假設就的意思是對總體的比例、均值或分布做出某種假設)
2)選擇檢驗統計量
3)計算檢驗統計量觀測值發生的概率，P值
4)給定顯著性水平α, 如果P<α, 即小概率事件發生，即原假設發生的概率很小，那么推翻原假設，如果P>α, 那么原假設成立。
假設有以下兩種情況：
1)工廠的質量管理員說：產品缺陷率只有1/1000, 然后你開始抽查，抽了5件，就有2件是有問題的，那么問題就大單了。
因為1000件中最大缺陷數是1件，現在有2件，也就是概率極小的事情發生。
最大缺陷數原假設檢驗結論
11/10002/5否定
2)工廠的質量管理員說：產品缺陷率只有1/100,然后你開始抽查，抽了5件，就有2件是有問題的，那么問題也挺大單。
1000件中最大缺陷數是10，現在有2件，接下來還有995件要查，那么有兩種可能：
*產品缺陷率遠遠高于1%，質量管理員忽悠人;
*碰巧抽到有缺陷的產品，接下來的995件很少有缺陷的了。
概率計算：
原假設：也就是假設產品缺陷率是1/100, 前面抽了5件，就有2件次品的概率是0.088%;
最大缺陷數原假設檢驗結論
101/1002/5未定
抽5件中2件，后續抽查產品缺陷率小于1/100的的概率為0.088%;抽5件中2件，后續抽查產品缺陷率大于1/100的的概率為99.912%，即原假設發生的概率<α,如果α為5%，那么0.088%<5%, 即檢驗中的小概率事件發生，原本不太可能的事情發生了，那么推翻原假設。
注意：數據案例來自李洪成老師的SPSS資料
2.兩獨立樣本T檢驗
兩獨立樣本T檢驗指的是兩個樣本來自的總體相互獨立，目的是分析兩個獨立樣本的均值是否有顯著的統計差異。接下來的案例背景是：不同優化方案影響訪客訂單價值的情況。
一、前提條件：
要進行兩獨立樣本T檢驗，要滿足以下條件：
1)總體相互獨立
2)總體服從正態分布
3)樣本的方差相同
原始數據如下：
1.數據設置
1)選擇分析-描述統計-探索
2)將訪客銷售額(sales)填入因變量列表，不同方案(test類型)填入因子列表：
3)點擊繪制，勾選直方圖和帶檢驗的正態圖
2.數據報告
由下圖得知，兩個方案各有200個樣本：
由下圖得知：
1) 0方案的銷售額均值(1697)大于1方案的銷售額均值(1570)
2)二者的標準差相差不大，657/610標準差比為約等于1。
推薦閱讀
今日忙碌，分享十月號在管理雜志的專欄文章，欲見其他精彩內容請前去購買雜志! 我們常將「破壞式創新」(disruptive innovation)掛在嘴邊，「破壞」(disruptive)讓人興奮，也讓人充滿希望。 兩年來，一直有創業家問我>>>詳細閱讀
地址：http://www.geekbao.cn/a/22/20120920/86248.html
網友點評
精彩導讀
科技快報
品牌展示