A／Bテストで使える統計的検定手法をPython で実装する

#施策AのCVR
yes = 454
no = 20933
result = yes / (yes + no )
print(result)

0.02122784869313134

#施策BのCVR    
yes = 189
no = 10845
result = yes / (yes + no )
print(result)

0.017128874388254486

import scipy.stats
import numpy as np
data = np.matrix([ [ 454, 20933 ], [ 189, 10845 ] ])
chi2, p, ddof, expected = scipy.stats.chi2_contingency( data , correction=False)
msg = "Test Statistic: {}\np-value: {}\nDegrees of Freedom: {}\n"
print( msg.format( chi2, p, ddof ) )
print( expected )

Test Statistic: 6.291035173658824
p-value: 0.012135015711322547
Degrees of Freedom: 1

[[   424.16461553  20962.83538447]
 [   218.83538447  10815.16461553]]

import scipy.stats
import numpy as np
data = np.matrix([ [ 454, 20933 ], [ 189, 10845 ] ])
p_a = np.sum(data, axis=1).item((0, 0)) / data.sum()
print("p_a=", p_a)
conversion_total = np.sum(data, axis=0).item(0, 0)
print("conversion_total=", conversion_total)
conversion_a  = data.item(0,0)
print("conversion_a=", conversion_a)
# 確率 p_a の基で、n回試行して、x回 (Aは)yesになった
p_value = scipy.stats.binom_test(x=conversion_a, n=conversion_total, p=p_a, alternative="two-sided")
print("p_value=", p_value)

p_a= 0.659665031924
conversion_total= 643
conversion_a= 454
p_value= 0.0125320280817

import scipy.stats
import numpy as np
data = np.matrix([ [ 454, 20933 ], [ 189, 10845 ] ])
# YES を 1、NO を 0 とする、配列を作成する 要素数合計 は 454 + 20933 
a = np.hstack((np.repeat(1, data.item(0,0)),  np.repeat(0, data.item(0, 1))))
print("a=", a)

# YES を 1、NO を 0 とする、配列を作成する 要素数合計 は 189 + 10845 
b = np.hstack((np.repeat(1, data.item(1,0)),  np.repeat(0, data.item(1, 1))))
print("b=", b)

# t検定実施 対応するt検定の場合は、equal_var = True
res = scipy.stats.ttest_ind(a, b,  equal_var = False)
print("t_value", res[0])
print("p_value", res[1])

a= [1 1 1 ..., 0 0 0]
b= [1 1 1 ..., 0 0 0]
t_value 2.59373998665
p_value 0.00949948651733