可以延長非顯着的A/B測試嗎？

我們從this article知道，由於「顯着」結果提早結束A/B測試是一個錯誤。可以延長非顯着的A/B測試嗎？

但當測試所需的時間段運行，顯示效果不顯着什麼 - 是罰款延長呢？有什麼風險？

這將是一個簡單的數學例子的任何風險，類似於該鏈接文章中的例子。

我只有概率論和數學的基本知識，所以我會很感激的答案，我可以用這些知識理解。

我的直覺是，這可能是有問題的，因爲你有與計算的可靠性實驗（將顯示X％的假陽性和假陰性在此類實驗中的Y％），但現在你有效地等待無限期地爲第一個真正的正面或的假陽性意義。

因此，我認爲在設置原始實驗時，您會得到比您更多的誤報。但大概假陽性的可能性也隨着我們獲得更多數據而減少。如果真的如此，我希望能夠得到具體的數字。

2017-04-03 Henrik N

（從http://stats.stackexchange.com/questions/269557/is-it-ok-to-prolong-a-non-significant-ab-test交叉貼由於缺乏活動的有快樂如果有人認爲這是不可接受的，則刪除該問題） –

交叉帖子被標記爲以下內容的副本：https：//stats.stackexchange.com/questions/310119/why-does-collecting-data-until - 獲得-A-顯著對結果的增加，該型 –

這是當前研究領域。我們已經做了一些模型，並建議我們的客戶遵循這樣的原則：

•如果實驗達到統計顯着性，即當CI 色帶完全升至0以上或完全在它下面下降，仍然顯著比它多出50％的觀測走上去意義0.10水平測試（65％以上的觀察比它採取去意義爲0.05級測試），該實驗是通過接受替代假說稱爲，或在換句話說，治療獲勝。

•如果實驗沒有達到統計顯着性，而 CI色帶已經縮小到它的寬度代表了治療，這是不是間接的應用語義控制之間的差異，實驗被稱爲拒絕研究假設，或換句話說，治療未能贏得，我們堅持控制。

欲瞭解更多，這裏是White Paper。

來源

2017-11-14 01:35:21

可以延長非顯着的A/B測試嗎？

回答

相關問題