操作 A/B Test 前必看！五大地雷你中了幾個？

解釋 A/B Test 的重要性
釐清一般常見對 A/B Test 的迷思
解釋為何正確操作 A/B Test 很重要

一提到 A/B Test，最經典的案例肯定非「把按鈕換成紅色來提高轉換」莫屬了。然而 A/B Test 不只能用在介面設計中，在行銷工作上更是輔助決策的一大利器，這篇文章就以行銷角度出發，解釋 A/B Test 的思維如何幫助行銷人理解數據、提升資源利用效率。

A/B Test 為什麼很重要？

試想電商網站推出一個年度大活動，你是負責人，活動一開始轉換情況並不理想，於是你調整廣告 A 的文案與圖片，想試試看不同素材能否吸引更多人造訪並買單。更改成廣告 B 後，網站的轉換數開始大幅提升，於是你下了一個結論：「B 廣告素材的成效比 A 廣告素材更好。」

(B廣告素材的成效較佳)

這是真的嗎？如果我們考慮外部環境因素呢？

讓我們再回到調整成廣告 B 的那一天，政府宣布出現第一起新冠病毒 COVID-19 的案例，導致人人自危不敢出門，全都關在家裡滑手機。事實上，不只你的網站，其他電商網站的轉換數也都顯著提升。此時你會發現，我們直覺做出的判斷，有很大的可能並沒有因果關係，亦即你無法證明「因為做了 X，影響到 Y，而改變了 Z 的結果。」

無法證明因果關係這件事，就是 A/B Test 能解決的最大問題。A/B Test 的力量在於，它讓我們思考各個層面對測試的影響，並打造一個可控的環境，讓行銷人確保測試與結果之間有絕對的因果關係，而不只是「碰巧」。

這能避免我們只根據自身經驗來解釋數據，將數據描述成「自己想要的樣子」，使得公司在未經嚴謹驗證的假設上投入大量資源，置身在風險之中。下面我們將舉例幾個常跌的坑，幫助你更進一步理解 A/B Test 的概念。

大坑一、實驗中有超過一個以上的變化因素

在 A/B Test 中所測試的對象一定會至少包含一個實驗組和一個控制組，基本上實驗組就是在控制組的基礎之上加入一些變化因素，讓我們能觀察到實驗結果與改變的因果關係。

這是非常容易理解的一點，但在實務操作上，我們很容易忽略外部因素的影響，導致實驗有超過 1 個以上的變因而不自知，例如經濟條件、季節性等外部因素。為了保持改變與結果之間的因果關係，釐清每個可能造成差異的要素，並確保變化因素只有 1 項是很重要的。

大坑二、實驗時沒有檢視參與 A/B Test 的人口屬性

在 A/B Test 中，我們是利用用戶對實驗組與控制組的反應去取得實驗結果，因此參與實驗的是否為「類似的一群人」就相當重要。例如我們今天要針對首頁做新舊版本的 A/B Test 藉以釐清哪個版本更能提升用戶的轉換率。

測試結果發現新版成效較好，但深入查看用戶輪廓時，發現進入新版的年齡層普遍落在 25-34 歲，而舊版則落在 55 – 64 歲，則有可能因為兩版本本身參與實驗的用戶差異，造成實驗結果出現誤差。

大坑三、樣本數不足導致 A/B Test 結果實際上不顯著

當 1 個人告訴你油價跌到變負數了，你可能會嗤之以鼻。當 3 個人告訴你油價跌到變負數了，你可能會半信半疑。當 50 個人告訴你這件事時，你肯定有八成的機會會相信，這就是樣本數愈大所能帶來的結果，我們傾向相信更多數的人所說的話。

在實驗中也是相同的道理，當 10 人參與實驗時，實驗組與控制組分別只有 5 人，這時容易因為隨機分組導致樣本的分配並不均勻，而帶來誤差的結果。所以在 A/B Test 中相當重視樣本數能不能顯著呈現實驗結果，要如何確認樣本數能達成顯著結果，則會在後續中提到。

大坑四、實驗前沒有定好假設

A/B Test 中最重要的元素之一，就是一個敘述完整的假設，我們的工作就是不斷的找方式去反駁它。為什麼說是反駁它呢？因為 A/B Test 的特質使我們並不能「驗證」這個假設，而是只能說它「沒被反駁」。因此，定好一個清楚又完整的假設是相當重要的，它使你清楚你反駁的到底是什麼？下一步該如何改進？後者也跟下一點有關。