fbpx

操作 A/B Test 前必看!五大地雷你中了幾個?

  • 解釋 A/B Test 的重要性
  • 釐清一般常見對 A/B Test 的迷思
  • 解釋為何正確操作 A/B Test 很重要

一提到 A/B Test,最經典的案例肯定非「把按鈕換成紅色來提高轉換」莫屬了。然而 A/B Test 不只能用在介面設計中,在行銷工作上更是輔助決策的一大利器,這篇文章就以行銷角度出發,解釋 A/B Test 的思維如何幫助行銷人理解數據、提升資源利用效率。

A/B Test 為什麼很重要?

試想電商網站推出一個年度大活動,你是負責人,活動一開始轉換情況並不理想,於是你調整廣告 A 的文案與圖片,想試試看不同素材能否吸引更多人造訪並買單。更改成廣告 B 後,網站的轉換數開始大幅提升,於是你下了一個結論:「B 廣告素材的成效比 A 廣告素材更好。」

(B廣告素材的成效較佳)

這是真的嗎?如果我們考慮外部環境因素呢?

讓我們再回到調整成廣告 B 的那一天,政府宣布出現第一起新冠病毒 COVID-19 的案例,導致人人自危不敢出門,全都關在家裡滑手機。事實上,不只你的網站,其他電商網站的轉換數也都顯著提升。此時你會發現,我們直覺做出的判斷,有很大的可能並沒有因果關係,亦即你無法證明「因為做了 X,影響到 Y,而改變了 Z 的結果。」

無法證明因果關係這件事,就是 A/B Test 能解決的最大問題。A/B Test 的力量在於,它讓我們思考各個層面對測試的影響,並打造一個可控的環境,讓行銷人確保測試與結果之間有絕對的因果關係,而不只是「碰巧」。

這能避免我們只根據自身經驗來解釋數據,將數據描述成「自己想要的樣子」,使得公司在未經嚴謹驗證的假設上投入大量資源,置身在風險之中。下面我們將舉例幾個常跌的坑,幫助你更進一步理解  A/B Test 的概念。

大坑一、實驗中有超過一個以上的變化因素

在 A/B Test 中所測試的對象一定會至少包含一個實驗組和一個控制組,基本上實驗組就是在控制組的基礎之上加入一些變化因素,讓我們能觀察到實驗結果與改變的因果關係。

這是非常容易理解的一點,但在實務操作上,我們很容易忽略外部因素的影響,導致實驗有超過 1 個以上的變因而不自知,例如經濟條件、季節性等外部因素。為了保持改變與結果之間的因果關係,釐清每個可能造成差異的要素,並確保變化因素只有 1 項是很重要的。

大坑二、實驗時沒有檢視參與 A/B Test 的人口屬性

在 A/B Test 中,我們是利用用戶對實驗組與控制組的反應去取得實驗結果,因此參與實驗的是否為「類似的一群人」就相當重要。例如我們今天要針對首頁做新舊版本的 A/B Test 藉以釐清哪個版本更能提升用戶的轉換率。

測試結果發現新版成效較好,但深入查看用戶輪廓時,發現進入新版的年齡層普遍落在 25-34 歲,而舊版則落在 55 – 64 歲,則有可能因為兩版本本身參與實驗的用戶差異,造成實驗結果出現誤差。

大坑三、樣本數不足導致 A/B Test 結果實際上不顯著

當 1 個人告訴你油價跌到變負數了,你可能會嗤之以鼻。當 3 個人告訴你油價跌到變負數了,你可能會半信半疑。當 50 個人告訴你這件事時,你肯定有八成的機會會相信,這就是樣本數愈大所能帶來的結果,我們傾向相信更多數的人所說的話。

在實驗中也是相同的道理,當 10 人參與實驗時,實驗組與控制組分別只有 5 人,這時容易因為隨機分組導致樣本的分配並不均勻,而帶來誤差的結果。所以在 A/B Test 中相當重視樣本數能不能顯著呈現實驗結果,要如何確認樣本數能達成顯著結果,則會在後續中提到。

大坑四、實驗前沒有定好假設

A/B Test 中最重要的元素之一,就是一個敘述完整的假設,我們的工作就是不斷的找方式去反駁它。為什麼說是反駁它呢?因為 A/B Test 的特質使我們並不能「驗證」這個假設,而是只能說它「沒被反駁」。因此,定好一個清楚又完整的假設是相當重要的,它使你清楚你反駁的到底是什麼?下一步該如何改進?後者也跟下一點有關。

大坑五、實驗失敗就認為此路不通

實驗被反駁後,不少人就直接終止了這條路的其他實驗。然而在一個有完整假設的實驗下,無論我們是否有反駁實驗,都會知道下一步該往哪裡走。事實上,在實驗一開始你就應該知道「如果實驗成功,我就會學到…,但如果實驗失敗,我就會學到另一件事…。」

保持學習精神可以使我們從一個又一個的 A/B Test 中不斷成長,找到可影響商業決策或產品方向的洞察,使得公司更邁向成功。

 

所以你現在知道為什麼正確操作 A/B Test 很重要了

A/B Test 最能有效幫助到我們的就是「數據的收集」,但我們沒有控制好實驗中的改變因素或是外部條件,使得收集來的數據不正確,很可能我們會誤用這些數據做出錯誤的決策,這將導致公司置身在潛藏的風險中而我們卻不自知。

若我們能避開前段提及的大坑們,那又該如何正確的操作 A/B Test 呢?這將在接下來的章節中逐一介紹,若有想進一步知道的內容,也都歡迎留言,我會在之後的文章中適時補充相關資訊!

Facebook Comments
alvis

alvis

曾任線上學習平台的商業開發與行銷,創辦過多個破萬追蹤的自媒體,現在則專注在利用數據探索內容產業的無限可能! 歡迎來我的網站「跟著維斯玩行銷」看更多實用分享:https://alvis.pse.is/FromCFM

Leave a Reply