『一個專案、一個實驗的開始』通常都是這樣的……
可能某天老闆發現了某項公司相當在意的指標突然像是失速的火車一樣一路向下跑，於是要你主管想辦法還同時發表了他的『意見』，接著整個Team就被召集到了會議室討論解決方法，接著各種『天馬行空』的假設像你的煩惱一樣不斷冒出來
這時如果你身為專案負責人，你該選擇哪個假設呢？
可能你老闆會堅持要你用A方法，或是最後你主管說用投票表決，也可能最後你相信你的直覺，最後帶著『不安』以及『恐懼』的心情開始了這場戰役。
如果你常常遇到以上情境，那麼以下方法會讓你更有『信心』去面對這場戰役！
本文會簡單講解一些觀念並帶到幾些案例，更多案例請看文末！
開始專案前，5個基本原則
本系列文章會根據這五個原則作講解，本文我們先從原則一開始！
- 教戰守則一：理解問題、定義目標。
- 教戰守則二：查看數據、訂立假設。
- 教戰守則三：尋找『數據好朋友』，篩選假設。
- 教戰守則四：打造測試、收斂測試。
- 教戰守則五：分析結果，打完收工 or 重整兵馬再來一次。
教戰守則一，理解問題、定義目標
『全面性與局部性的思考問題的原因，有助於釐清當時的情境並訂立有意義的目標，可以使實驗的結果更可能有實質上的幫助』
這句話就是這篇文章所想要討論的，你可能會納悶怎樣叫做全面性、怎樣叫做局部性？什麼又叫做有意義的目標？接下來會一一帶你看到：
本文重點
- 遇到的問題有多大？
- 目標該怎麼訂？
- 指標怎麼選？
________________________________________________________________
Step 1. 遇到的問題有多大？
#問題- 局部性的問題？還是全面性的影響？
在這裡你可以簡單把『全面性』、『局部性』以『影響的範圍』來區分，而有意義的目標則是在釐清問題後，清點手頭上的資源後，確認有可能被執行的『方案』，打個比方來說，假設近期營收下跌，你可能會想到以下幾個原因：
- 可能是季節性造成的結果，流量較少。
- 可能是上次的改版讓付款流程變得太複雜，導致轉換率下降。
- 可能是近期的熱銷商品的圖片畫質太差、照片太醜，商品的頁面瀏覽次數下降而導致轉換率下降。
就上面的幾個原因來說，看似1、 2 兩者是屬於全面性、而3相較於前面兩著則可能是處於局部性的問題，但實際上則是要依照『影響使用者的比例』來做為判斷，但即使1、2是主因，也可能因為手頭上的資源不足、或是執行的時間太長，導致目標無法執行或是不易檢測，或是為了衝刺指標而導致使用者體驗不佳、或是犧牲更多無法被量化的指標，所以在定義目標時，建議先思考以下兩點：
a. 你想把時間、精力花在哪裡，多久會創造影響力？
b. 你認為這對使用者的體驗是好的嗎？
所以你會發現在定義目標的同時，你可能也已經定義了指標，後面會提到關於指標的定義與方法。
________________________________________________________________
Step 2. 目標的訂定
#目標與指標
誠如前面所說，在定義目標的同時你也同時決定了『關鍵指標』，一個好的關鍵指標有『質化』與『量化』的分別，如『感受』就是一種質化的指標，而『轉換率、訂單數』則是一種量化的表示。
但有時量化的分析並不能完全解釋你所看到的現象
舉以下例子來說：
#放棄的情境
如果今天你發現有一定比例User 會到你的網站搜尋特定的商品，然後就離開了，所以你定義了一個目標叫做『減少User進站後，不做任何事就跳離頁面的比率(Bounce Rate)』，而在觀測這個指標時，我們可以得到兩個解釋：
- User 有想要找到想要的東西，還想多看看、多考慮。
- User 沒有找到想要的東西，網站沒有滿足他的需求。
是價錢上的問題使他離開，還是網站體驗上的問題？這時你可以選擇透過各式各樣的實驗來找尋答案，但光是用這個指標其實並不能找到根本的原因。
有時有些情境會使得我們不容易從『指標』上找到問題的原因，所以這時你可以結合使用『訪談、問卷』等等質性的分析方式，搭配你的數據來找尋可能的解釋，而有時質性的分析，也是減少實驗成本的好做法。
________________________________________________________________
Step 3. 指標的選擇
如果今天你所選擇的關鍵指標並不容易量測（但可量測），像是可能資料蒐集的時間太長、或是成本太高，這時你可以尋找一些『替代指標』或是『次要指標』來協助你達到你的目的。
#替代指標
Coursera 是一個提供線上學程的公司，讓許多人可以在線上完成學程後購買證書，而這些證書受過大學認證，所以一個正常的User會經歷以下流程來取得證書：
註冊 > 選擇課程 > 完成課程 > 完成測驗 > 購買證書
如果以上述流程來看，購買證書的比例就是一個值得被觀測的關鍵指標，但實際上卻相當困難，原因是因為用戶完成課程並通過考試的時間實在太長，團隊無法等待如此長時間搜集指標，因此『完成測驗』的比例，就成了一個相當重要的替代指標了！
另外除了尋找替代指標外，你也可以設立多個指標來作為量測：
#次要指標
次要指標可以簡單解釋成『有助於達到關鍵指標』的項目，透過觀察次要指標，你可以提高關鍵指標的達成率，舉例來說：APP 的留存率(retention rate) 雖然不會直接提高訂單或是帶來營收，但卻說明了使用者與APP互動的情況，有較高的留存率也就意味著User回訪消費有較高的可能性。
但在這裡還是要特別注意，建議同時把兩者指標列入量測的考量，而非只觀測單一的指標。
#指標的敏感度
最後要聊到指標的敏感度，這是一個很容易被忽略的問題，指標敏感度會大大的影響了實驗的成敗與解讀的方向，請在定義指標的同時考量以下幾點：
- 請不要將『不會失敗的』指標列為量測的目標，請使用%作為指標。
- 請確保你的樣本沒有自選上的偏誤，在執行『關鍵指標』的優化時，不要以『自選的樣本』作為實驗對象 ，請考慮對多數使用者的情境並意識到用戶可能有『學習效應』。
舉個例子來說：
以一個新功能的釋出是為了要提高轉換率，而你認為『點擊數』與目標有極大的相關性，最後以『點擊數』來作為指標，但這樣其實不公平，就好比一個商品有特價跟沒特價、從『無』到『有』，哪個會吸引你的目光？
新功能的釋出往往會比較能取得點擊，所以這必然不會是一個較好的指標，會是個『不會失敗』的指標。
如果你以『舊用戶對新功能的點擊率上升50％』作為實驗成功的標準，並希望透過這個功能提高產品的互動率，這看似成功的結果其實也存在著偏誤，對於老用戶來說，早已熟悉你的產品且有較高的容忍度，也較容易嘗試、發現你的新功能。
但對於一個新手來說，還需要多理解並適應你的產品功能，可能會從最重要的基本功能開始研究起，因此這個功能可能對於新用戶沒有太大的幫助，但對老用戶可能是有吸引力，但這樣的做法也很可能也會打壞掉新User的體驗流程，進而影響到營收等等問題！
所以再針對產品上定義『指標』時，也要考慮到『實際測驗對象的樣貌』，因為這也會引響了指標的敏感程度。
本章節結語：
透過思考問題的全面性、局部性對於使用者的影響來判斷資源的投入與時間的花費而設立的目標，有助於讓後續的測試與實驗的結果有更好的應用，如果量測的目標並不如預期，也能透過其他次級指標得到更多資訊，如果指標不易量測，也可以透過替代的指標來作為目標，所以目標訂定雖然看起來簡單，但實際上要考量的點卻很多喔！
TIPS:
- 釐清問題前，請先運用過去的經驗、知識、案例、以及數據作為參考。
- 全面性與局部性的問題差別在於其影響使用者的比例。
- 決定目標時還需考量成本與資源。
- 定義目標時以百分比作為可量測的指標。
- 指標會隨時間改變、具有敏感度的差異。
- 關鍵指標應為影響目標的量測指標。
- 如果指標不易量測，你可以找替代性的指標但建議先與團隊討論並確認其因果關係(Causation)。
- 次要指標可以作為關鍵指標的量測工具，提高次要指標有助於提高關鍵指標，但不一定與替代性指標相同。(eg. 完成測驗的比率是替代指標、也是次級指標/ 影音平台的用戶觀看時數是次級指標、但不是替代指標。）
CodeForMarketing — 小編群。
About Post Author
