『一個專案、一個實驗的開始』通常都是這樣的……
可能某天老闆發現了某項公司相當在意的指標突然像是失速的火車一樣一路向下跑,於是要你主管想辦法還同時發表了他的『意見』,接著整個Team就被召集到了會議室討論解決方法,接著各種『天馬行空』的假設像你的煩惱一樣不斷冒出來
這時如果你身為專案負責人,你該選擇哪個假設呢?
可能你老闆會堅持要你用A方法,或是最後你主管說用投票表決,也可能最後你相信你的直覺,最後帶著『不安』以及『恐懼』的心情開始了這場戰役。
如果你常常遇到以上情境,那麼以下方法會讓你更有『信心』去面對這場戰役!
本文會簡單講解一些觀念並帶到幾些案例,更多案例請看文末!
本系列文章會根據這五個原則作講解,本文我們先從原則一開始!
這句話就是這篇文章所想要討論的,你可能會納悶怎樣叫做全面性、怎樣叫做局部性?什麼又叫做有意義的目標?接下來會一一帶你看到:
本文重點
________________________________________________________________
在這裡你可以簡單把『全面性』、『局部性』以『影響的範圍』來區分,而有意義的目標則是在釐清問題後,清點手頭上的資源後,確認有可能被執行的『方案』,打個比方來說,假設近期營收下跌,你可能會想到以下幾個原因:
就上面的幾個原因來說,看似1、 2 兩者是屬於全面性、而3相較於前面兩著則可能是處於局部性的問題,但實際上則是要依照『影響使用者的比例』來做為判斷,但即使1、2是主因,也可能因為手頭上的資源不足、或是執行的時間太長,導致目標無法執行或是不易檢測,或是為了衝刺指標而導致使用者體驗不佳、或是犧牲更多無法被量化的指標,所以在定義目標時,建議先思考以下兩點:
a. 你想把時間、精力花在哪裡,多久會創造影響力?
b. 你認為這對使用者的體驗是好的嗎?
所以你會發現在定義目標的同時,你可能也已經定義了指標,後面會提到關於指標的定義與方法。
________________________________________________________________
誠如前面所說,在定義目標的同時你也同時決定了『關鍵指標』,一個好的關鍵指標有『質化』與『量化』的分別,如『感受』就是一種質化的指標,而『轉換率、訂單數』則是一種量化的表示。
但有時量化的分析並不能完全解釋你所看到的現象
舉以下例子來說:
#放棄的情境
如果今天你發現有一定比例User 會到你的網站搜尋特定的商品,然後就離開了,所以你定義了一個目標叫做『減少User進站後,不做任何事就跳離頁面的比率(Bounce Rate)』,而在觀測這個指標時,我們可以得到兩個解釋:
是價錢上的問題使他離開,還是網站體驗上的問題?這時你可以選擇透過各式各樣的實驗來找尋答案,但光是用這個指標其實並不能找到根本的原因。
有時有些情境會使得我們不容易從『指標』上找到問題的原因,所以這時你可以結合使用『訪談、問卷』等等質性的分析方式,搭配你的數據來找尋可能的解釋,而有時質性的分析,也是減少實驗成本的好做法。
________________________________________________________________
如果今天你所選擇的關鍵指標並不容易量測(但可量測),像是可能資料蒐集的時間太長、或是成本太高,這時你可以尋找一些『替代指標』或是『次要指標』來協助你達到你的目的。
#替代指標
Coursera 是一個提供線上學程的公司,讓許多人可以在線上完成學程後購買證書,而這些證書受過大學認證,所以一個正常的User會經歷以下流程來取得證書:
註冊 > 選擇課程 > 完成課程 > 完成測驗 > 購買證書
如果以上述流程來看,購買證書的比例就是一個值得被觀測的關鍵指標,但實際上卻相當困難,原因是因為用戶完成課程並通過考試的時間實在太長,團隊無法等待如此長時間搜集指標,因此『完成測驗』的比例,就成了一個相當重要的替代指標了!
另外除了尋找替代指標外,你也可以設立多個指標來作為量測:
#次要指標
次要指標可以簡單解釋成『有助於達到關鍵指標』的項目,透過觀察次要指標,你可以提高關鍵指標的達成率,舉例來說:APP 的留存率(retention rate) 雖然不會直接提高訂單或是帶來營收,但卻說明了使用者與APP互動的情況,有較高的留存率也就意味著User回訪消費有較高的可能性。
但在這裡還是要特別注意,建議同時把兩者指標列入量測的考量,而非只觀測單一的指標。
#指標的敏感度
最後要聊到指標的敏感度,這是一個很容易被忽略的問題,指標敏感度會大大的影響了實驗的成敗與解讀的方向,請在定義指標的同時考量以下幾點:
舉個例子來說:
以一個新功能的釋出是為了要提高轉換率,而你認為『點擊數』與目標有極大的相關性,最後以『點擊數』來作為指標,但這樣其實不公平,就好比一個商品有特價跟沒特價、從『無』到『有』,哪個會吸引你的目光?
新功能的釋出往往會比較能取得點擊,所以這必然不會是一個較好的指標,會是個『不會失敗』的指標。
如果你以『舊用戶對新功能的點擊率上升50%』作為實驗成功的標準,並希望透過這個功能提高產品的互動率,這看似成功的結果其實也存在著偏誤,對於老用戶來說,早已熟悉你的產品且有較高的容忍度,也較容易嘗試、發現你的新功能。
但對於一個新手來說,還需要多理解並適應你的產品功能,可能會從最重要的基本功能開始研究起,因此這個功能可能對於新用戶沒有太大的幫助,但對老用戶可能是有吸引力,但這樣的做法也很可能也會打壞掉新User的體驗流程,進而影響到營收等等問題!
所以再針對產品上定義『指標』時,也要考慮到『實際測驗對象的樣貌』,因為這也會引響了指標的敏感程度。
透過思考問題的全面性、局部性對於使用者的影響來判斷資源的投入與時間的花費而設立的目標,有助於讓後續的測試與實驗的結果有更好的應用,如果量測的目標並不如預期,也能透過其他次級指標得到更多資訊,如果指標不易量測,也可以透過替代的指標來作為目標,所以目標訂定雖然看起來簡單,但實際上要考量的點卻很多喔!
TIPS:
CodeForMarketing — 小編群。
Part 2 留存用戶分析~加入會員即可觀看,免費體驗一個月,活動請參考: https://blog.codeformarketing.co/subscribe-pressplay-dija/
Hello 各位讀者~本期為第四期電子報,本次電子報我們將帶大家來看看一些最新的行銷時事以及工具的更新的有趣內容! 目錄: Google網址檢查工具現在可以顯示多個參照網頁了 舊版的Google取消連結工具將在2021年1月19日終止服務 Google Search Console要使用者透過完成驗證程序來證明自己是資源的擁有者 Google搜尋出現內容複製鏡像網站的Canonical Bug Google解釋為何一些使用不良SEO策略的網站仍有不錯的排名 Google正在致力於改善robots.txt測試工具 Google Ads身分驗證制度即將上路 這些常見的SEO錯誤會有害於你的排名 Google指出:太專注於一種SEO策略可能會有害於整體SEO結果 Google面臨的反信任訴訟對行銷人會有什麼影響? Google在華盛頓的暴力事件後暫停投放政治廣告 Google網址檢查工具現在可以顯示多個參照網頁了 Google近期在Google網站管理員的網址檢查工具中,讓一些URL可以顯示多個參照網頁了。…
Hello 各位讀者~本期為第三期電子報,本次電子報我們將帶大家來看看一些最新的行銷時事以及工具的更新的有趣內容! 目錄: 英國「Watchdog」對Google Ads的數據政策變更展開調查 你可以使用資料排除功能來避免轉換追蹤問題影響智慧出價 2021年SEO數位行銷的七個潮流 英國「Watchdog」對Google Ads的數據政策變更展開調查 英國的組織Watchdog已經開始針對Google近期對廣告數據系統的大翻新計畫展開調查,因為Watchdog認為這次的翻新可能會讓Google在線上廣告產業中,排除更多競爭對手。 英國的政府機構「競爭及市場管理局」(Competition and Markets Authority, CMA)聲明其將會針對Google近期關於從Chrome和Chromium架構的瀏覽器引擎中,移除第三方cookie的改變展開調查。 Cookie是小型文字檔案,是某些網站為了記錄使用者資訊(例如使用者名稱)而儲存在用戶端上的資料。它能幫助企業更有效率的鎖定客群投放廣告,對提供免費內容的網站也相當有幫助,但它也能用來記錄使用者在網路上的行徑。 Google在2022年即將推出的「數位沙盒」(digital sandbox)提案中,提到以自家的工具替代第三方cookie的計畫。但Watchdog認為這樣的改變會削弱出版者盈利的能力,以及破壞數位廣告競爭,讓Google更加根深蒂固的壟斷市場。 競爭及市場管理局的執行長Andrea Coscelli聲明:…