我們都期望自己的點子被欣賞,自己的事業扶搖直上;在這段過程中,我們需要不斷嘗試每個環節的最佳作法,此時就可以考慮使用 A/B Testing 來進行實驗,以便獲得客觀的數據來評估不同版本的設計何者較佳。所謂的 A/B Testing,簡單來說,就是指定一個變因來設計實驗組與對照組,然後觀察其成效,幫助我們做出決定。

為什麼要懂 A/B Testing?

在經營事業的這條路上,我們必須面臨無數個大大小小抉擇,而進行 A/B Testing 其實就是設計一個實驗,得到客觀的數據以支持決策。備受推崇的創業書籍《精實創業》中,所強調的也正是一種實驗精神,因為透過實驗,我們才能避免被個人好惡跟過去經驗牽絆,並且從實驗結果中不斷學習、成長。而在網路環境中,我們可以較方便地控制變因並且蒐集數據,也就更容易進行 A/B Testing 了。

這邊舉一個 A/B Testing 的成功案例供大家參考。現今的遊戲業,許多單機電腦遊戲已經不再透過實體通路販賣,而是透過網路即可付費下載,網站成為了一個很重要的通路。美商藝電(Electronic Arts)是一間世界知名的遊戲公司,擁有許多狂銷全球的賣座作品,模擬城市(SimCity)便是其中之一。在規劃模擬城市的購買、下載頁面時,他們進行了一連串的 A/B Testing,把促銷訊息的 Banner 調整了不同的顏色、設計、位置並進行測試,結果其中一個版本-乾脆把 Banner 移除的版本-讓轉換率大幅提昇,從原來的 5.8% 變為 10.2%!原本以為促銷訊息可以提昇使用者的購買誘因,實驗卻顯示了相反的結果。

好像不錯…那要怎麼做 A/B Testing?

1.假設、變因、結果

在規劃 A/B Testing 時,我們首先要先建立一個假設,其中包含了變因跟結果兩個元素。舉例來說,如果我們認為在首頁上較大的圖片較易吸引消費者注意力、進而提昇轉換率,那麼變因就是不同尺寸的圖片,而衡量結果的方式可能就是觀察轉換率是否有提昇。

實驗中的變因可以有很多種,可能是圖片的尺寸、設計,按鈕的大小、文字、色彩,網頁中的標題、文案,電子報的標題、版面配置、寄件者名稱…等等。A/B Testing 並不限於只做 AB 兩個版本而已,只要鎖定同一個變因,要做 CDEFGH 版都可以的。除了拿來實驗的變因之外,其他的條件要維持一致,以避免受到其他因素干擾;實驗組跟對照組要同時在線上進行測試,也是這個原因。

衡量結果的方式,有時候不會只有單一指標而已,而是必須同時觀察多個指標。舉例來說,在測試哪個廣告版本比較有效時,不只是要看點擊率,也必須觀察後續的轉換率、註冊率等等;此時可能就要先決定不同指標的權重。至於要選擇什麼指標?必須選擇跟自己事業目標、網站目標有關的指標,如果不知道怎麼選擇,可以參考我的前一篇文章:新創事業一定要掌握的成長指標-AARRR Metrics,可以找到一些可能的方向。

2.測試時間長度

如果要能判斷出哪個版本較好,必須在統計上有”顯著的差異”,許多 A/B Testing 工具都會幫你計算並建議測試的時間長度,或者幫你判斷目前的實驗結果到底有沒有顯著的差異。這邊不打算談統計,簡單來說,流量越大、參與實驗的版本越少、分配到測試版本的流量比例越高(一般可能是1%~10%),那麼所需的時間就越短。測試的時間基本上會以週為單位,以避免平日、週末帶來的影響。

3.測試進行方式

首先網站必須要設定好流量追蹤工具,像是 Google Analytics,以便追蹤不同版本的流量結果。再來就必須選擇合適的測試工具,這些工具會幫我們將部分流量導到測試版本中,以便觀察實驗結果。除了自行開發之外,市面上也有許多選擇,免費的像是 Google Analytics,其他還有一些付費的選擇,像是 Visual Website Optimizer、Optimizely 等等;而像是 EmailChimp 在發送 Email Campaign 時,也可以自動進行 A/B Testing,十分方便。若是自行開發,要注意的是:同一個使用者在一次瀏覽歷程中,看到的應該要是同一個版本,避免混淆。
A/B Testing

A/B Testing 的限制

做了測試後,我們可以得知哪一個版本效果較佳,但其實並沒有告訴我們背後的原因,或者進一步該如何改進。如果我們假設圖片越大越吸引人,但是實驗結果卻相反,怎麼辦?這個時候就必須規劃進一步的研究,像是找使用者來進行深度訪談,觀察人們的實際操作行為…等等,去挖掘現象背後的原因。

此外,如果要測試的頁面同時有多個變因,就不適用 A/B Testing,而是要用多變量測試(Multivariate Testing)來進行。簡單來說,不同因子之間可能會互相影響,然後統計上需要更多的流量才能驗證。

建議與提醒

  • 把每次實驗過程、結果、心得記錄下來,除了報告用和檢討用之外,也可以考慮把實驗心得用在其他類似的地方,或是作為後續實驗的基礎。
  • 網路世界比較好追蹤數字,所以 A/B Testing 十分興盛;不過非網路其實也可以做,像是印製不同版本的廣告傳單、不同版本的電視購物節目…等等,只要能妥善追蹤,測試樣本夠多,就可以嘗試看看。
  • A/B Testing 可以測試的不只是版面配置與設計而已,也可以針對不同的商品、不同的價值訴求、不同的通路、不同的價格方案…等較高層級的問題,去進行測試。
  • 最後要提醒的是,如同前面所說,A/B Testing 無法告訴我們背後的原因,所以有時必須多多了解其他質化、量化研究方法,相輔相成。

本文同步刊載於 Alpha Camp Blog

Photo Credit: CC-BY-SA 4.0, by Thomas Altfather Good