使用者研究，你還在“憑感覺”嗎？
你是否需要有關產品使用者體驗的數字資料, 但卻不確定應該如何做？
許多從事使用者體驗及研究的專業人士傾向於定性方法論（即憑感覺做決策）, 而這也這被廣泛認為比定量 (量化) 研究更容易。但不得不承認，定性研究可能迴避了較大的樣本規模和量化相關的統計資料問題。
而量化方法卻是經驗豐富的使用者體驗研究員的工具包中應當包含的重要組成部分。量化方法允許你:
用數字為產品的可用性打上一個標籤。
數字有時比質量測試的結果更有說服力(特別是當你試圖說服像 CEO 這樣的高管時)。
比較不同的設計(例如, 產品的新版本與舊版本, 或你的產品與競爭對手的產品), 並確定你所觀察的差異是否具有統計學意義, 而不是隨機偶然。
改進使用者體驗權衡決策。例如, 如果建議的設計改進預計會花費很大的成本來實現, 它值得做嗎？如果你估計了更改將在一定程度上提高可用性，那麼量化方法可以幫助你決定是否值得重新設計。
將使用者體驗改進與組織目標和關鍵績效指標聯絡起來(從而顯示你的投資回報並證明使用者體驗研究團隊的價值）。
定量研究，首要確定的是到底需要哪種量化研究方法。在此，我們介紹一些目前最流行的量化研究型別:
定量可用性測試 (基準測試)
網路分析 (或 App Analytics)
A / B 測試或多變數測試
卡片分類
樹測試
調查和問卷調查
聚類定型資料
可取性研究
眼動測試
每種方法都產生有價值的數量資料, 但這些技術在所收集的資料型別以及所需的資源和工作量方面差別很大。
本文列出了這些方法的最常見用例, 並估計了每個例項的成本和難度。此外, 應該知道, 這些方法中都需要不同的最小樣本量來確定統計意義。
定量可用性測試（基準測試） 用途：
1. 隨時跟蹤可用性 2. 與競爭對手比較
費用：中等
收集難度：中等
分析難度：中等
方法型別：行為
使用環境：基於任務
雖然不經常使用，但定量可用性測試（有時稱為可用性基準測試）很像定性可用性測試——使用者被要求使用產品執行實際任務。
兩者之間的主要區別在於，可用性測試優先考慮觀察，例如識別可用性問題。相比之下，量化可用性測試側重於收集任務或成功時間等指標。
一旦你收集了具有相對較大樣本量（大約 35 個參與者或更多）的指標，你就可以使用它們跟蹤產品的可用性隨時間推移的進度，或者將其與競爭對手產品的可用性進行比較。
你選擇的可用性測試型別（面對面，遠端主持或遠端未經排程）將影響成本，由於定量和定性可用性研究的目標不同，測試的結構和使用的任務也需要不同。
網路分析（或 App Analytics） 用途：
1. 檢測或優先排序問題 2. 監控效能
成本：低
收集難度：低
分析難度：高
方法型別：行為
使用環境：live
分析資料描述了人們對你的實時產品做了什麼：他們去哪裡、他們點選了什麼、他們使用了什麼功能、他們來自哪裡，以及他們決定離開網站或應用程式的頁面。
此資訊可以支援各種使用者體驗活動。特別是它可以幫助你監控產品中各種內容：UI 或功能的效能，並確定哪些是真的不起作用。
A / B 測試或多變數測試用途：比較兩個設計選項
成本：低
收集困難：低
分析困難：低
方法型別：行為
使用情況：live
雖然你可以使用分析指標來監控產品的效能，但你也可以建立實驗來檢測不同的 UI 設計如何通過 A / B 測試或多變數測試來更改這些指標。
在 A / B 測試中，團隊建立同一 UI 的兩個不同的實時版本，然後將每個版本顯示給不同的使用者，以檢視哪個版本的效能最佳。
例如，你可以建立相同號召性用語按鈕標籤的兩個版本：“獲取定價”與“瞭解更多資訊”，然後，你可以跟蹤按鈕在兩個版本中收到的點選次數。
多變數測試類似，但涉及一次測試多個設計元素（例如，測試可能涉及不同的按鈕標籤，排版和頁面上的位置。）
這兩個基於分析的實驗都非常適合決定同一設計的不同變體，並且可以結束團隊關於哪個版本最佳的爭議，但這種方法的一個主要缺點是它經常被濫用。
卡片分類用途：確定資訊架構標籤和結構
成本：低
收集難度：低
分析難度：中等
方法型別：態度（人們怎麼說）
使用環境：不使用產品
在卡片分類研究中，參與者被給予內容專案（有時字面上寫在索引卡片上），並要求以對他們有意義的方式對這些專案進行分組和標記。
該測試既可以親自進行，也可以使用實體卡進行，也可以使用卡片分類平臺進行遠端測試。
這種方法為你提供了進入使用者資訊空間的心理模型的機會。他們使用什麼術語？他們如何在邏輯上將這些概念組合在一起？
對建立類似分組的參與者的百分比進行定量分析可以幫助確定大多數使用者可以理解哪種分類方法。
樹測試用途：評估資訊架構層次結構
成本：低
收集難度：低
分析難度：中等
方法型別：行為
使用環境：基於任務，不使用產品
在樹測試中，參與者嘗試僅使用你站點的類別結構來完成任務。它本質上是一種評估你的資訊架構的方法，通過將其與 UI 的所有其他方面隔離開來。
假設你的產品是寵物用品網站，這是你的頂級層次結構，你可能會要求參與者完成一項任務——找到狗項圈。
樹測試結果的定量分析將顯示人們是否能夠在資訊層次結構中找到該專案的正確路徑，以及有多少參與者選擇了錯誤的類別。
此方法可用於識別 IA 結構，標籤和展示位置是否符合人們的期望。
調查和問卷調查 用途：
1. 收集有關您的使用者 2. 他們的態度和行為的資訊
成本：低
收集難度：低
分析難度：低
方法型別：態度
使用環境：任何
調查是一種靈活的使用者研究工具。你可以在各種環境中管理它們：在實時網站、電子郵件或可用性測試之後進行短暫攔截調查等。
它們可以產生定量和定性資料的組合——評級，多項選擇題中每個選項的答案比例，以及開放式答案。你甚至可以將對調查的定性響應轉換為數值資料。
你可以建立自己的自定義調查，也可以使用許多已建立的問卷中的一個（例如，系統可用性量表或淨推薦值得分）。
調查問卷的一個優點是，你通常可以將結果與行業或競爭對手的分數進行比較，以瞭解你的工作情況。
即使你建立自己的自定義調查問卷，也仍然可以跟蹤你的平均分數以監控產品改進。
聚類定性資料用途：識別定性資料中的重要主題
成本：低
收集難度：中等
分析難度：中等
方法型別：態度（人們怎麼說）
使用環境：任何
這種技術不是資料收集方法，而是更多的定性資料分析方法。
它涉及根據共同主題對來自定性研究（例如日記研究、調查、焦點小組或訪談）的觀察進行分組。如果你有大量觀察結果，則可以計算提及特定主題時的例項數。
例如，假設你進行日記研究，要求參與者每次在日常生活中使用你的產品並進行一週報告，目的是瞭解他們在何種環境中使用你的產品。
此方法可以識別特定主題或情況的普遍性或頻率，例如，使用者投訴的頻率或 UI 問題。這種方法是從大量定性資訊中挖掘數值資料的好方法，但它可能非常耗時。
可取性研究 用途：
識別與您的產品或品牌相關的屬性
成本：低
收集難度：低
分析難度：低
方法型別：態度
使用環境：基於任務
定量可取性研究試圖量化和衡量產品的某些質量，例如美學吸引力、品牌強度、語調。
這些研究可以根據你的研究問題進行定製，但通常包括首先將參與者暴露給你的產品（通過向他們展示靜止影象或要求他們使用實時產品或原型）。
然後，你將要求他們通過從描述性詞彙列表中選擇選項來描述設計。隨著樣本量越來越多，一些趨勢則開始出現。 例如，你可能有 84％ 的受訪者將設計描述為“新鮮”。
眼動測試 使用：
確定哪些 UI 元素分散注意力，可查詢或可發現
成本：高
收集難度：高
分析難度：高
方法型別：行為
使用環境：基於任務
眼球跟蹤研究需要特殊的裝置來跟蹤使用者在介面上移動時的眼睛。 當許多參與者（30 個或更多）在同一介面上執行相同的任務時，有意義的趨勢開始出現，你可以通過一些可靠性告訴頁面的哪些元素會吸引人們的注意力。
眼動測試可以幫助你確定需要強調或強調哪些介面和內容元素，以使使用者能夠實現其目標。
執行眼球跟蹤研究的一個主要障礙是高度專業化、極其昂貴且有些不穩定的裝置以及需要大量的培訓才能使用。
在嘗試確定使用哪種定量方法引導你的研究問題時，你需要了解什麼？
例如：
我們的產品可用性如何隨時間而變化？
與競爭對手相比，我們的表現如何？
我們哪個問題影響最大？我們應該如何優先排序？
對於這些型別的問題你可能希望使用定量可用性測試、網站分析或調查。
當你想要回答更具體的問題時，或許其他方法更佳。 例如：
我們應該如何修復我們的全球導航類別？
我們的大多數使用者對我們的視覺設計有何看法？
我們應該在儀表板中使用這兩種設計方案中的哪一種？
對於這些研究問題，你可能希望使用 A / B 測試、卡片分類、樹木測試、編碼定性評論，可取性研究或眼球跟蹤。
但是，這些建議中有一些灰色地帶。 例如，出於安全或技術原因，A / B 測試可能不是貴公司的選項。
如果是這種情況，你可以進行面對面的量化可用性研究來比較兩個原型。但是，這不是定量可用性測試的典型用法，所以沒有在這裡討論它。
在研究問題之後，選擇方法的第二個最有影響力的因素是成本。
這些方法的成本會有很大差異，具體取決於你實施研究的方式。你使用的工具、你擁有的參與者數量以及研究人員花費的時間都將影響最終成本。
低預算團隊將依賴數字方法——
遠端可用性測試、線上卡片分類平臺、如 OptimalSort、A / B 測試以及 Web 或應用程式分析。
根據經驗，現場方法（例如面對面的可用性測試，面對面的卡片種類）往往更昂貴，因為它們需要更多消耗研究人員更多的時間。
此外，他們可能需要旅行和裝置租賃。眼動測試是這裡列出的最昂貴的方法，應該只有具有大預算和研究問題的團隊才能使用它。
一旦選擇了方法，就要了解它，並確保你獲得有用的成果。
警告：不能只收集指標並開始做出決策而不進行任何統計分析。僅收集來自 5 個使用者的評級規模響應，取平均值並繼續前進是不夠的。
對於此處討論的每種方法，都建議最小樣本量以獲得可靠的資料並確定統計顯著性。如果你不這樣做，你無法保證你的發現不只是僥倖。
無論你選擇哪種方法，一定要考慮研究相關統計概念所需的時間。我保證，定量研究不像它看起來那麼難，對於你的定量資料來說非常值得。
本文編譯：研如玉
本文作者：Kate Moran
文章來源：Nielsen Norman Group
本文轉載自
一個有料有深度的公眾號
▽
使用者行為洞察研究院
User Behavior Insights Research
使用者行為洞察研究院，旨在提供更具行業深度的洞察、領先的行業最佳實踐、創新的技術解決方案等，為廣大企業客戶、大資料產業鏈從業者的發展提供指導。
未來，研究院將會進一步聯合行業優秀創新典範、各型別合作伙伴、學術界與行業專家一起，匯聚大資料與使用者行為分析領域的最佳創新實踐和行業深度洞察。
更多幹貨和案例，可以關注“神策資料”和“使用者行為洞察研究院”公眾號瞭解~ 