當兩種用研結果完全相反的時候，我該怎麼辦？

釋放雙眼，帶上耳機，聽聽看~！

00:00

00:00

如果你的產品從一個角度看起來很好，而另一個角度看起來很糟糕，那該怎麼辦？

在最近的關於使用者體驗定量研究的培訓研討會時，我被問到一個有趣的問題：

“我領導的團隊負責改造複雜的企業產品，我們一直在進行廣泛的研究，以便為釋出做好準備。但前提是風險很高 ，即使是微小的改進也可能帶來巨大的生產力提升，相反，設計中的小問題也可能會給我們的使用者帶來很大的問題。

在我們的定量可用性測試中，與舊產品相比，我們已經看到人們在原型中執行重要任務所需的時間大幅減少。但問題在於，在定性訪談中，我們的使用者非常討厭這個原型，反饋非常消極。請問我們如何調和這一矛盾？我們應該做什麼？”

這位負責人描述的情況，對許多以研究為重點的數字產品團隊來說是一個常見的情況。

進行使用者研究的理想方法是使用多種方法，混合定量和定性研究。但是，當那些不同的研究方法講述不同甚至相互矛盾的故事時會發生什麼呢？

在本文中，我將考慮針對此情況的一些可能的問題，給出解釋和解決方案。不過，我關於提出問題的負責人的產品和研究的細節很少，但我會根據我被問到的其他問題給出一些理論。

檢查方法

在如上所述的情況下，第一步是檢查每項研究的進行方式。使用者研究面對的是“人”，因此存在大量可能導致錯誤或誤導性的事情發生。

在我們考慮這些矛盾的結果可能意味著什麼之前，我們需要檢查每項研究中的一些關鍵組成部分，我們應該在四個方面尋找潛在的問題： 參與者、任務、過程、分析。

1. 參與者

誰參與了每一項研究？有多少人蔘加了每一項研究？有沒有異常值 （那些表現得與其他人不同的人）？

同一使用者群是否參與定量研究和定性研究？這兩項研究的參與者是如何招募的？回答這些問題可能發現結論相互矛盾背後的原因。

例如，研究人員可能決定招募具有不同專業水平的使用者使用該產品。如果新手參與定量研究，但有經驗的使用者提供了定性反饋，那麼參與者群體之間的差異可能會影響結果。

2. 任務

定量研究包括哪些任務？

在執行公司的一些核心任務時，使用者可能更有效率。但是，如果使用者經常參與一系列廣泛的任務，那麼在整個系統中可能不會存在其在產品某個區域的效率提高。

定性訪談之前有多少曝光？

如果研究人員只是在膝上型電腦上拉出新版本，指出它，並詢問參與者他們的想法，而不給他們實際完成任何任務的機會，這可以解釋一些負面的反應。

如果 UI 沒有足夠的時間來探索其功能，那麼使用者可能只是對 UI 看起來新穎且不同的事實做出了反應。

定量研究之前有多少曝光？

使用者在測試系統之前是否給出了任何練習任務？他們是否接受過研究人員的任何培訓？如果定量參與者比定性參與者更多地接觸新系統，他們就有時間克服他們最初的負面反應並學會使用新產品。

3. 過程

這些研究是如何進行的？

我們需要驗證研究是否以合理的現實方式進行—— 研究具有外部有效性。

例如：假設該產品總是在工廠車間使用，使用者會受到很多環境噪音和干擾。如果研究是在安靜的會議室進行的，那麼使用者可能會在新版本中表現更好，但是設計的某些方面可能會使其在現實條件下表現更差。

此外，我們還需要檢查是否存在一些意外問題，因為如何進行定量研究可能會對結果產生偏差，我們可以問： 誰在稽核這些測試？主持人有多少經驗？

即使很小的混雜變數也可能產生無效結果，例如：想象一下，如果測試新版本產品的所有參與者都是在星期一早上參與測試，測試舊版本的所有參與者在星期五的晚上參與測試。這就可能很容易出現關於測試時間的問題，這些測試會影響參與者的表現。

4. 分析

我們有統計學意義嗎？

對於定量研究，兩種設計之間的差異是否具有統計學意義？換句話說，新版本的任務時間是否更可靠且不太可能產生隨機變化？

如何分析任務的時間？在許多研究中，任務時間僅包括那些成功的嘗試。比如新設計比舊設計更快，但成功率是否可比？如果平均任務時間增加 2 分鐘，但成功完成任務的使用者比例下降了 40％，那對公司和使用者來說仍然是壞事。

人們遇到了哪些型別的錯誤？我們不僅應關注任務，還應關注定量研究期間收集的其他指標，看看它們是否都表明新產品更好。即使新設計的錯誤較少，但它們可能比舊系統的錯誤更嚴重，並且影響了使用者在定性研究中的態度。

解釋結果

如果我們發現方法中沒有實質性的錯誤或解釋，那麼就該考慮這兩種質量標準（定量效率和定性滿意度）之間的衝突可能意味著什麼。

作為專業人士，我們的工作就是傾聽使用者的意見。正如任何經驗豐富的使用者體驗專家都會告訴你的那樣，雖然這聽起來比實際更容易。因為我們不能只聽取使用者的意見，並遵循他們逐字記錄的請求。

人們通常不知道他們真正想要什麼，而且你的使用者不是系統的設計者，他們無法以你的方式看到大局。更糟糕的是，他們的反饋往往受到其他因素的影響（錯誤的記憶，社會壓力，心理偏見等）。

我們不能只是問人們他們想要什麼，做他們告訴我們的事情。我們必須收集混合資料（定量，定性，自我報告和觀察）才能真正瞭解正在發生的事情，然後我們可以使用該資訊來解釋使用者所說的內容。

那麼，在文章開始的例子中，我們應該如何理解使用者反饋？這似乎與定量資料相矛盾嗎？我們需要看看為什麼這些人可能對客觀上更好的產品做出如此負面的反應，而定量研究中的任務時間似乎能更好地反應。

感知的可用性可能與客觀可用性不同

不幸的是，我們並不確切地知道這個特定團隊在定量研究中減少了多少時間，這可能意味著幾秒鐘或幾分鐘。從公司的角度來看，即使減少秒數也可能是非常有益的。

想象一下，成千上萬的員工每年要執行這項任務數千次 ，作為公司層面，這些效率提升很快就會增加，並可以節省成本。

但是，從個人使用者的角度來看，這些收益可能並不重要。如果這是幾秒鐘的改進，個別使用者可能甚至沒有意識到新系統實際上更快，因為她沒有看到自己的任務時間或其他參與者的時間。

人們不喜歡變化

上述這個複雜的企業產品的使用者幾乎每天都在使用它工作，他們中的一些人多年來一直使用相同版本的應用程式。即使它不是最有效的，他們也已經習慣了，他們知道它是如何運作的。

通過改變事物，研究團隊要求使用者投入精力來熟練掌握新版本（使用者討厭改變這是一個常見的發現，這也是在釋出之前進行研究的原因，以便可以最大限度地減少後續更改）。

如果定量研究中的使用者在測試之前接受了新系統的培訓或實踐，則可能存在一些初始滯後，引入新介面時，複雜的任務學習新介面需要花費相當多的時間，效率低於僅使用舊的熟悉介面執行任務的人。

下一步

我對這個團隊領導的建議是，首先考慮使用者反饋背後的這些原因，然後退一步看看更具體的問題。當然，在使用者體驗中，定量資料不應該自動否決定性資訊或設計者的直覺（採用這種方法會導致滑稽的設計錯誤）。

在權衡相互矛盾的結果時，我們必須意識到——我們始終希望使用者能夠高效，高效地使用我們的產品。

由於賭注很高，並且團隊的研究預算也並不寬泛，我的建議是做出更多的調查，看看這個假設是否正確。團隊可以嘗試與新使用者進行定性測試，選擇與之前的系統接觸程度最小的人，看看他們的反饋是否有所不同。

或者，團隊可以進行系統的可學習性研究，通過多輪定量可用性測試來跟蹤任務時間、任務完成情況和長期滿意度，之後準確完整地描述使用者表現和滿意度隨著人們獲得新產品體驗而變化的情況。

如果新設計確實比舊設計更好，那麼團隊應該期望滿意度和效能測量（任務時間和任務完成）隨著時間的推移而增加，並最終達到與當前設計相當或更好的數字。該研究也很好地解釋了——到底需要多久才能克服使用者最初的負面反應。

如果這些研究表明最初的負面反應會被長期滿意度和生產率提高所取代，那麼團隊可以確信它正朝著正確的方向前進。

於是，他們可以計劃新系統的增量部署，允許當前使用者在準備好時（而不是在緊迫的截止日期之前）選擇使用新產品可以減少短期的挫敗感。

或者，另一個可能的研究結果是——新設計大多是好的，但舊設計中有一些好的方面應該保留在新版本中。

理解各種結果的矛盾是進行使用者體驗研究的挑戰（和樂趣）的一部分。每種方法都只是一條資訊，從不同的角度看待我們的使用者或我們的產品。資料可以告知我們資訊和結果，但最終，我們還是要根據自己的分析思路做出最佳選擇。

本文編譯部分來源：

https://www.nngroup.com/articles/interpreting-research-findings/

作者：Kate Moran

編譯來源：使用者行為洞察研究院

本文由 @使用者行為洞察研究院 翻譯釋出於人人都是產品經理。未經許可，禁止轉載

題圖來自Unsplash，基於CC0協議