名字被提到了,產品卻被認錯了。
自然發現題未找到目標產品;點名後的使用規則題中,兩份回答把它歸入其他產品類別。診斷將名字出現、正確識別與事實準確性分開,並發現需要統一的說明內容。
01 / FINDINGS
診斷發現
需求沒有連結到目標產品
自然發現題的三份回答給出了其他方案,沒有提及目標產品。報告核對了這些方案與真實使用需求的差異,避免只比較品牌出現次數。
點名後仍然出現錯誤歸類
適用對象題出現泛化或不準確的介紹;使用規則題中,兩份回答認錯產品類別,一份明確表示未找到產品。本輪未回傳目標產品的官方來源。
說明資料存在新舊衝突
獨立核查發現,舊說明頁與目前說明對部分使用能力的描述不一致。衝突頁面未出現在本輪回傳來源中,因此不能斷言它造成了模型錯誤。
02 / QUESTIONS & OUTCOMES
問題主題與診斷結果
下方為去識別的問題意圖摘要,不是測試原題或原始回答。Q1 未點名;Q2、Q3 原題已點名目標產品,用於核查準確性。完整問題與結果已私下交付客戶,回答數量與判定保持原記錄。
| 問題主題 / 測試目的 | GPT-4.1 mini | Claude Haiku 4.5 | Gemini 2.5 Flash |
|---|---|---|---|
| Q1 · 自然發現 尋找滿足小組日常協作需求的輕量工具。 | 未提及 | 未提及 | 未提及 |
| Q2 · 適用對象 判斷目標產品適合哪些使用者和使用情境。 | 泛化回答 | 描述有誤 | 泛化回答 |
| Q3 · 使用規則 理解日常使用中的身分、裝置與狀態管理規則。 | 認成其他產品 | 未識別產品 | 認成其他產品 |
提及不等於推薦或描述準確;點名問題與自然發現問題分別解讀。
03 / RECOMMENDATIONS
優先改進建議
先統一說明內容
核對舊說明頁、目前產品說明和操作介面,將不同使用情境的處理步驟寫清楚。
在關鍵頁面說清產品類別
讓首頁與說明頁使用一致的產品名稱、適用對象和核心用途,避免脫離業務情境解釋技術術語。
用入門範例連結真實需求
展示從開始使用到獲得結果的短流程,提供可直接讀取的說明正文,再分別複測自然發現和點名後的準確性。
04 / SCOPE
測試範圍
9 份回答均完成,每題每模型觀察一次,共用 OpenRouter Exa 搜尋增強。泛化建議、事實不準確、認錯類別與未識別分別記錄。本輪沒有消費者介面真人測試或實際功能測試,也沒有驗證改善效果。
本報告由 NiubiGEO 完成,基於模型 API 測試。真人網頁與 App 測試可另行安排,真人測試能力由 NiubiStar 提供。