AI 分析用戶回饋準嗎？我把兩百多則評論丟給 Notion AI 跟 Claude

💡 核心結論速覽 (TL;DR)

• 分工結論：Notion AI 適合把回饋留在工作區裡分類、檢索、直接往下開任務；Claude 適合一次吃完整批、把前後文串起來做判斷。兩邊都會分類，但錯的地方不一樣。
• 4 種最常翻車的誤判：反話被讀成稱讚、一則講三件事只認第一件、把「中性」當成「沒意見」、把 3 則小眾抱怨寫成趨勢。
• 官方文件早就寫了：Google Cloud 情感分析文件明說分數接近 0 可能是真中立、也可能是正負相抵，得看 magnitude 才分得出來——這正是「AI 說 60% 正面」最會騙人的地方。
• 下一步：先人工標 50 則黃金樣本，再讓 AI 跑同一批對答案。完整 Notion AI 綁在 Business 方案（年繳約 US$16／人／月），Claude Pro 月繳 US$20、年繳約 US$17。

一份剛匯出的回饋檔案躺在資料夾裡，兩百多則，你知道裡面一定有東西，但沒有哪個下午能一則一則讀完。我第一個念頭跟你一樣：丟給 AI 就好了吧？

幾輪下來我的答案是：AI 分析用戶回饋這件事，「整理」可以放心交出去，「判斷」還不行。它能把兩百多則壓成十個主題、標好情緒、排出頻率，速度快到像作弊；但它算給你的那個百分比，有時候比你自己隨手翻二十則還不可靠。

更麻煩的是，它錯的時候不會臉紅。表格排得整整齊齊、每一列都有數字，看起來就是一份可以直接貼進週會簡報的成果。我第一次被坑，就是拿著那張漂亮的表去開會，結果被工程師一句「這則明明是在酸我們」當場問住。

所以這篇不打算再列一次「10 大 AI 文字分析工具」。我想講的是：同一批回饋，Notion AI 跟 Claude 我各自用在哪一段、它們分別會在哪裡出錯，以及要驗到什麼程度，那份數字才值得你拿去說服別人。

AI 分析用戶回饋到底能做到哪一步？先把「整理」跟「判斷」拆開

直接講結論：AI 分析用戶回饋的能力邊界，落在「整理」跟「判斷」中間那條線上。線的左邊你可以大膽交出去，右邊交出去就是在賭。

左邊是整理：去重、歸類、抽關鍵句、標情緒、算頻率、把口語轉成可討論的句子。這些事有原始資料當地板，AI 做得又快又穩，錯了你翻回原文也很容易抓到。

右邊是判斷：這個抱怨算不算真需求？三個人講的是同一件事還是三件事？這一批回饋到底該不該改版？這些要接上你們的路線圖、技術債、成本結構，而那些東西 AI 手上一份都沒有。

我自己帶團隊這些年，最貴的錯誤從來不是分類分錯，而是把 AI 排出來的「前三大痛點」直接當成排期依據。分類錯了下一輪會被抓出來，排期錯了要賠一整個迭代。這跟我先前寫把三種規模的需求丟給 AI 估工時，結果誤差大到得打對折時踩到的是同一個坑：AI 的產出很適合當第一版草稿，不適合當結論。

這段可以帶走的判斷：先在心裡畫這條線。凡是「AI 說的我翻原文就能查證」的，放手用；凡是「要接上公司內部脈絡才能決定」的，AI 只給素材，決定權留給你。

Notion AI 跟 Claude 我怎麼分工？差別不在誰聰明，在資料放哪

我的分法很直接：資料本來就住在工作區裡的，用 Notion AI；需要一次讀完整批、還要追前後文的，用 Claude。這不是能力排名，是動線問題。

回饋如果是同事陸續貼進資料庫的、客服工單本來就在 Notion 裡跑，那把它搬出來給別的 AI 讀，光是匯出、貼上、再把結論搬回去，就夠你耗掉一個下午。Notion AI 的價值是它就站在資料旁邊，分完類可以直接變成一張卡片、指派給人、掛上截止日。

但如果我拿到的是一包從商店後台或問卷工具匯出的檔案，我會直接開 Claude。原因是我需要它讀「整批」而不是「一則一則」——同一位使用者在第 12 則跟第 180 則講了矛盾的話，這種前後對照才是回饋裡最值錢的東西。

還有一個現實條件會左右你的選擇：完整的 Notion AI 現在綁在 Business 方案上，免費版與 Plus 只有限制版的試用。這件事我在拆解 Notion AI 現在到底誰該升級、誰別白花錢那篇算過一次帳，這裡就不重複。

下一步可以做的事：先問自己這批回饋「下一步要變成什麼」。要變成任務就留在 Notion，要變成一份給人看的分析就開 Claude。

誤判一：反話被讀成稱讚，AI 分析用戶回饋最經典的翻車

最常見也最尷尬的誤判是反諷。中文的反話往往沒有任何負面詞，整句拆開來看全是好話，只有語氣是壞的。

「哇，這次改版真的很有想法」——你我都知道這句在酸。但如果模型手上只有這一句、沒有前後文、沒有這位使用者前面罵過什麼，它很容易把「有想法」讀成正面評價。

更陰險的是「稱讚句 + 但是」的結構。「介面做得很漂亮，就是每次載入要等」，AI 常常把整則標成正面，因為前半句的情緒強度看起來比後半句高。可是使用者真正想講的，百分之百是後半句。

我現在的做法是把反諷當成一個獨立標籤，而不是情緒的一種。給 AI 的指令裡我會明講：遇到疑似反話、或同一則裡情緒轉折超過一次的，一律丟到「待人工判讀」，不要自己決定。寧可多出三十則要我看，也不要一則被悄悄算成正面。

可以立刻用的一句話：在你的分類指令後面加上「若語氣可能為反諷或含轉折，標記為 uncertain 並附上原句」。這一句就能擋掉很大一部分的難堪。

誤判二：一則講三件事，AI 只認第一件

第二種誤判是「多訴求被壓成單一標籤」。真實的使用者不會照你的分類表講話，他們一則裡可以同時抱怨價格、誇獎客服、順便許願一個功能。

如果你的指令是「請把每則評論分到下列類別之一」，那個「之一」就是災難的源頭。模型會忠實地選一個，而它選的通常是排在最前面、字數最多、或情緒最強的那件事。剩下兩件就這樣人間蒸發。

我吃過一次悶虧：某個功能許願在那批回饋裡其實出現了十幾次，但每次都夾在一長串抱怨的最後一句。第一輪跑完的統計裡，那個需求的次數是個位數，差點就被我判定成「沒人在意」。

後來我改成兩件事。第一，允許複選，一則可以掛多個標籤；第二，要求模型輸出時附上「這個標籤是根據哪一句判的」。第二點特別有效——它逼模型把證據攤出來，你掃一眼就知道它是真的讀懂，還是在猜。

這個「先要證據，再要結論」的習慣，其實跟我做訪談逐字稿逆向還原、不讓 AI 直接生一個漂亮 Persona 的原則是同一套：AI 可以整理證據鏈，但不能替你發明結論。

誤判三：把「中性」當成「沒意見」——用戶回饋統計最會騙人的地方

第三種誤判最容易被忽略，因為它藏在統計裡：一則正負相抵的回饋，跟一則真的沒情緒的回饋，在分數上長得一模一樣。

Google Cloud 的情感分析官方文件把這件事講得很白：情緒分數落在 -1.0 到 1.0 之間、代表方向，另外還有一個 magnitude 代表強度，而且不做正規化。

文件直接提醒，當一份內容同時有強烈的正面與負面情緒、兩邊互相抵消時，分數會逼近 0。這時候得靠 magnitude 消除歧義——真正中立的內容 magnitude 低，混合情緒的內容 magnitude 高。

問題來了：你在對話框裡問 AI「幫我算一下這批回饋的正負比例」，它回給你的通常只有一個方向性的百分比，沒有強度這一欄。於是「兩百則裡有 60% 中性」這句話，可能代表沒人在乎，也可能代表一群人愛恨交織到說不清楚——而這兩件事的產品決策完全相反。

我現在會多要一欄。指令裡直接寫：每則除了情緒方向，再給一個 0-3 的情緒強度，並且把「強度高但方向接近中性」的那些單獨挑出來。那一堆通常就是最值得讀的原文，因為愛恨交織的人，才是還願意留下來被你改變的人。

下一步行動：把你手上任何一份 AI 情緒統計拿出來，看看有沒有「強度」這一欄。沒有的話，那份百分比先別拿去開會。

誤判四：AI 很會把 3 則小眾抱怨，寫成一個趨勢

第四種誤判來自語言模型的本能：它太會寫報告了。你問它「這批回饋的三大主題是什麼」，它一定會給你三個，即使第三個只有三則人在講。

報告裡那句「使用者普遍反映⋯」讀起來完全沒有破綻，你不回去數次數，根本不知道那個「普遍」背後只有三個人。而人只要看到成篇成段的分析，就會自動相信它背後有量。

我的解法很土：所有主題後面一律要求附「支持則數」與「佔全批比例」，而且要模型直接列出那幾則的編號。編號列不出來的主題，我當它不存在。

還要提醒一件事：頻率高不等於重要。有時候三則抱怨來自付費最多的那群人，那三則比三十則路過的隨口批評更該處理。所以次數只是排序的第一層，第二層是「這些人是誰」，而這一層 AI 幫不了你——它不知道誰付了錢。這也是我一直覺得AI 時代 PM 的工作邊界正在往哪裡移動的關鍵：被拿走的是整理，留下來的是判斷誰重要。

AI 分析用戶回饋到底怎麼用才不會被騙？我的黃金樣本 5 步校準法

先講結論：這份分析能不能信，取決於你有沒有一份「人工標好的答案卷」。沒有答案卷，你永遠只能憑感覺相信它。

這件事不是我發明的。Anthropic 在官方的評估建置指南裡講得很直接：設計評測要讓題目分布貼近真實任務，別忘了把邊界案例算進去。

它還說，寧可要「數量多、自動評分訊號稍弱」，也不要「數量少、全靠人工細評」；甚至點名一種必收的邊界案例——連人類都很難達成共識的模糊案例。看到這句我笑了，那正是反諷跟愛恨交織的回饋。

把這套翻成 PM 可以在一個下午跑完的流程，我的做法是這樣：

❶ 抽 50 則當黃金樣本：不要隨機抽整齊的那 50 則。刻意塞進反話、一則多訴求、只有表情符號、還有你自己讀了也猶豫的那幾則。

❷ 你自己先標一次：這步最痛也最省事。標的過程你會發現自己的分類表根本有兩個類別分不清楚——那不是 AI 的問題，是你的表有問題。

❸ 讓 AI 跑同一批：一模一樣的 50 則、一模一樣的分類定義，要求它輸出標籤＋判斷依據原句。

❹ 只看不一致的那幾則：對得上的略過，把對不上的攤開來看。你要找的不是「它錯幾則」，而是「它錯的方式有沒有規律」——是全部栽在反諷，還是全部栽在多訴求。

❺ 針對規律改指令，再跑一次：規律找到了才改 prompt，改完重跑同一批。兩輪之後還是同一種錯，那類就永久轉人工，別再跟它盧。

做完這一輪，你手上會多一句在會議室裡很有份量的話：「這份分類我用 50 則人工樣本校準過，反諷類我沒交給 AI。」這句話比任何漂亮的圓餅圖都有說服力。整套流程其實可以直接嵌進從需求到原型的完整 AI 產品設計流程裡，當作進入需求收斂前的第一道關卡。

這套流程要花多少錢？Notion AI 與 Claude 的方案怎麼配

直接給預算答案：如果你只是想自己跑，一個月 US$20 上下就夠；如果要讓整組人都能跑，成本會跳到「每個人每月」的量級，這時候才需要認真算。

目前的官方方案是這樣：Notion 的定價頁列出 Free、Plus、Business、Enterprise 四層，完整的 Notion AI 綁在 Business 以上，免費版與 Plus 只給限制版試用；Claude 的定價頁則是 Pro 月繳 US$20、年繳一次付清後平均約 US$17／月，團隊席次另計。

（月繳價；年繳各家都有折扣，Notion 兩個付費層年繳約打八折，Claude Pro 年繳平均約 US$17／月。）

我自己的配法是兩邊都留：Claude 負責我一個人要深挖的那幾批，Notion 負責讓同事不用等我。

如果預算只能選一個，我會問你一句——這份分析是「你要用的」還是「大家要用的」？前者選 Claude，後者選 Notion Business。這種按場景拆訂閱的邏輯，我在盤點產品經理實際用得上的 AI 工具那篇有更完整的取捨表。

👉 查看 Claude 完整方案與價格　👉 查看 Notion 各方案的 AI 範圍

AI 分析用戶回饋適合誰、不適合誰？先確認手上有沒有這三個條件

先講不適合的：如果你的回饋量一個月不到五十則，這整套先別做。五十則你自己讀完只要一個晚上，而且你讀完得到的體感，遠比任何統計表有價值。工具是給「讀不完」的人用的。

適合現在就導入的人：

• 每個月固定會收到上百則以上回饋、且分散在多個來源（商店評論、問卷開放題、客服工單）的產品負責人
• 需要把回饋變成排期依據、而不是只做一份「本月心聲摘要」交差的人
• 團隊裡有人願意花一個下午先標 50 則黃金樣本的組

先別急著導入的人：

• 回饋量很小、或內容高度重複（例如八成都是同一個當機問題）
• 分類表還沒定義清楚——AI 只會忠實放大你定義不清的地方
• 資料含個資或合約敏感內容、而你還沒確認過公司的使用規範

最後一點我要多講一句。回饋裡常常夾著使用者的真名、電話、訂單編號，丟進任何雲端工具之前，先做一次去識別化。這是我看過最多人漏掉、也最容易出事的一步——它不會讓你分析變準，但會讓你不用在某個週五下午跟法務解釋。

FAQ 常見問題

Notion AI 跟 Claude，只能選一個的話該選哪個？

看這份分析是給誰用的。結論最後要變成任務、要讓同事自己也跑得動，選 Notion Business，因為它就在資料旁邊；你一個人要深挖、要一次讀完整批還要追跨則矛盾，選 Claude Pro。如果預算只夠一個，多數 PM 的實際痛點是「讀不完」而不是「跑不動流程」，那就選 Claude。

幾則回饋才值得用 AI 跑？50 則夠嗎？

50 則不夠、也不需要。這個量自己讀完只要一個晚上，而且親自讀得到的語氣體感，AI 給不了你。我的門檻大概抓在單批超過一百則、或每月固定進來上百則的時候才導入。反過來說，50 則剛好是黃金樣本的好尺寸——先拿這 50 則手工標一次，當作驗 AI 的答案卷。

AI 算出來的「正面比例」可以直接放進簡報嗎？

先確認那份統計有沒有「情緒強度」這一欄。Google Cloud 的官方文件講得很清楚，分數接近中性可能是真的沒情緒、也可能是強烈正負相抵，兩者要靠強度值才分得開。只有方向沒有強度的百分比，最容易讓你把一群愛恨交織的重度使用者，誤讀成一群無所謂的路人。

要怎麼確認 AI 分類到底準不準？

用黃金樣本對答案，別用感覺。抽 50 則刻意含反話與一則多訴求的樣本，自己先標一次，再讓 AI 跑同一批，只看不一致的那幾則。重點不是算出它錯幾則，是找出它錯的規律；規律找到才改指令，改完重跑同一批驗證。連續兩輪還是同一種錯，那類就轉人工。

把使用者回饋丟進 AI 工具，會不會有隱私風險？

回饋裡常常夾著真名、電話、訂單編號，上傳前一定要先去識別化。另外各家對「資料會不會被用於訓練」的規則不同，團隊/企業方案通常比個人方案嚴格，導入前請直接看你採用的那個方案的官方說明，不要靠印象。這一步跟準不準無關，但它決定你會不會出事。

寫在最後：把 AI 放在整理台，不要放在決策桌

回到最前面那個問題——AI 分析用戶回饋準嗎？我的答案是：它整理得比你快，判斷得比你差，而多數人踩的雷，是把前者的速度當成後者的可信度。

兩百多則評論攤在那裡的那種無力感我完全懂，那也是我第一次把整包丟給 AI 的原因。但真正讓我不再心虛的，不是換了哪個工具，而是那份手工標過的 50 則答案卷。有了它，我才敢在會議上說「這個結論我驗過」。

寫到這裡，這篇能講的只是「用戶回饋」這一段。如果你是 PM、設計師或行銷企劃，想看三大 AI 在需求、訪談、原型、估算這一整條產品線上各自該站哪一格、怎麼串成一個完整工作流，我把這條路整理成了一本書：

📖 《AI 產品設計大師：三大 AI 的思維解碼與實戰指南》——寫給手上已經有 AI 訂閱、卻還沒把它變成工作流的人。

想繼續往下挖的話，同一批工具在會議記錄場景誰勝出跟研究筆記到底該交給 NotebookLM 還是 Notion AI 這兩篇，剛好補上這條工作流的前後兩端。

如果你更在意的是幾年後的位置，未來產品團隊的 5 種角色那篇可以當作長期參考。想更認識我怎麼看這些題目，也可以到關於夜羽凌看看。訂閱我的部落格，會不定期收到信。

💡 追劇族延伸閱讀：如果你是被演算法推來的追劇同好，順手一提——同樣是「一堆選項讀不完」的問題，大陸劇平台台灣到底該選 WeTV、愛奇藝還是 Disney+ 我也用一樣的方法幫你排過一次優先順序，別為了一部劇亂訂年約。另外用 Notion AI 管追劇片單與筆記也意外好用。

參考資料

• Google Cloud — Natural Language API 基本概念（情感分析 score 與 magnitude 說明）
• Anthropic — Create strong empirical evaluations（官方評估建置指南）
• Notion 官方定價頁（繁體中文）
• Claude 官方定價頁