一个人用AI批量处理5000条电商评论：流水线搭建全记录

"第87条评论，我已经不知道'还行吧'算好评还是中评了。"

这不是段子，这是我某个周三下午三点半的真实状态。屏幕上是一个Excel表格，左边一列是评论原文，右边几列是我要手动填的标签：情感倾向、问题类目、关键词。我的手指悬在键盘上，盯着"还行吧，快递慢了点"这六个字，脑子里转着一个毫无意义的哲学问题——"还行"到底是正面还是负面？

如果你做过电商运营、用户研究或者产品分析，你一定有过这种时刻。

---

第一章：手工处理100条评论，是什么感受

先做个算术。

一条评论，从阅读到判断情感、归类问题、提炼关键词，平均需要45秒到1分钟。100条评论，大约需要1.5到2小时。

5000条呢？理论上是75到100小时，也就是两周满负荷工作日。

但这还是乐观估计。实际情况更糟糕：

• 判断标准会漂移。 你早上觉得"一般般"是中性，下午精力下降之后，可能开始把它归成负面。同一个人，同一天，标准都不一致。
• 同义词会漏网。 "发货慢""等了好久""物流太差了""快递不行"——这四句话说的是同一件事，但你手工打标签时，很可能分到了"物流""时效""配送体验"三个不同的桶里。
• 上下文干扰判断。 "包装很好，就是产品一般"——这条是好评还是差评？情感混合的评论，手工处理时最容易出错。
• 重复性消耗注意力。 第1条和第500条，你的状态天壤之别。

我当时负责的项目是一个家居品类的竞品分析，甲方给了我们三个竞品SKU的评论数据，加起来5000多条，要求一周内出报告。

我在第一天手工处理了200条，然后意识到：这条路走不通。

---

第二章：第一次尝试AI——哪里还是烂的

第一反应是直接扔给Claude或者ChatGPT。

我把前50条评论复制进去，写了个简单的指令："请分析以下评论的情感倾向，分为正面/负面/中性，并提取主要问题类目。"

结果出来，看起来还行。我信心大增，把下一批100条也复制进去。

然后问题来了：

直接把数据扔给AI，不等于搭建了流水线。这只是把人工判断换成了AI判断，但流程本身还是手工的。

这是我踩的最重要的一个坑。

---

第三章：流水线是怎么搭起来的

花了两天时间摸索，最终跑通了一套五步流水线。下面逐步拆解。

Step 1：数据预处理（Python清洗）

原始评论数据里有大量噪音：纯表情包评论、系统默认好评（"此用户没有填写评价"）、重复评论、超短评论（"好"、"不错"这类信息量为零的）。

import pandas as pd
import re

def clean_reviews(df, text_col='review_text', min_length=10):
# 去除系统默认评价
default_phrases = ['此用户没有填写评价', '默认好评', '系统好评']
df = df[~df[text_col].str.contains('|'.join(default_phrases), na=False)]

# 去除纯表情/符号评论
df = df[df[text_col].str.replace(r'[^\w\s]', '', regex=True).str.len() >= min_length]

# 去重
df = df.drop_duplicates(subset=[text_col])

# 清洗特殊字符
df[text_col] = df[text_col].str.replace(r'\s+', ' ', regex=True).str.strip()

return df.reset_index(drop=True)

df = pd.read_csv('reviews_raw.csv')
df_clean = clean_reviews(df)
print(f"清洗前：{len(df)} 条，清洗后：{len(df_clean)} 条")

我的5000条原始数据，清洗后剩下约4200条有效评论，过滤掉了16%的噪音。

---

Step 2：Prompt模板标准化

关键是把分类标准写死在Prompt里，强制模型输出JSON格式，不给它"自由发挥"的空间。

你是一个电商评论分析专家。请对以下评论进行三维分析，严格按照JSON格式输出，不要输出任何其他内容。

【评论内容】
{review_text}

【分析维度】
1. sentiment（情感倾向）：只能是 "positive" / "negative" / "neutral" / "mixed" 之一
2. category（问题类目）：只能从以下选项中选择一个或多个，用列表表示
- 产品质量
- 物流配送
- 包装体验
- 客服服务
- 性价比
- 产品外观
- 使用体验
- 其他
3. keywords（关键词）：提取2-4个核心词，用列表表示

【输出格式】
{
"sentiment": "",
"category": [],
"keywords": [],
"confidence": 0.0  // 0-1之间，你对本次判断的置信度
}

注意最后加了一个 confidence 字段——这是用来做后续人工校验的筛选依据，置信度低于0.7的评论，我会单独拉出来人工复核。

---

Step 3：批量调用API

import openai
import json
import time
from tqdm import tqdm

client = openai.OpenAI(
api_key="your_api_key",
base_url="https://api.884819.xyz/v1"  # 国内可直接访问，兼容OpenAI格式
)

PROMPT_TEMPLATE = """你是一个电商评论分析专家。请对以下评论进行三维分析...（完整Prompt）"""

def analyze_review(review_text, retries=3):
for attempt in range(retries):
try:
response = client.chat.completions.create(
model="deepseek-chat",  # 国产模型，免费调用
messages=[
{"role": "user", "content": PROMPT_TEMPLATE.format(review_text=review_text)}
],
temperature=0.1,  # 降低随机性，保持输出稳定
response_format={"type": "json_object"}
)
return json.loads(response.choices[0].message.content)
except Exception as e:
if attempt == retries - 1:
return {"error": str(e), "sentiment": "unknown"}
time.sleep(2 ** attempt)  # 指数退避

results = []
for _, row in tqdm(df_clean.iterrows(), total=len(df_clean)):
result = analyze_review(row['review_text'])
result['review_id'] = row['review_id']
result['original_text'] = row['review_text']
results.append(result)
time.sleep(0.1)  # 避免触发频率限制

df_results = pd.DataFrame(results)
df_results.to_csv('reviews_analyzed.csv', index=False)

💡 代码里的API接口用的是 [api.884819.xyz](https://api.884819.xyz)，兼容OpenAI格式，国内直连无需代理。把 base_url 换成这个地址就能跑，其他代码不用动。Deepseek等国产模型完全免费，新用户注册即送体验Token，没有月租。

---

Step 4：结果校验与异常过滤

# 过滤低置信度结果，单独人工复核
low_confidence = df_results[df_results['confidence'] < 0.7]
print(f"需要人工复核：{len(low_confidence)} 条（占比 {len(low_confidence)/len(df_results):.1%}）")

过滤解析失败的结果
errors = df_results[df_results['sentiment'] == 'unknown']
print(f"解析失败：{len(errors)} 条")

正常结果
valid_results = df_results[
(df_results['confidence'] >= 0.7) &
(df_results['sentiment'] != 'unknown')
]

---

Step 5：汇总输出

最终结果导出到Excel，按情感倾向、问题类目分组汇总，生成透视表。这一步用 openpyxl 或者直接 df.to_excel() 都可以，不赘述了。

整条流水线的节点如下：

原始CSV
└─ [Step 1] Python清洗 → 去噪/去重/格式化
└─ [Step 2] Prompt模板 → 标准化分析指令
└─ [Step 3] 批量API调用 → JSON结构化输出
└─ [Step 4] 置信度过滤 → 低置信度人工复核
└─ [Step 5] 汇总输出 → Excel/飞书报表

---

第四章：5000条跑完，数字说话

流水线跑完后，我随机抽取了200条结果进行人工复核，对比如下：

• 情感判断准确率：约88%
• 类目归类准确率：约82%（多类目评论更难判断）
• 需要人工修正的比例：约15%

• 物流差评存在明显的时间集中性：周一收到的包裹，差评率比其他工作日高出明显幅度。（推测原因：周末积压的仓储发货，周一集中派送，时效最差）
• "包装体验"类负评中，约60%同时提到了"二次购买意愿低"的关键词——说明包装问题对复购影响远大于我们预期。
• 竞品A的差评关键词高度集中在"色差"和"尺寸偏差"，而竞品B的差评分散在多个维度——前者是单点问题，后者是系统性问题，应对策略完全不同。

这些洞察，如果靠手工翻5000条评论，几乎不可能发现。

---

第五章：哪些步骤是真的省掉的，哪些还得自己干

冷静说一下ROI。

1. 定义标准。 你必须自己决定：情感分几类？类目怎么划分？这个决策没有人能替你做，AI只是执行你的标准。

2. 验证结果。 那15%需要人工修正的部分，必须有人去看。AI的置信度只是参考，最终结论你要负责。

3. 解读洞察。 "物流差评集中在周一"这个数据，AI给你数字，但"为什么""怎么办"，还是得你来想。

• Python基础（会跑脚本，不需要精通）
• 一个API Key（8848AI注册即送体验Token，国产模型免费）
• 评论数据（CSV格式，有一列评论文本就够）
• 时间：第一次搭建约半天，后续复用只需改数据路径

如果你现在只有200条评论，从Step 2的Prompt开始就够了。把评论分批（每批20条）手动喂给Claude或ChatGPT，强制JSON输出，先跑通逻辑，再考虑自动化。

这是最小可行起点，不需要等到"数据量足够大"才开始。

---

写在最后

这套流水线的本质，不是"用AI替代人"，而是把人从重复判断中解放出来，去做真正需要人判断的事。

搭建流水线的那两天确实很折腾，踩了不少坑。但当我看到Excel里那张按时间维度聚合的物流差评热力图时，我意识到：这些洞察，不是AI给我的，是流水线帮我"看见"的。

---

这套流程跑评论没问题，但我最近在想——如果把输入换成客服对话记录，能不能自动找出"哪类问题最容易让用户流失"？

我在测试，有结果了再写。

---

#AI教程 #电商数据分析 #Python自动化 #ChatGPT #Deepseek #AI实战 #8848AI #Prompt技巧