我们的产品有一个卖点：把拿不准的地方挑出来给你确认。
在这个前提下，我们做了一个自动分类的功能——把整理好的内容按类别归好。做了四个月，上线，收费。
四个月后我们自己把它下架了。
不是因为做得不好
先说清楚：它做得不算差。
我们做了一次正经的实测：八份真实材料，一句一句人工标注对错。结果是两成多分错。
这个数字放在别的场景里，可能是可接受的。在我们这儿不行，原因下面说。
三次尝试，都没救回来
① 改提示词。 反复调，最后的净效果是一千多句里少错了七句。九成四的错句纹丝不动——说明问题不在措辞上。
② 换分类方案。 结果更差。
③ 加自动检测。 想着「分错了就自己标出来」，做了三种检测手段。最好的一种覆盖 55%，而且要用户读完全文的三分之一才能确认。
第三条是压死它的那一根。
真正的理由
不是准确率不够。是这个功能和产品的立身之本相反。
我们卖的是「错的地方我会告诉你在哪」。
而这个功能：它错了，指不出来。
- 用户看到一份分好类的东西，看起来整整齐齐
- 里面两成多是错的
- 他没有任何办法知道是哪两成
一个自己发现不了错误的功能，装在一个以「发现错误」为卖点的产品里，是在拆自己的台。
留着它，我们那句话就成了半句真话——而半句真话比整句假话更难解释。
下架是怎么做的
三条，都值得记：
① 发起的路都关掉，读的路全留着。 已经买过的人，历史记录还能打开、产物还能下载。下架不等于抹掉别人买过的东西。
② 用户手写的配置故意不删。 有人花时间调过自己的方案，那些东西留在库里。哪天要恢复，它们还在。
③ 全部实测数据、标注好的数据集、能独立跑的评测台，整套存档。
第三条最值钱。下架的理由必须有据可查，否则半年后一定有人说「我觉得那个功能还是有用的，加回来吧」——而那时候没有人记得清当初为什么砍它。
学到的那一条
做这个功能之前，我们问的是「能不能做出来」。
应该问的是另一句：
它做错的时候，用户能不能自己发现？
这两个问题的答案可以完全相反。一个功能可以「能做出来」并且「错了没人知道」，而后者才决定它该不该存在。
这一条对咨询同样成立。 一份分析里，最危险的不是那些明显没做完的部分——那些客户看得出来。是那些看起来做完了、其实推错了的部分。
那种地方，你得自己给它挂一个标。