你正在 萌芽版 · 🤖 智能体实验室 · ← 回到学院 · 萌芽版主页 · 总入口

← 智能体实验室 · 创作者层 03 / 8

第 07 节 · 那些"悄悄发生"的伤害

智能体不会主动作恶 —— 但它可能让人慢慢上瘾、慢慢把人推进信息茧房、慢慢替代真人之间的连接。

三种"安静的危险"

  1. 替代真人。奶奶有了 AI 陪聊,孩子就觉得不用回家了。智能体如果知道这种风险,就该主动建议"打个电话给孩子吧?"
  2. 制造依赖。用户每件事都问 AI,慢慢失去自己想的能力。智能体可以偶尔说"这个问题你自己想想会怎么样?"
  3. 信息茧房。AI 顺着用户喜好越走越窄。智能体可以偶尔放进一点用户原本不会接触的内容。

这一节学到什么

有些伤害不是"做错事",是"做对事做得太好"。负责任的智能体,会给自己加摩擦。

小测 · 30 秒 哪个是"安静的危险"?
下面哪个伤害最难被发现?
  • AI 直接骂人。
  • AI 的答案完全错了。
  • AI 太有用了,用户一年后慢慢放弃了自己想东西。
为什么最后那个最危险?因为前两个很明显,用户一下子就知道了。最后一个慢慢来,用户等反应过来的时候已经晚了 —— 他把思考能力丧失了。
分步 给你的智能体加"反制措施",避免用户依赖
  1. 选一个你想做的智能体。比如"帮孩子做作业"或"帮家人查信息"。
    看参考

    比如"数学作业辅导 AI"。这个 AI 的风险是:孩子用久了,自己不想了。

  2. 想象:一年后,最坏会发生什么?
    看参考

    对数学 AI:孩子所有题都来问,逐渐失去自己做题的能力。这是"替代"的危害。

  3. 设计一个"反制措施" —— AI 自己主动加的摩擦。
    看参考

    比如 AI 可以说:"你先自己想想这一题,想不出来再问我。我会给你一个 hint,而不是答案。" —— 这样就保护了孩子的思考能力。

  4. 测试一下:这个"反制措施"会不会让用户觉得烦?
    看参考

    关键问题:用户会不会觉得"这个 AI 没用"然后不用了?还是会觉得"这个 AI 真的在帮我变强"?
    好的"摩擦"不是烦人,而是有意义的 —— 像健身教练说"再做十个俯卧撑"一样。

小测 为什么"做得太好"也会伤害用户?
下面哪个最准确地说明"过度有用"的危害?
  • 用户会觉得烦。
  • 用户会慢慢放弃使用自己的大脑。这是最深的伤害 —— 不是外伤,是内伤。
  • AI 会变成人类。
想象一个学生:一开始用 AI 做作业,AI 帮她全搞定。一年后,她一离开 AI,就不会做题了。这不是 AI 的"坏",恰恰是 AI 的"太好"。负责任的 AI,有时候要"故意"做得不那么完美,让用户保持思考的肌肉。

← 上一节下一节 →