对AI的思考

生成式AI对内容创作的影响

• AI训练基于历史数据，可能放大刻板印象与大众趣味，对小众、边缘、多元文化构成挤压。
• 商业内容成本骤降，大量“自动生成内容”可能冲击传统创作者收入。
• 大量AI生成内容可能导致内容趋于雷同、缺乏深度与人味。
• 创作民主化，AI工具降低了创作门槛，让非专业者也能成为创作者，掀起全民创作的浪潮。
• 但这也导致信息茧房和隐私问题的出现，人们更容易陷入算法喂养的内容中，降低独立判断力。
• 积极影响：AI自动化可解放人类从繁琐重复的任务中解脱出来，提升生产效率，让人类从事更有创造力或战略性的工作。
• 同时，过度依赖AI可能削弱人类自身的思考、记忆和表达能力。

AI的局限性和问题

• 架构上的根本难题：指令与数据的混淆，这是计算机科学中最经典的难题之一。
• 在传统程序中，指令（代码）和数据（用户输入）是分开处理的。
• 在 LLM 中，指令和数据是完全混淆的。 用户输入的内容既是模型要处理的数据，也包含了指导模型如何处理的“指令”。
• 模型分不清哪些是“开发者设置的死命令”，哪些是“用户伪装成命令的数据”。这就是为什么通过提示词（Prompt Injection）可以重写模型的逻辑。