如日中天的 AI 编程工具Cursor 创始团队访谈要点-技术细节和 AI 编程的未来

　　Lex Fridman 深入探讨了 Cursor 创始团队的各项创新，此次访谈内容丰富，干货满满。

　　他们详尽阐述了 Cursor 的技术细节、AI 在编程领域的运用、对未来 AI 编程的展望以及 Cursor 团队的核心理念。

　　以下是我总结的一些关键要点：

技术细节

• 模型架构：Cursor 采用多个定制模型集成，结合前沿大模型，并利用混合专家模型 (Mixture of Experts, MoE) 处理长上下文输入。MoE 模型在处理大量输入 token 但输出较少 token 的任务时表现尤为出色。
• 推测解码：Cursor 开发了“推测编辑”技术，这是推测解码的一种变体。与传统推测解码使用小模型预测草稿 tokens、大模型验证不同，Cursor 的推测编辑利用原始代码作为强先验，能够并行处理大块原始代码，从而大幅提高代码编辑速度，同时保持高质量输出。
• 缓存策略：通过 KV (Key-Value) 缓存提高性能，包括在用户输入时预热缓存（如预先加载当前文件内容），跨请求重用 KV 缓存以减少延迟和计算成本。团队还探索了更激进的缓存策略，如预测用户可能接受的多个建议并缓存。
• 注意力机制优化：从传统的多头注意力转向更高效的注意力方案，如使用组查询注意力或多查询注意力，通过减少键值头的数量来压缩 KV 缓存大小，提高内存带宽效率。
• 延迟优化：采用类似 MLA (来自 Deep SeqAI) 的算法，将所有头的键值压缩成一个潜在向量，从而在保持性能的同时显著减少存储需求。
• 检索系统：开发了自定义的检索系统，用于计算代码库的语义索引。使用嵌入表示代码块，但不存储实际代码内容。采用类似Merkle树的哈希结构高效同步客户端和服务器端的代码状态。
• 提示工程：开发了名为“preamp”的系统，用于动态格式化输入提示。使用类似 React 的声明式方法构建提示，允许更灵活的上下文管理。
• 合成数据生成：讨论了三种主要的合成数据类型：蒸馏、反向任务生成、易验证输出生成，这些方法用于增强模型性能，特别是在数据稀缺的任务上。
• 强化学习：探讨了 RLHF (基于人类反馈的强化学习) 和 RLAF (基于 AI 反馈的强化学习) 在改进模型性能方面的作用。
• 测试时计算：讨论了像 OpenAI 的 GPT-4 w/ 0.1 这样的系统的潜力和挑战，并探讨了如何在推理时动态分配更多计算资源以提高模型性能。
• 基础设施：主要使用 AWS 进行部署和扩展，讨论了处理大规模请求时遇到的挑战，如表溢出等问题。

应用场景与未来展望

• 代码生成和补全：AI 模型在代码生成和自动补全方面表现出色。Cursor 的“Tab”功能不仅可以预测下一个字符，还能预测整个代码变更，模型能理解编程者的意图，提供上下文相关的建议。
• 问答和代码解释：AI 能够回答关于代码库的问题，帮助程序员理解复杂的代码结构。提供代码解释，帮助新手或不熟悉某部分代码的开发者快速上手。
• 代码重构和迁移：AI 可以辅助大规模的代码重构任务，如 API 迁移。例如，将异步本地存储迁移到上下文对象的案例，AI 可以大大加速这个过程。
• 多文件编辑：AI 能够理解跨文件的代码关系，提供跨文件的编辑建议，这对于大型项目的重构和功能实现特别有用。
• 代码检索：AI 进行语义化的代码检索，帮助开发者快速找到相关代码片段，这比传统的基于文本的搜索更加智能和精确。
• Bug 检测与修复：虽然目前 AI 在 bug 检测方面还有待提高，但团队认为未来 AI 将能更好地识别和修复 bug，特别是一些常见的错误，如 off-by-one 错误。
• 代码验证和形式化证明：团队展望未来 AI 可能在代码验证和形式化证明方面发挥重要作用，可能会减少传统单元测试的需求，转而使用 AI 来验证代码的正确性。
• 自然语言到代码的转换：虽然自然语言编程是一个趋势，但团队认为完全的自然语言编程可能不是最终目标。他们主张结合自然语言和传统编程，让开发者能够在不同抽象层级间自由切换。
• 编程教育：AI 工具可以使编程更容易入门，扩大能够进行编程的人群范围。但团队也强调，顶尖程序员的创造力和判断力仍然无法被 AI 完全替代。
• 挑战和限制：讨论了 AI 在处理非常具体或罕见的编程任务时可能出现的“幻觉”问题，强调了在使用 AI 工具时人类开发者保持控制和理解的重要性。
• 未来展望：团队预见了一个人机协作的未来，其中 AI 增强了人类程序员的能力而非取代他们。未来的编程将更快速、更有趣且仍需要人类的创造力和决策能力。

团队理念与愿景

• 增强而非取代：团队强调 AI 的目标是增强程序员的能力而非取代他们。他们预见一个“人机混合工程师”的未来，这种工程师将比单独的人类或 AI 更有效率。
• 速度和效率的提升：未来的编程将比现在快得多，AI 将处理大量低熵（高度可预测）的任务，程序员将能够“以判断力的速度进行迭代”。
• 更高层次的抽象：程序员可能会更多地在更高层次的抽象上工作，如伪代码。AI 可以将这些高层次指令转换为实际的、可执行的代码。
• 灵活的抽象层级：未来的编程环境可能允许在不同抽象层级间自由切换，例如可以在伪代码级别编辑后下钻到具体的实现细节。
• 控制权保持在人类手中：尽管 AI 能力增强但关键的设计决策仍应由人类做出。团队不赞同完全依赖自然语言的“聊天机器人式”编程因为这可能导致失去对细节的控制。
• 编程技能的演变：某些传统的编程技能（如记忆语法）可能变得不那么重要而创造力、系统设计能力和做出权衡决策的能力将变得更加重要。
• 更广泛的参与：AI 工具可能使编程变得更容易入门允许更多人参与软件开发但顶尖程序员仍然需要深厚的技术知识和创造力。
• 迭代和实验的重要性：未来的编程可能更强调快速迭代和实验 AI 工具将使尝试不同方案变得更容易减少前期规划的压力。
• 代码审查和质量控制的变革：AI 可能改变代码审查的方式提供更智能的差异比较和问题检测可能出现新的质量控制方法如 AI 辅助的形式化验证等。