Andrew Ng 在 X 上：“构建与部署 AI 应用最重要的技能。https://t.co/IyWIKLIzeM”

我此前曾介绍我们的 AI 工程技能图，其中最高层级的技能包括：(i) 构建与部署 AI 应用，(ii) 软件工程基础，(iii) 使用编码智能体，以及 (iv) 塑造构建过程。本文将详细介绍其中第一项。

熟练构建与部署 AI 应用，意味着需要掌握：

LLM 基础
用数据为模型提供依据（grounding）
构建 Agent 系统
评测驱动开发
生产环境运维
机器学习基础

这份技能图来自对大量招聘信息、结构化专家访谈和问卷回复的分析。

AI 应用与非 AI 软件的关键区别在于，前者的输出更难预测。你无法预先知道 LLM 会输出什么，也不知道监督学习算法会做出何种预测。由于这种不确定性，构建 AI 系统比传统软件开发更需要迭代——这一过程更难事先规划。优秀的 AI 工程师会反复构建一部分软件、检查它，再决定下一步尝试什么；他们采取的一系列步骤会深受中间结果影响。能够熟练判断下一步做什么，你就能用不可靠的 AI 组件构建可靠的软件系统。这要求掌握：

*LLM 基础。* 理解大语言模型如何将输入分词并生成输出，可以帮助你判断什么时候能够依赖它们、什么时候它们可能失败。你也能据此判断何时使用多模态模型，权衡上下文窗口中应包含哪些内容，并分析缓存命中、知识截止日期、推理投入级别、采样参数，以及何时使用工具调用等特殊功能。理解这些基础知识，有助于你选择合适的模型或模型组合，并在需要时应用微调或自行托管模型等专门技术。

*用数据为模型提供依据。* LLM 需要良好的输入上下文才能生成有用的输出。基于向量搜索的 RAG，是为 LLM 提供相关上下文的一种早期尝试，但用数据为模型提供依据的技术已经大幅扩展。例如，你需要决定哪些内容直接放入提示词，哪些让 LLM 通过工具按需检索；还要判断哪种表示形式适合相应的数据和搜索查询：向量索引、知识图谱，还是结构化数据（例如客户记录）之上的语义层。你还需要把文档（文本、PDF、HTML、图像）转换为适合 LLM 使用的输入，并构建数据管道以保持数据干净、及时更新。当你理解各种数据获取技术后，就能更好地为 LLM 提供相关上下文。

*构建 Agent 系统。* Agent 系统既包括执行预定义 LLM 调用序列的工作流，也包括基于 Agent Harness、让 LLM 反复自行决定下一步的系统。你需要选择架构——哪些步骤串行、哪些并行，何时使用代码、何时使用 LLM——并为工作流或 harness 构建回退机制。设计 Agent 循环时，你还要决定模型可以调用哪些工具（包括 MCP、CLI 和沙箱执行环境）、采用何种记忆架构、如何管理长会话中的上下文，以及何时应使用多 Agent 编排而不是单 Agent 架构。你还需要把有潜力的原型变成可靠、安全、可在生产环境运行的 Agent；这要求理解护栏和对抗性输入，识别并应对数据外泄等主要风险，同时做好治理。

Agent 工作流正在快速演进，了解与你的应用领域相关的前沿技术同样会有所帮助，例如语音 Agent、计算机使用 Agent 或生成式 UI。

*评测驱动开发。* 根据我的经验，区分优秀 AI 系统构建者最重要的特征，是能否用一套严谨的评测与错误分析循环推动开发。这让你能够反复把精力集中在更可能取得成效的方向上。我发现这项技能并不容易掌握，因为正确方法会因项目而显著不同，甚至会随同一项目所处阶段而变化。

构建良好的评测是一项有深度的技术技能。你可能需要检查系统的轨迹和输出、开展探索性数据分析，再结合产品与业务洞察决定衡量什么。你还应了解各种评测选项，例如何时使用确定性的代码评测，何时使用 LLM 作为评判者，何时引入人工参与，以及如何评估你的评测本身，使其持续演进。这些评测随后进入驱动进一步开发的迭代过程，让进展变得系统化，而不是随机碰运气。

*生产环境运维。* 由于 AI 软件具有不可预测性，并伴随成本和延迟问题，其运维方式不同于传统软件。首先，你应知道如何建立可观测性机制，了解系统在真实使用中的表现。你需要跟踪性能、检测漂移，并快速响应模型故障以及对抗性提示注入等安全事件。建立回归测试和 CI/CD，需要比传统软件采用更多统计性评测，而且测试投入应根据错误风险进行调整。此外，选择正确的技术组合也很重要，例如优化模型选择、蒸馏与微调，以及简化 Agent 工作流，从而优化成本和延迟；当应用拥有大量用户时尤其如此。

*机器学习基础。* 现代 LLM 使用监督学习和强化学习等机器学习技术构建。我认识的每一位擅长使用 LLM 构建系统的工程师，都在一定深度上理解机器学习和深度学习。此外，许多应用仍然要求你知道如何使用机器学习——无论是使用别人训练的模型，还是自己训练模型。这要求了解常见的机器学习与深度学习模型，以及它们在准确率、训练速度、推理速度等方面的权衡，并理解如何构建训练和评估这些模型所需的数据。偏差与方差、错误分析和数据工程等机器学习概念，都是帮助我们处理输出不确定系统的核心思维框架，对许多决策仍然至关重要。

要擅长构建与部署 AI 系统，有很多东西需要学习。这是一个具有相当技术深度的领域。但你学到的每一点知识，都会帮助你成为更优秀的 AI 工程师，并构建更令人兴奋的应用。软件工程是这些技能的重要补充。我将在后续文章中介绍它。