资源介绍
视频数量：30个
总时长：2小时2分
课程介绍：
模型测试、验证与问题排查
你辛辛苦苦训练好的大模型终于上线了，但用户反馈却让你一头雾水：明明测试的时候效果还不错，怎么实际用起来就是差点意思？答案很可能藏在一个你可能忽视的环节——评估与验证。别以为只要模型能跑起来就完事了，生成式AI的输出天马行空，传统的准确率、F1分数根本兜不住它。所以今天要聊的这门课，就是专门来解决这个问题的：AIP-C01，Testing, Validation, and Troubleshooting。
先说说为什么评估大模型这件事本身就挺特殊的。传统机器学习任务，你给图片分类标签或者预测销售额，输出结果非对即错，准确率一算清清楚楚。但生成式AI完全不是这回事。你让模型总结一篇文章，它可能生成三种都言之有理的版本，只是表达方式不同。这种开放式的输出，没有唯一正确答案，传统的评估指标根本使不上劲。所以这门课的第一部分，就是带你重新理解评估维度——相关性看它有没有答非所问，事实准确性帮你揪出那些一本正经胡说八道的幻觉内容，一致性检查前后逻辑是否自洽。这些维度组合起来，才能给生成式AI的表现打个靠谱的分数。
Bedrock作为AWS的大模型服务平台，给我们提供了一套开箱即用的评估框架。课程会手把手教你怎么用内置相关性指标来判断模型输出和用户问题的匹配程度，怎么用忠实度指标验证回答有没有基于你提供的上下文而不是自己胡编。更重要的是LLM-as-a-judge这个思路——用大模型来评判大模型的输出质量，这比人肉审核效率高多了。课程里有完整的演示环节，让你亲眼看到这套框架是怎么跑起来的，从打分到问题定位一步步清晰。
光有模型评估还不够，你的系统最终是要交给用户用的。用户真正关心的是什么？是回答准不准，用起来顺不顺手。所以课程第二部分专门讲了用户反馈收集和持续评估的工作流。怎么围绕用户实际使用场景设计评估标准，怎么搭建自动化的质量门禁把这些标准固化到发布流程里，怎么用Step Functions把整个评估流程串成自动化流水线。这些内容对于想把AI应用真正落地的人来说，是非常实在的经验。
说到RAG系统，这两年几乎成了大模型应用的标配。但RAG好不好用，检索环节是关键。你往知识库里塞了一堆文档，用户问了个问题，结果检索回来的内容牛头不对马嘴，模型再强也没用。课程第三部分专门攻克这个痛点：从评估检索质量开始，讲解上下文相关性和上下文覆盖率这两个核心指标怎么用。前者检查检索回来的每个文本块和问题的匹配程度，后者验证检索结果是否覆盖了完整的关键信息。课程还带你实际跑一遍Bedrock Knowledge Base的RAG评估任务，看这些指标怎么落地。至于AI Agent的评估，课程里也给了完整的框架和测试演示。
理论和框架学了一堆，但线上出问题怎么办？课程第四部分开始进入实战环节，专讲问题排查。内容处理是第一个坑——上下文窗口溢出、输入格式不对、中文特殊字符处理失败，这些问题听起来琐碎，但分分钟让你的应用宕机。API集成又是另一个重灾区，调用超时、参数配置错误、版本不兼容，排查起来没有章法可不行。课程教你怎么用CloudWatch的GenAI观测功能做端到端的链路追踪，把问题定位精确到具体是哪个环节出了岔子。Prompt工程的问题也专门拿出来讲——同一个问题换个问法效果天差地别，怎么系统性地测试和优化prompt，怎么建立prompt测试框架，课程里都有具体方法。
RAG系统上线后，检索质量不稳定、结果忽好忽坏是常见问题。课程第五部分把RAG排查单独拎出来讲。向量检索的优化、ANN算法的选择、怎么诊断检索失败的根本原因，这些技术细节都会覆盖到。Prompt也需要维护，不是写完一次就完事了，需要持续观测和迭代。课程还教你怎么用CloudWatch和X-Ray做prompt的可观测性，让你能追踪每次调用时prompt的变化对输出质量的影响。
最后一部分是考试准备，包含三道练习题帮你巩固整门课的核心知识点。对于准备AIP-C01认证的朋友来说，这部分是检验学习效果的绝佳机会。
整门课两个多小时的体量，涵盖了从模型评估、用户反馈、RAG与Agent测试、到线上问题排查的完整链条。不管你现在是在做AI应用开发，还是负责AI项目的质量保障，或者是需要在生产环境里快速定位问题，这门课都能给你补充一些缺失的视角和实操技巧。