资源介绍
可重复、快速且灵活的产品实验方法
核心内容
实验的关键要素：探讨了实验设计、执行和分析这三个关键类别，以及实验速率、质量和成本这三个关键领域对提升 A/B 测试实践的重要性。
提高实验吞吐量：分析了有限测试资源带来的挑战，介绍了顺序测试、多变量测试、隔离测试和重叠测试等不同测试策略及其优缺点，还涉及交互效应、提高测试空间的通用指南等内容。
设计更好的实验：强调良好实验设计的重要性，包括定义黄金标准、选择敏感指标、利用指标上限技术、明确实验目标、减少变体数量、通过 CUPED 减少前期样本量以及分享实验最佳实践等。
改进机器学习评估实践：指出机器学习模型评估的挑战，介绍了利用离线评估、多臂老虎机算法、交错法等策略来提高机器学习实验的速率和效果，还探讨了离线 - 在线相关性的挑战。
验证和监控实验：讲述了衡量实验有效性的方法，包括实验前的验证、利用金丝雀测试早期发现问题、通过 A/A 测试进行健康检查、识别溢出效应以及构建实验流程等。
确保可信的见解：分析了见解质量的重要性，介绍了如何减少假阳性和假阴性结果，以及通过元分析、分层随机抽样、协变量调整等方法来提高见解的可信度和质量。
适应性测试策略：解释了适应性测试的概念，详细介绍了顺序测试、多臂老虎机、汤普森抽样、情境老虎机等策略，以及支持这些策略所需的数据基础设施和工具。
衡量长期影响：探讨了衡量产品长期影响的重要性，介绍了长期保留测试、后期分析、持续监控、客户终身价值（CLV）模型预测等策略，以及短期和长期指标之间的关系。
综合考量：通过警示故事强调引入新测试策略需谨慎，讨论了改进实验速率、质量和成本的基石，包括优化策略、流程改进和基础设施增强，还涉及理解公司战略目标、平衡复杂性与可用性、考虑实验平台的稳健性等内容，最终强调实验是数据影响型公司的支柱。
目标读者
适合有在面向用户的产品上运行 A/B 测试经验的人员，包括产品经理、软件工程师、业务分析师、工程经理等，数据科学家也能从中受益，而 A/B 测试新手则需先阅读《Practical A/B Testing》。