掌握 Transformer：从 BERT 到大语言模型和

Stable Diffusion 的旅程（第二版）英文电子书 探索基于 Transformer 的语言模型，从 BERT 到 GPT，深入研究自然语言处理（NLP）和计算机视觉任务，同时高效应对各类挑战 核心亮点 理解深度学习架构和 Transformer 架构的复杂性 打造解决工业级自然语言处理（NLP）和计算机视觉（CV）问题的方案 探究准备过程中的挑战，如特定问题和语言的数据集转换 内容简介 基于 Transformer 的语言模型（如 BERT、T5、GPT、DALL-E 和 ChatGPT）已主导自然语言处理研究，并成为一种新范式。凭借其精准且快速的微调能力，这些模型在许多具有挑战性的自然语言理解（NLU）问题上，性能超越了传统的基于机器学习的方法。 除了自然语言处理，多模态学习和生成式人工智能这一快速发展的领域近来也取得了令人瞩目的成果。《掌握 Transformer》将帮助你理解并实现多模态解决方案（包括文本到图像）。书中还会讲解基于 Transformer 的计算机视觉解决方案。你将从了解各种 Transformer 模型入手，然后学习如何训练不同的自回归语言模型（如 GPT 和 XLNet）。本书还将带你快速掌握模型性能提升技巧，以及使用 TensorBoard 工具包跟踪模型训练过程。在后续章节中，你将专注于使用视觉 Transformer 解决计算机视觉问题。最后，你将发现如何利用 Transformer 的强大能力对时间序列数据进行建模和预测。 读完这本关于 Transformer 的书籍后，你将理解 Transformer 模型，并能运用它们解决自然语言处理和计算机视觉领域的挑战。 你将学到什么 专注于用 Python 解决从简单到复杂的自然语言处理问题 探索如何用传统自然语言处理方法解决分类 / 回归问题 训练语言模型，并研究如何针对下游任务微调模型 理解如何将 Transformer 用于生成式人工智能和计算机视觉任务 用 Python Transformers 库构建基于 Transformer 的自然语言处理应用 专注于语言生成任务，如任何语言的机器翻译和对话式人工智能 加速 Transformer 模型推理，减少延迟 本书适用人群 本书面向深度学习研究人员、实践从业者以及机器学习 / 自然语言处理研究人员。教育工作者，以及精通编程学科、具备机器学习和人工智能领域知识、希望开发自然语言处理及多模态任务应用的学生，也将从本书的实践方法中受益。读者需掌握 Python（或任何编程语言）和机器学习相关知识，且对计算机科学有基本了解。 目录 从词袋模型到 Transformer 该主题的实践入门 自编码语言模型 自回归语言模型 微调语言模型用于文本分类 微调语言模型用于令牌分类 文本表示 提升模型性能 参数高效微调 自然语言处理中的零样本和少样本学习 自然语言处理的可解释人工智能（XAI） 高效 Transformer 的应用 跨语言语言建模 Transformer 模型的部署