龙年春节期间Sora的推出让大模型又火了一把，作为重要的技术方向，很多同学都希望能够深入掌握大模型的相关技术，经常有人问如何学习大模型技术？有哪些材料可以参考？这里笔者将收藏夹里面的地址整理了一下，并加上了笔者的一些思考，供大家参考。

Google的Transformer模型论文《Attention Is All You Need》发表于2017年，其实已经相当长的时间了，这几年累积下来讲Transformer模型的文档非常多，比较通俗易懂的文章推荐如下：

1) 《超详细图解Self-Attention》，Transformer模型与传统的CNN、RNN、Seq2Seq等神经网络模型最核心的点就是引入了自注意力机制，本篇知乎文章对理解什么是自注意力机制非常有帮助。

扫码查看推荐文章

2) 《The Illustrated Transformer(图解Transformer)》，CSDN一篇文章，是国外一篇讲解Transformer整体架构的博文的翻译版，里面对每个Transformer架构的每个模块都展开通过图形示例等方式进行了讲解，搞懂这些环节基本可以理解Transformer用到的关键技术。

扫码查看推荐文章

3) 《手写AI-逐行手写GPT模型》，这个是Bilibili上的一个培训视频（虽然免费的课程并不完整，但是够用了），讲解了从零开始手写一个GPT的实现，通过代码讲解可以更进一步了解GPT模型的技术原理是如何真正运行起来的，能够真正理解整个过程。

扫码查看推荐视频

这几份材料从细节到整体，从原理到实现，覆盖比较全面，精读之后对GPT模型的原理基础会有一个比较深入的认识。

1) 自注意力机制可以将上下文信息压缩到每个token的向量中，实现带上下文的并行计算，使得大规模参数和数据堆叠成为了可能，而海量参数和数据带来的推理能力涌现是这次大模型技术的爆发点。

2) 目前大部分材料讲解都是Encoder-Decoder架构，也就是论文上讲的架构，而目前我们经常用的大模型一般都是Decoder-Only的架构（除了ChatGLM之外），所以如果想了解Decoder-Only的实现可以参考mingpt等开源代码，只有300行。

扫码查看参考文章

3) 文档都有一定的滞后性，一些新的机制可以对照着看torch的源码或者transformer的源码，很多时候理论研究半天不如看几行代码理解的透彻，对于我们来说没有必要把论文的公式都搞明白。

扫码查看torch源码

扫码查看transformer源码

如果觉得技术原理太枯燥了，简单了解一下也行，并不会影响我们使用大模型，因为即使看懂了代码，大模型还是一个黑盒，哪些场景能够实现，哪些场景不能够实现也需要测试才能得到结论。当然如果我们仅仅从自己的经验中去学习那就太局限了，我们可以听听业界大佬的见解，他们见多识广，有很多思路可以学习。

注解：周鸿祎的两篇观点分享，一篇是2023年7月份，一篇是2023年12月份，周教主虽然言语比较犀利但是接地气，直白易懂。

注解：比较完整的关于ChatGPT的分析，信息量挺大，也很全面

注解：可能是王小川对行业发展的一些观察、经验和思考。这些笔记和真话涵盖了技术发展、应用场景、商业模式、市场动态、未来预测和创业心得。

总结一下，将两篇文章放在一起，一个火山、一个冰川，对照阅读。

大咖们的观点各有千秋，大模型到底是否是奇点的开始可能还需要争论一段时间，我个人的看法是：

Lora是一种高效参数微调(PEFT)方法，也是目前最流行的模型训练微调方法，很好的平衡了效率和质量，这篇文章虽然是英文，但是是科普性的，简单易读，能够比较透彻的理解Lora、QLora等技术原理。

扫码查看推荐文章

我们在使用OpenAI的接口调用大模型的时候，有很多参数，比如temperature、top_p、top_k、repeat_penality等，我们除了不断优化Prompt之外，这些参数也应该仔细加以考虑以更匹配我们的场景。

扫码查看推荐文章

RAG方向建议大家直接看llama.index这个开源社区，有文档和代码，很清晰。

扫码查看推荐文章

Prompt工程相关，是否需要仔细写Prompt？是的，能起决定性作用么？不一定。

扫码查看推荐文章

Transformer 是一种基于自注意力机制的深度学习模型，广泛用于自然语言处理、计算机视觉和音频处理等领域。以下是一些 Transformer 学习笔记：

✅ Transformer 模型由两部分组成：编码器和解码器。编码器将输入序列编码成一个连续的向量，解码器则根据编码器的输出和已经生成的目标序列来生成下一个目标token。

✅ 自注意力机制是 Transformer 模型的核心。它允许模型在处理每个token时，查看序列中的所有其他token，并利用它们的信息来计算注意力权重。这些权重用于加权输入序列中的所有token，生成一个加权的表示，作为下一个token的输入。

✅ Transformer 模型使用了一种名为位置编码的技术，将序列中每个token的位置信息编码为它们的位置向量。这些位置向量被添加到token的嵌入向量中，使模型能够理解序列中token的顺序。

✅ Transformer 模型使用了一种名为多头注意力机制的技术，它将输入序列分成多个头，每个头计算不同的注意力权重。这有助于模型在处理每个token时，从不同的角度获取输入序列的信息，提高模型的表现。

✅ Transformer 模型使用了一种名为前馈神经网络的技术，它将编码器和解码器中的每个层都连接起来。前馈神经网络有助于模型在处理每个token时，更好地学习非线性变换，提高模型的表现。

✅ Transformer 模型的训练过程可以使用多种技术，如学习率衰减、数据增强和正则化等。这些技术有助于模型在训练过程中避免过拟合，提高模型的泛化能力。

Transformer 是一种强大的深度学习模型，具有很多优点，如并行计算能力、良好的表现和泛化能力等。但是，它也有一些缺点，如计算成本高、训练时间长等。在实际应用中，需要根据具体任务和数据集选择合适的模型和训练技术。

两点体会分享：

① 数字世界变化越来越快，必须得卷，也要相信世界真的在变化，可以根据自己的喜好去刷最新的论文，或者去刷开源社区，与外部对齐认知。

② 习惯往往制约了我们拥抱变化的能力，而开放的交流和不保留的分享其实是一种学习、成长的新方式。