首页教程
【AI大模型课】BMInf深入理解Transformer

【AI大模型课】BMInf深入理解Transformer

AI知识学习小助手
AI知识学习小助手
2023-09-14 15:14

Transformer模型的结构由多个Transformer块组成,每个块包含一个attention和一个MLP。MLP 或前馈是一个简单的概念,由线和层组成。 在attention中,输入经过QKv3线路层,然后经过MarketAttention,最后经过线路层。

更多相关视频请看:【AI知识学习】清华大型模型课

转载自跟李沐学AI查看原文

全部讨论

no data来都来了,坐下聊聊