大型语言模型

组查询注意力（grouped query attention）是大型语言模型中的一种多查询注意力力方法，它的目标是在保持 mqa 速度的同时实现 mha 的质量。grouped query attention 将查询分组，每个组内的查询共享

训练大型语言模型(llm)是一项计算密集型的任务，即使是那些“只有”70亿个参数的模型也是如此。这种级别的训练需要的资源超出了大多数个人爱好者的能力范围。为了弥补这一差距，出现了低秩适应(lora)等参数高效方法，使得在消费级gpu上可以对