karpathy

大神karpathy已经不满足于用c语言造llama了！
他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT-2开始。
挑战成功本身并不意外，但是只花费20美元、90分钟完成训练，Loss和评测还超越原版，就！有！点！过！分！了！

能打得过gpt-4的开源模型出现了！
大模型竞技场最新战报：
1040亿参数开源模型Command R+攀升至第6位，与GPT-4-0314打成平手，超过了GPT-4-0613。
图片
这也是第一个在大模型竞技场上击败GPT-4的开放权重模