vkhosla 介绍 1-bit Bonsai 8B 模型，内存占用仅1.15GB

ME News 消息，4 月 1 日（UTC+8），近日，作者 vkhosla 在社交媒体上介绍了一个名为 1-bit Bonsai 8B 的 1 比特权重模型。据其介绍，该模型内存占用仅为 1.15 GB，并且其智能密度（intelligence density）据称超过其全精度对应模型的 10 倍以上。文中观点指出，在边缘硬件上，该模型体积缩小了 14 倍，速度提升了 8 倍，能效提高了 5 倍，同时与其他模型相比仍保持竞争力。消息还提到，该模型比谷歌前一天宣布的模型具有更好的压缩性、更快的速度、更小的体积和更高的能效。原文未提供模型的具体性能对比基准、发布方、技术实现细节或完整的评估结果。（来源：InFoQ）