大数据文摘出品 微软的BitNet b1.58 2B4T 的技术报告悄然上线。 其实在开源社区里，关于极致低比特量化的大模型早就有各种传闻，这次微软研究院终于亮出底牌。 ——全球首个原生1-bit、规模高达20亿参数的开源大模型。 图注：这张图表明，在同等内存占用下 ...

BitNet a4.8引入4位激活，提高大模型效率。 近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值，支持3 bit KV cache，效率再突破。 量化到1 bit的LLM还能再突破？ 这次，他们对激活值下手了！ 近日，BitNet系列的原班人马推出了新一 ...

通过量化可以减少大型语言模型的大小，但是量化是不准确的，因为它在过程中丢失了信息。通常较大的llm可以在精度损失很小的情况下量化到较低的精度，而较小的llm则很难精确量化。 什么时候使用一个小的LLM比量化一个大的LLM更好? 在本文中，我们将通过 ...