微软开源bitnet.cpp:不靠GPU本地运行千亿参数AI模型

微软开源bitnet.cpp:不靠GPU本地运行千亿参数AI模型IT 之家 10 月 19 日消息 科技媒体 marktechpost 昨日 10 月 18 日 发布博文 报道称微软公司开源了 bitnet cpp 这是一个能够直接在 CPU 上运行 超高效的 1 bit 大语言模型 LLM 推理框架 用

大家好,欢迎来到IT知识分享网。

IT之家 10 月 19 日消息,科技媒体 marktechpost 昨日(10 月 18 日)发布博文,报道称微软公司开源了 bitnet.cpp这是一个能够直接在 CPU 上运行、超高效的 1-bit 大语言模型(LLM)推理框架。

用户通过 bitnet.cpp 框架,不需要借助 GPU,也能在本地设备上运行具有 1000 亿参数的大语言模型,实现 6.17 倍的速度提升,且能耗可以降低 82.2%。

传统大语言模型通常需要庞大的 GPU 基础设施和大量电力,导致部署和维护成本高昂,而小型企业和个人用户因缺乏先进硬件而难以接触这些技术,而 bitnet.cpp 框架通过降低硬件要求,吸引更多用户以更低的成本使用 AI 技术。

bitnet.cpp 支持 1-bit LLMs 的高效计算,包含优化内核以最大化 CPU 推理性能,且当前支持 ARM 和 x86 CPU,未来计划扩展至 NPU、GPU 和移动设备。

根据初步测试结果,在 ARM CPU 上加速比为 1.37x 至 5.07x,x86 CPU 上为 2.37x 至 6.17x,能耗减少 55.4% 至 82.2%。

微软开源bitnet.cpp:不靠GPU本地运行千亿参数AI模型

微软开源bitnet.cpp:不靠GPU本地运行千亿参数AI模型

bitnet.cpp 的推出,可能重塑 LLMs 的计算范式,减少对硬件依赖,为本地 LLMs(LLLMs)铺平道路。

用户能够在本地运行模型,降低数据发送至外部服务器的需求,增强隐私保护。微软的“1-bit AI Infra”计划也在进一步推动这些模型的工业应用,bitnet.cpp 在这一进程中扮演着重要角色。

IT之家附上参考地址

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/161352.html

(0)
上一篇 2024-12-09 22:26
下一篇 2024-12-09 22:33

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信