LM Studio: 跨平台本地运行开源大模型

LM Studio: 跨平台本地运行开源大模型LM Studio还有一个使用 Multi Model 模式,通过加载多个模型来一起工作,因本地RAM限制这里就不做尝试了。

大家好,欢迎来到IT知识分享网。

LM Studio官网

https://lmstudio.ai/

LM Studio: 跨平台本地运行开源大模型

LM-Studio-001

因为我的MacBook CPU是Intel而不是M系列的,所以我使用Windows台式机进行安装和测试。

模型下载

因为它的模型都来源于 Hugging Face,需要科学上网才能下载模型。

LM Studio: 跨平台本地运行开源大模型

image-

下载几个模型试下:

LM Studio: 跨平台本地运行开源大模型

image-

运行使用

点击AI Chat,然后选择不同的模型,进行chat聊天。

LM Studio: 跨平台本地运行开源大模型

image-

使用过程非常流畅,比我的MacBook本地使用Ollama搭建的,快了很多,几乎没有感受到什么延迟。而且右侧又很多内置的Prompt,也可以按照自己的需求进行调整。

LM Studio: 跨平台本地运行开源大模型

image-

切换到 codellama 模型让它帮我写一个贪吃蛇游戏:

LM Studio: 跨平台本地运行开源大模型

image-

LM Studio: 跨平台本地运行开源大模型

image-

下面是资源的占用情况,CPU和RAM还是比较高的,GPU占用较低:

LM Studio: 跨平台本地运行开源大模型

image-

启动本地服务

采用的是类OpenAI的接口规范,同时提供了各种Examples Code,可以一键copy进行本地快速调用。

LM Studio: 跨平台本地运行开源大模型

image-

LM Studio还有一个使用 Multi Model 模式,通过加载多个模型来一起工作,因本地RAM限制这里就不做尝试了。

总结

LM Studio 初步体验下来非常的不错,它有如下优点:

  • • 可以跨平台进行安装,界面清爽,简单易用
  • • 只需要安装应用程序即可使用,不需要本地安装各种语言环境
  • • 响应速度非常快,使用起来很流畅,并且可以依据电脑配置推荐合适大小的开源模型,这个真的加分(也许是 Windows的配置比MacBook好?)
  • • 模型非常多,几乎可以使用 Hugging Face 中的任何模型,但是文件格式必须为GGUF

但是也有不可忽视的一些缺点:

  • • 在国内需要科学上网才能使用,这个对于部分人来说确实不大友好
  • • 只能下载 Huggging Face Hub 中的模型,如果能够接入国产的模型Hub的话,就可以不用科学上网了
  • • 并没有其他高级功能,如:传入PDF、Markdown、TXT、Video等来搭建知识库的能力,体验下来只有Chat能力,那么免费的ChatGPT 3.5不香么?
  • • 比较适合于初级体验者,能够快速本地体验开源大模型,对于进阶学习者如果只是chat功能,使用python脚本也能快速实现,也无法做一些高阶定制化功能

总的来说,值得关注和使用,简单无脑,还要啥自行车。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/68353.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信