LM Studio 本机能运行大模型的工具

LM Studio 本机能运行大模型的工具网站:LM Studio – Discover, download, and run local LLMs一个快速生成本机LM对话的工具,暂时支

大家好,欢迎来到IT知识分享网。

网站:LM Studio – Discover, download, and run local LLMs

一个快速生成本机LM对话的工具,暂时支持苹果和Windows,不需要 N卡,使用CPU计算。一般要12G以上内存。

使用LM Studio,您可以…

– 在笔记本电脑上运行LLM,完全离线 –
– 通过应用内聊天UI或与OpenAI兼容的本地服务器使用模型
– 从HuggingFace 存储库下载任何兼容的模型文件 –
– 在应用程序的主页中发现新的和值得注意的LLM

LM Studio 支持拥Hugging Face上的任何 ggml Llama、MPT 和 StarCoder 模型(Llama 2、Orca、Vicuna、Nous Hermes、WizardCoder、MPT 等)。

最低要求:M1/M2 Mac,或处理器支持AVX2的Windows PC。Linux正在开发中。

多亏了美洲驼.cpp项目才成为可能。

我们正在扩大我们的团队。请参阅我们的职业页面。

https://lmstudio.ai/
LM Studio 本机能运行大模型的工具

LM Studio 本机能运行大模型的工具

是个通用的执行ggml 模型的工具,而且支持生成相关的http 服务。

(1)生成HTTP 服务界面:

LM Studio 本机能运行大模型的工具

(2)直接Chat界面:

LM Studio 本机能运行大模型的工具

HTTP服务和Chat界面不能同时运行。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/68393.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信