离线大模型系列 1: 怎么本地部署离线大模型应用 LM Studio?

siliconplayers

2024年6月10日

1. 部署步骤

下载模型和安装包

[lock]

  1.  下载以下安装包
    1. []链接:https://pan.baidu.com/s/1azZIQELCNyoI-mH71aoevw 提取码:bzyy
  2. 下载合适的大模型
    1. 链接:https://pan.baidu.com/s/16AlGqv7CIEPw5lJuKsnrew 提取码:bzyy
  3. 根据硬件配置和个人偏好等调整参数

[/lock]

2. 效果测试

3. 编程

4. 博弈论

 

5. 中英翻译

 

6. 效果对比

  • 和ChatGPT3.5简单测试对比后发现, 回答质量不落下风, 在中文内容方面甚至更有优势.
  • 生成速度等各方面细节也非常不错

7. 总结

OpenAI的ChatGPT 4.0 无疑是目前最简先进的聊天AI, 但是有很多缺点:

  • 需要付费, 比较贵, 而且国内用户付费比较麻烦.
  • 因为不可说的原因, 而且存在网络不稳定, 更换IP会导致账号被封.

所以在本地机器上部署自己的大模型, 具有其自己的优势:

  • 完全离线可控, 不需要联网.
  • 效果和体验良好

 

 

 

 

 

 

发表评论