推荐使用 lm studio 或 ollama ,本地安装省钱,只需要 3GB 显存以上的显卡,LLM模型 3B 以上的就能用了,7B以上的效果比较好,安装教程自行百度
https://lmstudio.ai 下载安装后打开右下角的设置 将 Use LM Studio's Hugging Face Proxy 打勾,搜索下载 lmstudio-community/Qwen2.5-3B-Instruct-GGUF ,然后在左上角第二个开发者加载模型,再将 Status 设置成开启即可
https://ollama.com 下载安装后,打开命令行工具 cmd , 输入 ollama pull qwen2.5:3b-instruct 等下载完成后即可
当然其他API站点也可以的
注意:最好不要用R1或其他思考模型,过程很慢
一般API站网都要求限速至少一秒一次,所以一秒只能一款商品
有条件的搞RTX显卡,显存最好6GB以上的,速度贼快,用3090测试0.1秒一款
有些API网站有免费的模型:例如 硅基流动 的 Qwen/Qwen2.5-7B-Instruct 不需要花钱,注册后新建API密钥填到软件就能用
每次使用前点击 【安装/启动模型服务器】按钮 成功启动后,就可以分类了,若安装失败请联系软件提供者
软件自载模式,一键安装后默认使用CPU,速度很慢,一个商品需要一分钟
可自行安装英伟达 nvidia cuda GPU加速,加速后 1~3秒即可,请查看使用说明,下载 并安装
torch-2.1.0+cu118-cp38-cp38-win_amd64.whl
备用地址:https://mirrors.aliyun.com/pytorch-wheels/cu118/torch-2.1.0%2Bcu118-cp38-cp38-win_amd64.whl
torchvision-0.16.0+cu118-cp38-cp38-win_amd64.whl
备用下载:
百度网盘 链接: https://pan.baidu.com/s/1FY2kP1TjIp_A89okkRJRBQ?pwd=cdcq 提取码: cdcq
下载后在软件里点击安装 cuda 按钮选择文件安装即可
8 篇文章
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!