优何软件 首页 软件资讯 电脑 查看内容

让DeepSeek-R1在16G内存,无GPU的Windows笔记本上本地运行!

2025-2-12 11:04| 来自: 互联网| 发布者: 资讯小编

16G内存笔记本也能跑ChatGPT❗︎

Ollama+DeepSeek-R1+LeetTools=简化版ChatGPT❗︎手把手教程来了❗︎

在一台普通Windows笔记本上,没有GPU显卡,通过使用Ollama、DeepSeek和LeetTools搭建一个本地的问答以及文章编写平台。本文不再具体介绍上述三个工具、模型的功能,有兴趣的可以从Github上看相应的源码以及ReadMe。前文我们也详细介绍过Ollama与LeetTools的安装教程。

Ollama:https://github.com/ollama/ollama

LeetTools:https://github.com/leettools-dev/leettools

演示

工具环境准备

按照安装Vscode,安装Anaconda3



在Anaconda3中创建一个新的Python环境(python版本选择3.11),例如:命名为leettools。





在Vscode中将Python解释环境选择为在Anaconda3中创建的leettools环境。



从Vscode中拉取Ollama源码以及Leettools源码



打开Ollama的Readme,点击其中windows下载的链接,下载适合Ollama的exe文件



在机器上执行Ollama.exe进行Ollama的安装。执行完成后,退出Vscode,并重新打开Vscode。

本机执行Answer问答

在Terminal中执行:

ollama serve



再新建一个Terminal,其中执行:

ollama pull deepseek-r1:1.5b



继续执行:

ollama pull nomic-embed-text



执行以下几条命令:

set "LEET_HOME=/Users/myhome/leettools"

set EDS_DEFAULT_LLM_BASE_URL=https://api.deepseek.com/v1

set EDS_LLM_API_KEY=sk-mykey

set EDS_DEFAULT_INFERENCE_MODEL=deepseek-chat

set EDS_DEFAULT_EMBEDDING_BASE_URL=http://localhost:11434/v1

set EDS_EMBEDDING_API_KEY=dummy-key

setEDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5b

set EDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-text

set EDS_EMBEDDING_MODEL_DIMENSION=76

注意:需要把第一条命令中的myhome替换成你自己的目录,第三条命令的mykey替换成你自己的DeepSeek API key

通过leet命令来执行,使用answer这个flow进行一个问题的问答。命令为:

leet flow -t answer -q "How does the FineTune process Work?" -k llmbook -l info



产生的最后结果是用md格式输出的(因为没有指定输出格式,就是用了默认格式以及默认风格),输出的首先是R1的think的推理说明部分





下面输出的是问答结果部分



有兴趣的可以试试其它的flow类型,看看源码。


路过

雷人

握手

鲜花

鸡蛋

最新评论