16G内存笔记本也能跑ChatGPT❗︎ Ollama+DeepSeek-R1+LeetTools=简化版ChatGPT❗︎手把手教程来了❗︎ 在一台普通Windows笔记本上,没有GPU显卡,通过使用Ollama、DeepSeek和LeetTools搭建一个本地的问答以及文章编写平台。本文不再具体介绍上述三个工具、模型的功能,有兴趣的可以从Github上看相应的源码以及ReadMe。前文我们也详细介绍过Ollama与LeetTools的安装教程。 Ollama:https://github.com/ollama/ollama LeetTools:https://github.com/leettools-dev/leettools 演示 工具环境准备 按照安装Vscode,安装Anaconda3 在Anaconda3中创建一个新的Python环境(python版本选择3.11),例如:命名为leettools。 在Vscode中将Python解释环境选择为在Anaconda3中创建的leettools环境。 从Vscode中拉取Ollama源码以及Leettools源码 打开Ollama的Readme,点击其中windows下载的链接,下载适合Ollama的exe文件 在机器上执行Ollama.exe进行Ollama的安装。执行完成后,退出Vscode,并重新打开Vscode。 本机执行Answer问答 在Terminal中执行: ollama serve 再新建一个Terminal,其中执行: ollama pull deepseek-r1:1.5b 继续执行: ollama pull nomic-embed-text 执行以下几条命令: set "LEET_HOME=/Users/myhome/leettools" set EDS_DEFAULT_LLM_BASE_URL=https://api.deepseek.com/v1 set EDS_LLM_API_KEY=sk-mykey set EDS_DEFAULT_INFERENCE_MODEL=deepseek-chat set EDS_DEFAULT_EMBEDDING_BASE_URL=http://localhost:11434/v1 set EDS_EMBEDDING_API_KEY=dummy-key setEDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5b set EDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-text set EDS_EMBEDDING_MODEL_DIMENSION=76 注意:需要把第一条命令中的myhome替换成你自己的目录,第三条命令的mykey替换成你自己的DeepSeek API key 通过leet命令来执行,使用answer这个flow进行一个问题的问答。命令为: leet flow -t answer -q "How does the FineTune process Work?" -k llmbook -l info 产生的最后结果是用md格式输出的(因为没有指定输出格式,就是用了默认格式以及默认风格),输出的首先是R1的think的推理说明部分 下面输出的是问答结果部分 有兴趣的可以试试其它的flow类型,看看源码。 |