deepseek本地部署

一、ollama部署deepseek

  1. 下载安装ollama

    1. 官网首页下载 https://ollama.com
2. 下载后直接安装，不能配置安装路径
3. 配置用户环境变量
    注意不是系统变量，在用户变量中添加OLLAMA_HOST和OLLAMA_MODELS，配置端口和模型下载地址
        OLLAMA_HOST 0.0.0.0:11434
        OLLAMA_MODELS H:\MODELS

  2. 拉取deepseek模型并启动

    来取R1模型，根据自己电脑的配置情况选择7b或者更高 ，拉取过程可能会很慢，建议科学上网

    ollama run deepseek-r1:7b

  1. ollama除了能直接启动外，还能像docker一样，基于deepseek基础镜像，进行配置，构建新的镜像。

    具体参考B站链接：https://www.bilibili.com/video/BV1NBfSYMEG8/

  2. 使用chatbox连接本地deepseek，可以轻松实现界面化聊天

二、安装docker desktop

windows 安装docker，用于启动ragflow

docker desktop官网直接下载，只需要注意windows系统版本，以及wsl升级为2.0

三、拉取ragflow

文档地址：https://ragflow.io/docs/dev/

RAG增强信息检索和生成模型的简称，能够从大规模的知识库中检索相关信息，并生成高质量反馈。

所以可以通过RAG来构建自己的知识库，这类开源的工具主要有，RAGFlow，AnythingLLM等等。

git 拉取ragflow源码项目

git clone https://github.com/infiniflow/ragflow.git
cd ragflow/docker
git checkout -f v0.16.0

修改配置文件，ragflow/docker下的.env，属性RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim，改成RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0，这两者的区别在于，后者是完整版，包含了embedding模型，不用再通过ollama拉去embedding模型去解析文档。embedding模型主要的作用就是用户上传的文档进行解析。

RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0

启动项目，在项目目录ragflow/docker下执行

docker compose -f docker-compose.yml up -d

如果80等端口被占用，可以修改docker-compose.yml文件，使用本机2100端口映射docker容器中的80端口

2100:80

四、导入对应的知识库

如果需要导出微信聊天记录，可以使用，留痕，https://memotrace.cn/

这里就是具体如何使用RAGFlow了，可以搜索对应的视频，注意上传的知识库文档，需要解析之后才能使用。

五、开放接口

使用frp工具，需要一台云服务器。

frp官网下载，对应版本，修改服务器配置文件frps.toml

bindPort = 7000
vhostHTTPPort = 10080
auth.token = "服务器密码"
webServer.addr = "0.0.0.0"
webServer.port = 7001
webServer.user = "网页端账号"
webServer.password = "网页端密码"

后台启动命令

nohup ./frps -c frps.toml >dev/null 2>&1 &

查看日志

tail -n 100 -f nohup.out

windows电脑即客户端配置，修改客户端配置文件

serverAddr = "服务器IP"
serverPort = 7000
auth.token = "服务器设置的密码"
​
[[proxies]]
name = "ragflow"
type = "tcp"
localIp = "127.0.0.1"
localPort = 2100
remotePort = 7002
​
[[proxies]]
name = "deepseek"
type = "tcp"
localIp = "127.0.0.1"
localPort = 11434
remotePort = 7003

启动脚本

@echo off
frpc -c ./frpc.toml
pause