书生大模型实战营-进阶关卡-6-MindSearch 快速部署

随笔4个月前发布 难再聚
43 0 0

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

任务:将 MindSearch 部署到 HuggingFace 

教程:https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/MindSearch/readme_github.md 

环境配置

打开codespace主页https://github.com/codespacescodespace主页,选择blank template。

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

新建一个目录用于存放 MindSearch 的相关代码,并把 MindSearch 仓库 clone 下来。在终端中运行下面的命令:

  1. mkdir -p /workspaces/mindsearch

  2. cd /workspaces/mindsearch

  3. git clone https://github.com/InternLM/MindSearch.git

  4. cd MindSearch && git checkout b832275 && cd ..

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

接下来,我们创建一个 conda 环境来安装相关依赖。

  1. # 创建环境

  2. conda create -n mindsearch python=3.10 -y

  3. # 激活环境

  4. conda activate mindsearch

  5. # 安装依赖

  6. pip install -r /workspaces/mindsearch/MindSearch/requirements.txt

Tips:如果遇到 “CondaError: Run ‘conda init’ before ‘conda activate’” , 执行下面的命令

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

  1. source activate

  2. conda activate mindsearch

  3. pip install -r /workspaces/mindsearch/MindSearch/requirements.txt

获取硅基流动 API Key

1:注册硅基流动的账号:  https://account.siliconflow.cn/login 

2:准备 API Key: https://cloud.siliconflow.cn/account/ak ,首先创建新 API 密钥,然后点击密钥进行复制,以备后续使用。

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

启动 MindSearch 

启动后端

由于硅基流动 API 的相关配置已经集成在了 MindSearch 中,所以我们可以直接执行下面的代码来启动 MindSearch 的后端。

  1. export SILICON_API_KEY=第二步中复制的密钥

  2. cd /workspaces/mindsearch/MindSearch

  3. python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

启动前端

在后端启动完成后,我们打开新终端运行如下命令来启动 MindSearch 的前端。

  1. conda activate mindsearch

  2. cd /workspaces/mindsearch/MindSearch

  3. python frontend/mindsearch_gradio.py

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

github会自动提示我们打开一个在公网的前端地址。打开即可

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

让他介绍一下我的csdn博客(虽然它不知道) 

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

部署到 HuggingFace Space 

最后,我们来将 MindSearch 部署到 HuggingFace Space。

我们首先打开 https://huggingface.co/spaces ,并点击 Create new Space,如下图所示。

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

选择如下配置:

书生大模型实战营-进阶关卡-6-MindSearch 快速部署然后,进入 Settings,配置硅基流动的 API Key。如下图所示。

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

选择 New secrets,name 一栏输入 SILICON_API_KEY,value 一栏输入你的 API Key 的内容。

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

回到codespace,我们先新建一个目录,准备提交到 HuggingFace Space 的全部文件。

  1. # 创建新目录

  2. mkdir -p /workspaces/mindsearch/mindsearch_deploy

  3. # 准备复制文件

  4. cd /workspaces/mindsearch

  5. cp -r /workspaces/mindsearch/MindSearch/mindsearch /workspaces/mindsearch/mindsearch_deploy

  6. cp /workspaces/mindsearch/MindSearch/requirements.txt /workspaces/mindsearch/mindsearch_deploy

  7. # 创建 app.py 作为程序入口

  8. touch /workspaces/mindsearch/mindsearch_deploy/app.py

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

在最后,将 /root/mindsearch/mindsearch_deploy 目录下的文件(使用 git)提交到 HuggingFace Space 即可完成部署了。将代码提交到huggingface space的流程如下:

首先创建一个有写权限的token。

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

书生大模型实战营-进阶关卡-6-MindSearch 快速部署书生大模型实战营-进阶关卡-6-MindSearch 快速部署

然后从huggingface把空的代码仓库clone到codespace。

  1. # 切换到新目录

  2. cd /workspaces

  3. # 克隆远程仓库

  4. git clone https://huggingface.co/spaces/<你的名字>/<仓库名称>

  5. # 进入仓库

  6. cd <仓库名称>

  7. # 把token挂到仓库上,让自己有写权限

  8. git remote set-url origin https://<你的名字>:<上面创建的token>@huggingface.co/spaces/<你的名字>/<仓库名称>

现在codespace就是本地仓库,huggingface space是远程仓库,接下来使用方法就和常规的git一样了。

  1. # 把刚才准备的文件都copy进来

  2. cp -r /workspaces/mindsearch/mindsearch_deploy/* .

 书生大模型实战营-进阶关卡-6-MindSearch 快速部署

代码提交到 huggingface space  

  1. git add .

  2. git commit -m "update"

  3. git push

书生大模型实战营-进阶关卡-6-MindSearch 快速部署  huggingface space 会自动启动项目, 回到之前的space , 然后就可以测试。了书生大模型实战营-进阶关卡-6-MindSearch 快速部署

我们也测试一下黑悟空,毕竟这两天很火的3A大作。

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

再搜索一下我自己试试:确实找对了。

书生大模型实战营-进阶关卡-6-MindSearch 快速部署

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...