让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

随笔4个月前发布 另类风格
62 0 0

工欲善其事,必先利其器。AI 是未来十年生产力的核心工具,要让 AI 真正转化为生产力,而不仅仅是围观一时的热潮。如果你对 AI 也很感兴趣,欢迎关注,共同探索 AI 的无限可能,与渔夫一起成长!

今天聊聊AI智能体,同时也简单的将 Dify 本地私有化部署,接入 Ollama 部署的本地模型。

AI智能体是什么?

AI智能体是一种具备AI能力、感知、推理、决策和行动能力的计算系统,它能够自主与环境交互,完成特定任务。

能够通过感知环境获取信息,分析并做出决策,然后执行相应的行动,有时还能通过学习不断优化自己的行为,尽可能达到预期结果。

Dify 是什么?

Dify 它是一个开源 LLM 应用开发平台。拥有直观的界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等,让您可以快速从原型开发到生产。

Dify 工作流

开始学习之前,我们一定要很清楚知道什么是工作流?

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

上面这张图,就是一个工作流,里面的每一个框框就是一个小的节点,节点与节点之间的连接就是数据的流向。

(1)Dify官方释义 工作流是通过将复杂的任务分解成较小的步骤(节点)降低系统复杂度,减少了对提示词技术和模型推理能力的依赖,提高了 LLM 应用面向复杂任务的性能,提升了系统的可解释性、稳定性和容错性。

工作流优缺点:

  • 优点:把目标场景的任务分解成多个节点,每个节点完成一个任务,然后通过数据流连接起来,其确保逻辑清晰易懂,提升了结果的准确性。
  • 缺点:对于复杂场景时,配置工作流也是非常耗费大量时间,设计过程相对比较复杂,需要开发者对业务流程和各类工作流节点的熟悉,否则很难设计出好的工作流。

(2)通俗释义 举例:假设我们要为家人准备一顿晚餐,整个过程可以看作一个复杂的任务。为了完成这个任务,我们可以将其分解成多个步骤(节点),并通过每个步骤之间的连接(数据流)来完成整个晚餐的准备工作。

节点和数据流:

确定菜单 → 检查食材 → 去超市购物 → 准备食材 → 烹饪 → 摆盘和上桌 → 清理厨房 → 干净整洁的厨房。

可以看出,工作流就是为了完成某个目标,所拆解的一系列步骤,最后把这些步骤组合起来形成的一种流式结构。

优缺点:

  • 优点:通过将复杂的晚餐准备过程分解为多个步骤,整个流程变得更加清晰易懂,每个步骤都有明确的任务,确保了晚餐的成功准备。
  • 缺点:如果准备的晚餐非常复杂,比如有很多道菜和不同的烹饪方法,那么配置这个工作流可能会非常耗时。设计好每个步骤需要对烹饪流程和食材准备非常熟悉,否则很难完成所有工作。

工作流应用场景

(1)释放生产力

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

(2)商业服务

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

Dify 部署方式

Dify官网提供2种部署方式:Docker compose 和 本地源码启动。

(1)Docker compose 方式

你需要安装 docker ,如果还没不知道如何安装可以参考官网安装文档。

系统要求,看看自己的配置情况:

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

1.1 克隆 dify 代码仓库,小白确保你本地电脑已经安装了 git 命令。

git clone https://github.com/langgenius/dify.git

  • 1
  • 2

1.2 启动 dify

cd dify/docker
cp .env.example .env
docker compose up -d

  • 1
  • 2
  • 3
  • 4

等待镜像下载

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

1.3 部署结果:

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

常见问题:无法拉取镜像,解决方案:

  • 1)挂个全局代理试试
  • 2)更换镜像

如果问题无法解决的,可以进裙交流。

1.4 最后检查是否所有容器都正常运行:

docker compose ps

  • 1
  • 2

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

1.5 更新 Dify

进入 dify 源代码的 docker 目录,按顺序执行以下命令:

cd dify/docker
docker compose down
git pull origin main
docker compose pull
docker compose up -d

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

在浏览器中输入 http://localhost 访问 Dify,点击设置管理员,邮箱密码就可以。

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

然后登录即可了

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

(2)源码启动

可参考官网启动手册:https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/local-source-code。

在 Dify 中接入 Ollama

  1. 下载 Ollama
  2. 访问 https://ollama.ai/download,下载对应系统 Ollama 客户端。
  3. 运行 Ollama 并与 Llava 聊天
ollama run llava # 或 ollama run llama3.1

  • 1
  • 2

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

启动成功后,ollama 在本地 11434 端口启动了一个 API 服务,可通过 http://localhost:11434 访问。

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

其他模型可访问 Ollama Models 了解详情。

4. 在 设置 > 模型供应商 > Ollama 中填入:

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

配置完成后,添加保存,这时它进行调用请求测试。

配置Bash URL地址:http://host.docker.internal:11434

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

5. 创建聊天机器人

这次先简单创建一个聊天机器人,作为这篇文章小案例,后续我会分享更多工作流。

第一步:创建聊天机器人

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

第二步:指定模型

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

第三步:发布运行该聊天机器人

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

今天就简单熟悉到这里,Dify提供私有化部署,对于数据保密非常高的行业是非常友好,而且功能非常丰富。如果你所在行业公司有需要,建议在生产上使用k8s来部署Dify,它也依赖很多中间件,也可以外接存储等。

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

二、AI大模型视频教程

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

三、AI大模型各大学习书籍

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

四、AI大模型各大场景实战案例

让AI转化为生产力,Dify 私有化部署 + 接入Ollama部署本地模型。

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

本文转自 https://blog.csdn.net/python12345_/article/details/141382850?spm=1001.2014.3001.5501,如有侵权,请联系删除。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...