你的位置:开发软件要多少钱 > 软件开发公司 > 软件开发资讯 ##搭建腹地AI助理蓝本这样简便,统统开源、零基础使用(基于ComfyUI Llama3 OpenWebUI搭建会话式AI助理)

软件开发资讯 ##搭建腹地AI助理蓝本这样简便,统统开源、零基础使用(基于ComfyUI Llama3 OpenWebUI搭建会话式AI助理)

发布日期:2024-11-06 07:38    点击次数:106
绪论:本文教你在腹地电脑上使用LLama3+ComfyUI+OpenWebUI搭建一个多模态AI会话助理,简易使用AI生成图象。

Llama3:Meta Llama 3是由Meta开采并开源的一系列新式模子,具有8B和70B两种参数大小(预锻真金不怕火或指示退换)。

Llama 3指示调优模子针对对话/聊天用例进行了微消除优化,在通用基准测试中优于好多可用的开源聊天模子。

图片

Comfy UI:一个开源庞杂、模块化的Stable Diffusion GUI后端。Comfy UI将允许用户基于图形/节点/经过图的界面贪图和奉行高档Stable Diffusion Pipeline经过生成图片。

图片

Open Web UI:一个开源的、可膨胀、功能丰富、用户友好的自托管Web UI,不错统统离线启动。它维持在腹地电脑多样LLM大模子,包括与Ollama和ApenAI兼容的API。

图片

一、Window环境设置

PC设置:Windows 10 专科版,版块22H2;32G RAM ;NVIDIA GeForce CTX1060 6GB;

图片

二、装置Llama LLM环境

下载OllamaSetup地址:https://ollama.com/download

腹地双击装置Ollama环境:OllamaSetup.exe

装置Llama3(phi3装置访佛)

ollama run llama3ollama run phi3装置完后不错测试:which country is the bigest in the world?

图片

三、装置Comfy UI绘图环境

3.1 器具下载

源码开源的地址:https://github.com/comfyanonymous/ComfyUI

Window漠视使用一键装置包:https://github.com/comfyanonymous/ComfyUI/release

评释:一键装置包Windows独处构建应该不错在Nvidia gpu上启动,不需要设置假造环境,径直下载就不错启动:

cd ComfyUI_windows_portableComfyUI_windows_portable>run_nvidia_gpu.bat浏览器绽开:http://127.0.0.1:8188

图片

3.2下载模子checkpoints

模子搁置位置:ComfyUI_windows_portable\ComfyUI\models\checkpoints

图片

ComfyUI也不错和另外的绘图UI软件(比如Stable Diffusion)分享模子,设置步履如下:

#comfyui:# base_path: path/to/comfyui/# checkpoints: models/checkpoints/

图片

3.3装置ComfyUIManager

cd \ComfyUI\custom_nodesgit clone https://github.com/ltdrdata/ComfyUI-Manager.git

装置完成之后重启ComfyUI:ComfyUI_windows_portable>run_nvidia_gpu.bat

图片

四、装置Open WebUI

源码地址:https://github.com/open-webui/open-webui

现在装置神情有两种,底下咱们先容两种神情的装置步履。

4.1神情1-在conda环境中装置

环境需求:python=3.11+nodejs=20.12.2

https://docs.openwebui.com/# 装置环境conda create --name openwebui python=3.11conda activate openwebuiconda install conda-forge::nodejs#克隆代码git clone https://github.com/open-webui/open-we...cd open-webui/#设置OPENAI_API_KEY等Copying required .env fileChange the .env.example to .envBuilding Frontend Using Nodenpm inpm run buildServing Frontend with the Backendcd ./backendpip install -r requirements.txt -Ustart_windows.bat --listen

图片

装置告成之后不错在浏览器中访谒OpenWebUI: http://localhost:8080/

图片

4.2神情2-在docker环境中装置

OpenWebUI不错用如下一键启动敕令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

图片

启动告成之后不错在浏览器中访谒腹地的OpenWebUI: http://localhost:3000/

五、设置Open WebUI

5.1 设置Llama3 模子-Ollama API

图片

5.1 设置Llama3 关连ComfyUI

http://127.0.0.1:8188模子礼聘:helloWorld_v3.safetensors (不错下载我方可爱格调模子)

图片

六、设置Open WebUI

6.1 使用llama3的SD微调模子绘图

在OpenWebUI的建设界面,输入模子名字,此次使用llama3的Stale Diffusion微调模子(impactframes/llama3_ifai_sd_prompt_mkr_q4km)该模子的一语气如下:https://ollama.com/impactframes/llama3_ifai_sd_prompt_mkr_q4km

在OpenWebUI的建设-->模子界面,输入模子称号点击下载按钮,下载过程特地钟摆布,如下图:

图片

在OpenWebUI里边新建一个聊天,模子礼聘'impactframes/llama3_ifai_sd_prompt_mkr_q4km',在输入框中输入:桂林山水画,OpenWebUI就会复返绘图的指示词,然后点击绘图按钮,这个指示词就会调用后端的ComfyUI进行绘图。如下图所示:

图片

点击图象图标,不错看到ComfyUI生图程度情况。

图片

生生效劳如下:

图片

6.2 使用指示词指示神情装置

这种神情不需要使用为绘图单独微调的llama3模子,不错使用任何模子(以下示例中我用了llama3:latest模子),使用指示指示词的功能即可已毕,这样的克己即是不错同期和模子聊天和绘图。

登录网址:https://openwebui.com/p/gaborkukucska/image

图片

登录之后:点击Get按钮->Import to webUI就不错把指示词插件装置到腹地的UI,软件开发公司 如下图所示:

图片

使用步履:在新建聊天中输入所建的指示词指示,举例刚才新建的/image, 如下图,输入指示词就不错径直生成图象。

图片

图片

生生效劳:

图片

七、转头

第51分钟,恩佐-费尔南德斯推射,梅西在禁区前沿碰了一下皮球入网。

上风:

用户友好的界面:该器具提供了一个爽脆直不雅的用户界面,使得用户不错简易上手。

多功能集成:它隐秘地聚拢了说话模子聊天和绘图功能,使得用户粗略以低资本快速考证绘图思法。

凹凸文保握:在聊天界面中绘图时,系统粗略很好地保存对话凹凸文,包括图片和指示词等,这有助于看护连贯性。

当然说话维持:用户不错使用华文进行绘图,简化了绘图经过,幸免了复杂的指示词工程。

不及:

集成深度有限:尽管与comfyui的集成提供了基础功能,但现在还不可自界说责任经过,甩手了已毕更高区别率图像、使用特定模子(如lora)以及充分运用comfyui生态系统的才调。

功能甩手:与市集上其他高档绘图器具比较,如midjourney或dalle3,该器具在绘图才调上可能存在差距。

转头:

两种形状各有其适用场景:第一种形状合适那些专注于绘图、追求一键生成图像的用户;第二种形状则合适在聊天中需要绘图功能,何况但愿与模子进行交互以迭代绘图指示的用户。使用当然说话和华文进行绘图提供了一种新颖且方便的体验。为了取得更高质地的图像,漠视使用一些优质的sdxl模子。诚然该器具在某些方面可能不如市集上的卓绝居品,但它的便利性和易用性仍然为特定用户群体提供了价值。

通过这种神情,咱们保留了原文的主要不雅点,同期以更明晰和客不雅的神情呈现了信息。

app

敲码不易软件开发资讯,接待点赞和转发!

本站仅提供存储工作,所有这个词实质均由用户发布,如发现存害或侵权实质,请点击举报。