Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >开源AIGC学习—文生图模型本地运行

开源AIGC学习—文生图模型本地运行

原创
作者头像
平常心
发布于 2024-03-13 12:41:19
发布于 2024-03-13 12:41:19
650012
代码可运行
举报
文章被收录于专栏:个人总结系列个人总结系列
运行总次数:12
代码可运行

一、模型本地下载

总共涉及3种方式,来源有huggingface、modelscope,个人学习因为笔记本电脑、网络缘故,选择代码自动下载默认路径然后cp到指定路径。

代码语言:python
代码运行次数:2
运行
AI代码解释
复制
1、手动下载
   教程见:https://zhuanlan.zhihu.com/p/475260268
2、git clone方式
   git clone https://huggingface.co/THUDM/chatglm3-6b  /huggingface
虽然也是从huggingface进行git下载,但还是出问题,报Checkout 'https://huggingface.co//huggingface/chatglm3-6b/None' for available files.  
说明本地模型加载有异常,去在线寻找地址不对报错。
3、代码自动下载 手动cp到指定目录
```
   from huggingface_hub import snapshot_download
   repo_id = 'THUDM/CogView2'
   model_dir = snapshot_download(repo_id)
   print(model_dir)

   cp -r model_dir $traget_dir
``` 
   modelscope的也类似

二、文生图模型本地运行

1、本地下载模型

代码语言:python
代码运行次数:8
运行
AI代码解释
复制
pip install modelscope

```
from modelscope import snapshot_download
model_dir = snapshot_download('damo/multi-modal_chinese_stable_diffusion_v1.0')
print(model_dir)
# /xx/.cache/modelscope/hub/damo/multi-modal_chinese_stable_diffusion_v1
 ``` 
N01:~# cp -r   /xx/.cache/modelscope/hub/damo/ modelscope/damo

2、python代码运行

代码语言:python
代码运行次数:2
运行
AI代码解释
复制
pip install torch
pip install opencv-python
pip install opencv-contrib-python
# 依赖安装,当前是 python3 (Python 3.10.12)
```
import torch
import cv2
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

task = Tasks.text_to_image_synthesis
model_id = '/modelscope/damo/multi-modal_chinese_stable_diffusion_v1'
pipe = pipeline(task=task, model=model_id)
output = pipe({'text': '中国山水画'})
cv2.imwrite('/mnt/d/aigc_result/result.png', output['output_imgs'][0])
# 生成图片到指定路径
```

代码运行生成图片效果

中国山水
中国山水
代码语言:python
代码运行次数:0
运行
AI代码解释
复制
output = pipe({'text': '中国美食的一种饼类', 'num_inference_steps': 15, 'guidance_scale': 7.5, 'negative_prompt':'模
糊的'})

output = pipe({'text': '中国美食的一种,叫老婆饼,实际是面做的饼类', 'num_inference_steps': 50, 'guidance_scale': 7.
5, 'negative_prompt':'模糊的'})
老婆饼
老婆饼

num_inference_steps一般来说,推理步骤越多,生成的图像质量越高,但生成结果需要更多的时间。如果你想要更快的结果,你可以使用更少的步骤。num_inference_steps=较小值的去噪步骤,提到的图像质量相对较低,通常使用50次去噪步骤,足以得到一个高质量图像。

guidance_scale一种提高对条件信号的依从性的方法,在扩散模型的情况下它是文本和整体样本质量。调整它可以更好的使用图像质量更好或更具备多样性。值介于7和8.5之间通常是稳定扩散的好选择。默认情况下,管道使用的guidance_scale为7.5。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
开源AIGC学习—AIGC模型异步服务
主要通过python 的fastapi方式,进行文生图、文生视频异步服务封装,详细代码见:
平常心
2024/03/19
3260
开源AIGC学习—文生图模型服务封装
当前算法模型采用Python + Flask 方式进行Rest API方式进行服务封装,对应封装代码说明如下:
平常心
2024/03/14
3520
开源AIGC学习—文生视频模型本地运行
对应解决方式是设置PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
平常心
2024/03/15
1.1K0
使用Diffusers调用civitai中的checkpoint及lora
Diffusers(https://huggingface.co/docs/diffusers/index)是一个先进的预训练扩散模型库,用于生成图像、音频甚至分子的三维结构。它提供了人工智能推理和训练领域易于使用且高度可定制的模块化工具箱。
buzzfrog
2023/08/24
4.6K3
使用 modelscope 在离线环境部署模型服务关键点
在 ModelScope 的 本地启动服务[1] 文档中,介绍了使用 modelscope server 发布模型服务的方法。简单来说,就是执行如下命令:
AlphaHinex
2024/05/20
1.6K0
使用 modelscope 在离线环境部署模型服务关键点
使用Stable Diffusion和Pokedex的描述生成神奇宝贝图片
还记得我们以前使用GAN、Clip、DALL-E生成神奇宝贝的文章吗,现在是时候使用Stable Diffusion了
deephub
2023/02/01
9720
stable-diffusion-webui [Centos]安装记录
基于 https://github.com/AUTOMATIC1111/stable-diffusion-webui
Michael阿明
2023/08/21
1.4K0
stable-diffusion-webui [Centos]安装记录
Stable Diffusion XL Turbo 文生图和图生图实践
本篇文章聊聊,如何快速上手 Stable Diffusion XL Turbo 模型的文生图和图生图实战。
soulteary
2024/01/15
7580
Stable Diffusion XL Turbo 文生图和图生图实践
一款超高分辨率图像生成AI工具-DemoFusion
使用生成性人工智能(GenAI)进行高分辨率图像生成具有巨大潜力,但由于训练所需的巨额资本投入,这一技术越来越集中于少数几家大型公司,并隐藏在付费墙后面。
山行AI
2023/12/13
1.4K0
一款超高分辨率图像生成AI工具-DemoFusion
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现,开源、可离线部署的检索增强生成(RAG)大模型知识库项目。
汀丶人工智能
2024/05/07
1.7K0
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手(检索增强生成(RAG)大模型)
Qwen2大模型微调入门实战-命名实体识别(NER)任务
以Qwen2作为基座大模型,通过指令微调的方式做高精度的命名实体识别(NER),是学习入门LLM微调、建立大模型认知的非常好的任务。
zenRRan
2024/07/04
2.2K0
Qwen2大模型微调入门实战-命名实体识别(NER)任务
AI绘画专栏之 SDXL controlnet API教程(36)
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
疯狂的KK
2023/11/17
1.3K0
AI绘画专栏之 SDXL controlnet  API教程(36)
ChatGPT|字节开源的毫秒文生图模型
SDXL-Lightning是开源文本到图像生成模型,生成图秒出,图片质量也还不错,其huggingface地址:https://huggingface.co/ByteDance/SDXL-Lightning。
用户1904552
2025/02/27
920
ChatGPT|字节开源的毫秒文生图模型
AI绘画专栏stablediffusion重大更新介绍 LCM实现5秒钟出图(51)
我们提出了潜在一致性模型(LCM)来克服缓慢的迭代 潜在扩散模型 (LDM) 的采样过程,以最少的步骤实现快速推理 在任何预训练的 LDM(例如 Stable Diffusion)上。
疯狂的KK
2023/11/30
1.2K0
AI绘画专栏stablediffusion重大更新介绍 LCM实现5秒钟出图(51)
使用Dreambooth LoRA微调SDXL 0.9
本文将介绍如何通过LoRA对Stable Diffusion XL 0.9进行Dreambooth微调。DreamBooth是一种仅使用几张图像(大约3-5张)来个性化文本到图像模型的方法。
deephub
2023/08/30
9220
使用Dreambooth LoRA微调SDXL 0.9
Stable Diffusion XL Turbo 文生图和图生图实践
本篇文章聊聊,如何快速上手 Stable Diffusion XL Turbo 模型的文生图和图生图实战。
soulteary
2024/01/13
1.1K0
Stable Diffusion XL Turbo 文生图和图生图实践
Qwen2大模型微调入门实战-命名实体识别(NER)任务
以Qwen2作为基座大模型,通过指令微调的方式做高精度的命名实体识别(NER),是学习入门LLM微调、建立大模型认知的非常好的任务。
用户9029617
2024/06/20
1.1K0
Qwen2大模型微调入门实战-命名实体识别(NER)任务
Diffusers | 教程
Deconstruct the Stable Diffusion pipeline
iResearch666
2023/09/21
1.5K0
Diffusers | 教程
huggingface 和相关库 - plus studio
Hugging Face是一个专注于自然语言处理(NLP)的开源平台,它旨在让NLP变得更加易用和普及。Hugging Face推出了多个库,例如Transformers,Datasets,Tokenizers和Accelerate,它们分别提供了预训练的模型,大规模的数据集,高效的分词器和分布式训练的工具。Hugging Face还拥有一个活跃的社区,其中有数千名研究人员,开发者和爱好者共同交流和贡献NLP的最新进展。
plus sign
2024/02/28
3000
huggingface 和相关库 - plus studio
【保姆级】基于腾讯云云服务器CVM部署ChatGLM3-6B
本文主要介绍 ChatGLM3-6B 的保姆级部署教程,在使用和我相同配置的腾讯云云服务器(是国内的服务器哦!这个难度,懂得都懂),保证一次成功。
buzzfrog
2023/11/07
2K1
【保姆级】基于腾讯云云服务器CVM部署ChatGLM3-6B
推荐阅读
相关推荐
开源AIGC学习—AIGC模型异步服务
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验