Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >云服务器部署DeepSeek Janus Pro生成图片实战

云服务器部署DeepSeek Janus Pro生成图片实战

原创
作者头像
code4it
修改于 2025-02-26 10:25:16
修改于 2025-02-26 10:25:16
18910
代码可运行
举报
文章被收录于专栏:码匠的流水账码匠的流水账
运行总次数:0
代码可运行

本文主要研究一下如何在腾讯云HAI-GPU服务器上部署DeepSeek Janus Pro来进行文本生成图片

步骤

选择带GPU的服务器

deepseek2025试用一下带GPU的服务器

下载Janus

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
git clone https://github.com/deepseek-ai/Janus.git

安装依赖

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd Janus
pip install -e .

安装gradio

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install gradio

安装torch

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip uninstall torch torchvision torchaudio -y
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

运行示例

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python demo/app_januspro.py --device cuda

输出示例如下

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Python version is above 3.10, patching the collections module.
/root/miniforge3/lib/python3.10/site-packages/transformers/models/auto/image_processing_auto.py:594: FutureWarning: The image_processor_class argument is deprecated and will be removed in v4.42. Please use `slow_image_processor_class`, or `fast_image_processor_class` instead
  warnings.warn(
pytorch_model-00001-of-00002.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████| 9.99G/9.99G [09:34<00:00, 11.9MB/s]
pytorch_model-00002-of-00002.bin: 100%|███████████████████████████████████████████████████████████████████████████████████████████| 4.85G/4.85G [06:46<00:00, 11.9MB/s]
Downloading shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [16:21<00:00, 490.70s/it]
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:04<00:00,  2.47s/it]
preprocessor_config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 346/346 [00:00<00:00, 3.40MB/s]
Using a slow image processor as `use_fast` is unset and a slow processor was saved with this model. `use_fast=True` will be the default behavior in v4.48, even if the model was saved with a slow processor. This will result in minor differences in outputs. You'll still be able to use a slow processor with `use_fast=False`.
tokenizer_config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 285/285 [00:00<00:00, 2.94MB/s]
tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.72M/4.72M [00:00<00:00, 18.1MB/s]
special_tokens_map.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 344/344 [00:00<00:00, 2.93MB/s]
You are using the default legacy behaviour of the <class 'transformers.models.llama.tokenization_llama_fast.LlamaTokenizerFast'>. This is expected, and simply means that the `legacy` (previous) behavior will be used so nothing changes for you. If you want to use the new behaviour, set `legacy=False`. This should only be set if you understand what it means, and thoroughly read the reason why this was added as explained in https://github.com/huggingface/transformers/pull/24565 - if you loaded a llama tokenizer from a GGUF file you can ignore this message.
processor_config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 210/210 [00:00<00:00, 2.00MB/s]
Some kwargs in processor config are unused and will not have any effect: ignore_id, add_special_token, num_image_tokens, mask_prompt, sft_format, image_tag. 
* Running on local URL:  http://127.0.0.1:7860
* Running on public URL: https://xxxxx.gradio.live

This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from the terminal in the working directory to deploy to Hugging Face Spaces (https://huggingface.co/spaces)

可以访问这个public URL

使用示例

大概需要等120s左右可以生成,app.py使用的模型deepseek-ai/Janus-1.3B

小结

自己部署实际还是挺多麻烦的(最开始是在mac上跑,遇到CUDA_HOME问题,后来是找了cpu版本的,遇到没有GPU的问题,最后用了一个带GPU的服务器才跑成功),会遇到各种依赖问题,还有GPU等配置问题,另外就是网络访问问题,所以实际折腾下来就是,如果没有其他特殊需求,还是乖乖用云服务的api吧。

doc

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
1 条评论
热度
最新
已关注大佬,是否可以 互粉,和给我这开源项目 https://github.com/youzeliang/rdb 给一个star
已关注大佬,是否可以 互粉,和给我这开源项目 https://github.com/youzeliang/rdb 给一个star
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
DeepSeek 大模型基本认知(V3、R1、Janus、VL2 简单介绍以及本地部署)
“以开源精神和长期主义追求普惠 AGI” 是 DeepSeek 一直以来的坚定信念
山河已无恙
2025/02/25
1.3K0
DeepSeek 大模型基本认知(V3、R1、Janus、VL2 简单介绍以及本地部署)
【多模态大模型实战】 搭建DeepSeek Janus-Pro 7B 多模态模型,以及推理微调,推理后的模型融合
Janus-Pro是DeepSeek最新开源的多模态模型,是一种新颖的自回归框架,统一了多模态理解和生成。通过将视觉编码解耦为独立的路径,同时仍然使用单一的、统一的变压器架构进行处理,该框架解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突,还增强了框架的灵活性。Janus-Pro 超过了以前的统一模型,并且匹配或超过了特定任务模型的性能。
AI浩
2025/02/08
2.8K1
【多模态大模型实战】 搭建DeepSeek Janus-Pro 7B 多模态模型,以及推理微调,推理后的模型融合
连招来了,DeepSeek发布图像视频大模型Janus-Pro-7B,硬刚OpenAI DALL-E 3
DeepSeek前脚刚发布R1模型,又赶在大年三十发布了最新的多模态大模型Janus-Pro-7B,支持理解生成图片视频,这可能又是一个爆炸性的产品,要知道R1已经在海内外火的一塌糊涂,让英伟达股票大跌10%以上,连ChatGPT都回应:排名变化也许是暂时的。
派大星的数据屋
2025/02/05
3780
连招来了,DeepSeek发布图像视频大模型Janus-Pro-7B,硬刚OpenAI DALL-E 3
完整解读:从DeepSeek Janus到Janus-Pro!
Take Home Message: Janus 是一个简单、统一且可扩展的多模态理解与生成模型,其将多模态理解与生成的视觉编码进行解耦,缓解了两个任务潜在存在的冲突。可在未来通过拓展,纳入更多的输入模态。Janus-Pro 在此基础上,优化训练策略(包括增加训练步数、调整数据配比等)、增加数据(包括使用合成数据等)、扩大模型规模(扩大到 70 亿参数),使得模型多模态理解和文本到图像指令遵循能力方面取得了进步。
Datawhale
2025/02/05
1.5K0
完整解读:从DeepSeek Janus到Janus-Pro!
如何使用vLLM部署DeepSeek V2 Lite模型
最近在进行一些私有化部署大模型,很多企业会考虑数据隐私问题。因此常常会在企业内部部署自主部署大语言模型。常见的能够提供大语言模型的部署工具有,Ollama、vLLM、Xinference、SGLang和LM Studio。Ollama和LM Studio都是只支持GGUF类型量化的大语言模型,vLLM、Xinference和SGlang是支持pytorch或者说transformer类型的大模型,这些类型的模型通常在HuggingFace上都能找到。一般我们使用Ollama和LM Studio在桌面显卡领域部署,也就是个人电脑上部署使用。而在服务器领域,我们通常使用后三者。本篇我们主要关注于vLLM如何部署和量化DeepSeek大语言模型,机器环境是4卡Nvidia 2080Ti,大约48G显存。
AgenticAI
2025/03/18
3920
如何使用vLLM部署DeepSeek V2 Lite模型
幻方发布全球最强MOE大模型! DeepSeek-V2
仓库和技术报告地址:https://github.com/deepseek-ai/DeepSeek-V2 来自:包包算法笔记 EMNLP2024投稿群建立!
zenRRan
2025/02/03
3020
幻方发布全球最强MOE大模型! DeepSeek-V2
八十行代码实现开源的 Midjourney、Stable Diffusion “咒语”作图工具
本篇文章聊聊如何通过 Docker 和八十行左右的 Python 代码,实现一款类似 Midjourney 官方图片解析功能 Describe 的 Prompt 工具。
soulteary
2023/04/05
1.8K0
开启中文智能之旅:探秘超乎想象的 Llama2-Chinese 大模型世界
本仓库中的代码示例主要是基于Hugging Face版本参数进行调用,我们提供了脚本将Meta官网发布的模型参数转换为Hugging Face支持的格式,可以直接通过transformers库进行加载:参数格式转化
汀丶人工智能
2023/10/11
2.9K0
开启中文智能之旅:探秘超乎想象的 Llama2-Chinese 大模型世界
使用 Docker 快速上手官方版 LLaMA2 开源大模型
本篇文章,我们聊聊如何使用 Docker 容器快速上手 Meta AI 出品的 LLaMA2 开源大模型。
soulteary
2023/07/21
1.6K0
使用 Docker 快速上手官方版 LLaMA2 开源大模型
本篇文章,我们聊聊如何使用 Docker 容器快速上手 Meta AI 出品的 LLaMA2 开源大模型。
soulteary
2023/09/04
6890
使用 Docker 快速上手官方版 LLaMA2 开源大模型
深度探索 DeepSeek 微调:LoRA 与全参数微调实战指南
DeepSeek 作为强大的大模型,提供了优质的基础能力,但在某些特定任务上,直接使用预训练模型可能无法满足需求。本篇文章将介绍 LoRA(Low-Rank Adaptation)、全参数微调 等微调策略,并提供详细的代码示例,帮助开发者高效定制 DeepSeek 以适应特定任务。
Swift社区
2025/02/07
6.4K0
深度探索 DeepSeek 微调:LoRA 与全参数微调实战指南
深度探索 DeepSeek 微调:LoRA 与全参数微调实战指南
DeepSeek 作为强大的大模型,提供了优质的基础能力,但在某些特定任务上,直接使用预训练模型可能无法满足需求。本篇文章将介绍 LoRA(Low-Rank Adaptation)、全参数微调 等微调策略,并提供详细的代码示例,帮助开发者高效定制 DeepSeek 以适应特定任务。
网罗开发
2025/02/18
9360
深度探索 DeepSeek 微调:LoRA 与全参数微调实战指南
部署大模型不再难:DeepSeek + 腾讯云 HAI 实战教程
如果你正准备在云上部署像 DeepSeek 这样的开源大模型,但又不想从零折腾容器、模型加速和 API 服务,腾讯云 HAI 平台就能帮你把这些流程一步步跑通。本文将带你体验用 HAI 平台快速部署 DeepSeek 模型,封装 API 并提供在线推理的完整流程,还附上了可运行的 Demo 和部署小技巧,帮助你避坑。
Swift社区
2025/04/09
2210
部署大模型不再难:DeepSeek + 腾讯云 HAI 实战教程
使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune
这篇文章中,我们来聊聊如何使用两张显卡来进行 LLaMA 65B 大模型的微调工作,以及如何在一张普通的 4090 家用显卡上,只花几个小时,就能够完成 7B 模型的微调。
soulteary
2023/03/25
5K1
使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune
一款可零代码微调(Finetune)大模型的开源框架——Axolotl
Axolotl[1] 是一个旨在简化各种AI模型的微调过程的工具,支持多种配置和架构。
山行AI
2024/01/12
3.9K0
一款可零代码微调(Finetune)大模型的开源框架——Axolotl
本地化部署DeepSeek-R1蒸馏大模型:基于飞桨PaddleNLP 3.0的实战指南
在大模型时代的浪潮中,开源框架与推理优化的深度融合,正推动人工智能从“可用”走向“高效可部署”。飞桨(PaddlePaddle)作为国内领先的自主深度学习平台,在3.0版本中重构了模型开发与部署链路,面向大模型时代提供了更智能的编译调度、更高效的资源利用与更统一的训推体验。
鲲志说
2025/04/03
2570
本地化部署DeepSeek-R1蒸馏大模型:基于飞桨PaddleNLP 3.0的实战指南
本地化部署DeepSeek-R1蒸馏大模型:基于飞桨PaddleNLP 3.0的实战指南
在大模型时代的浪潮中,开源框架与推理优化的深度融合,正推动人工智能从“可用”走向“高效可部署”。飞桨(PaddlePaddle)作为国内领先的自主深度学习平台,在3.0版本中重构了模型开发与部署链路,面向大模型时代提供了更智能的编译调度、更高效的资源利用与更统一的训推体验。
鲲志说
2025/04/07
1460
本地化部署DeepSeek-R1蒸馏大模型:基于飞桨PaddleNLP 3.0的实战指南
[AI学习笔记]DeepSeek模型编译技术解析:推理加速方案与代码部署实战
大规模语言模型(LLM)已经成为自然语言处理领域的核心技术。DeepSeek模型作为一款先进的预训练语言模型,广泛应用于文本生成、问答系统、机器翻译等领域。然而,随着模型规模的不断扩大,推理阶段的计算复杂度和资源消耗问题日益突出,成为限制模型实际应用的主要瓶颈。
二一年冬末
2025/03/29
1900
[AI学习笔记]DeepSeek模型编译技术解析:推理加速方案与代码部署实战
在Amazon Bedrock上部署DeepSeek-R1模型
在 Amazon Bedrock 部署 DeepSeek-R1 模型,解锁强大 AI 应用!本文详解如何将 Hugging Face 的 DeepSeek-R1 Distill Llama 模型导入 Bedrock,利用 AWS S3 存储,并通过 Bedrock API 调用。更有自动缩放、性能监控、API 安全等优化技巧,助力高效、安全地运行 LLM。
云云众生s
2025/03/16
2890
使用 Docker 快速上手中文版 LLaMA2 开源大模型
本篇文章,我们聊聊如何使用 Docker 容器快速上手朋友团队出品的中文版 LLaMA2 开源大模型,国内第一个真正开源,可以运行、下载、私有部署,并且支持商业使用。
soulteary
2023/07/21
2K3
推荐阅读
相关推荐
DeepSeek 大模型基本认知(V3、R1、Janus、VL2 简单介绍以及本地部署)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验