「深度实战」ERNIE-4.5模型系列全解析：从架构创新到多场景性能测评

python -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/

python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

python -m pip install fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-86_89/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

# 更新包列表
apt-get update

# 安装 libgomp1（包含 libgomp.so.1）
apt-get install -y libgomp1

# 查看当前主机名
hostname=$(hostname)

# 将主机名添加到 /etc/hosts
echo "127.0.0.1 $hostname" >> /etc/hosts

import requests
import time
import json

# 模型API配置
API_URL = "http://0.0.0.0:8180/v1/chat/completions"  # 根据实际情况调整路径
MODEL_NAME = "ernie-4.5-0.3b-paddle"  # 模型名称，可从配置文件或API获取

# 用户输入
prompt = "下雨了出门需要带什么" 

# 准备请求数据
request_data = {
    "model": MODEL_NAME,
    "messages": [
        {"role": "user", "content": prompt}
    ],
    "temperature": 0.7,  # 控制生成的随机性，0.0表示确定性，1.0表示最大随机性
    "max_tokens": 512    # 最大生成长度
}

# 记录开始时间
start_time = time.time()

# 发送请求
try:
    response = requests.post(
        API_URL,
        headers={"Content-Type": "application/json"},
        data=json.dumps(request_data)
    )
    response.raise_for_status()  # 检查请求是否成功
    response_data = response.json()
    
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
    if response.status_code:
        print(f"状态码: {response.status_code}")
        print(f"响应内容: {response.text}")
    exit(1)

# 记录结束时间并计算响应时间
end_time = time.time()
response_time = end_time - start_time

# 提取生成的文本
try:
    generated_text = response_data["choices"][0]["message"]["content"]
    prompt_tokens = response_data["usage"]["prompt_tokens"]
    completion_tokens = response_data["usage"]["completion_tokens"]
    total_tokens = response_data["usage"]["total_tokens"]
except (KeyError, IndexError) as e:
    print(f"解析响应失败: {e}")
    print(f"响应内容: {response_data}")
    exit(1)

# 输出结果和统计信息
print(f"使用模型: {MODEL_NAME}")
print("\n===== 生成结果 =====")
print(generated_text)

print("\n===== 性能统计 =====")
print(f"响应时间: {response_time:.2f} 秒")
print(f"提示Token数量: {prompt_tokens}")
print(f"生成Token数量: {completion_tokens}")
print(f"总Token数量: {total_tokens}")
print(f"Token生成速度: {completion_tokens/response_time:.2f} tokens/秒")

import time
from openai import OpenAI

# 初始化OpenAI客户端
client = OpenAI(
    api_key='YOUR_API_KEY',
    base_url="http://0.0.0.0:8000/v1"
)

# 获取可用模型
model_name = client.models.list().data[0].id

# 获取用户输入
user_input =  ""

# 记录开始时间
start_time = time.time()

# 发送请求
response = client.chat.completions.create(
    model=model_name,
    messages=[{"role": "user", "content": user_input}],
    temperature = 1,
)

# 计算响应时间
response_time = time.time() - start_time

# 输出结果和统计信息
print("\n===== 生成结果 =====")
print(response.choices[0].message.content)

print("\n===== 性能统计 =====")
print(f"响应时间: {response_time:.2f} 秒")
print(f"提示Token数量: {response.usage.prompt_tokens}")
print(f"生成Token数量: {response.usage.completion_tokens}")
print(f"总Token数量: {response.usage.total_tokens}")
print(f"Token生成速度: {response.usage.completion_tokens/response_time:.2f} tokens/秒")

  python -m fastdeploy.entrypoints.openai.api_server \
       --model baidu/ERNIE-4.5-0.3B-Paddle \
       --port 8180 \
       --metrics-port 8181 \
       --engine-worker-queue-port 8182 \
       --max-model-len 32768 \
       --max-num-seqs 32

vllm serve  /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --port 8000

python -m fastdeploy.entrypoints.openai.api_server \
       --model baidu/ERNIE-4.5-21B-A3B-Paddle \
       --port 8180 \
       --metrics-port 8181 \
       --engine-worker-queue-port 8182 \
       --max-model-len 32768 \
       --max-num-seqs 32

 vllm serve  /model/HuggingFace/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --port 8000 -tp 4 --max-model-len 65168

import requests
import time
import json
import base64
import os

# ==================== 用户配置区域 ====================
API_URL = "http://localhost:8180/v1/chat/completions"  # API地址
MODEL_NAME = "baidu/ERNIE-4.5-VL-28B-A3B-Paddle"     # 模型名称

# 图片路径配置（修改为你的图片路径）
IMAGE1_PATH = "./image/图片中太阳在东边.png"  # 第一张图片路径（必填）
IMAGE2_PATH = ""  # 第二张图片路径（选填，留空则只处理第一张，例如：IMAGE2_PATH = ""）

# 提示词配置（留空则根据图片数量自动生成）
USER_PROMPT = "判断 “图片中太阳在东边” 是否正确"  

# 模型参数配置
TEMPERATURE = 0.7       # 生成温度（0.0-1.0）
MAX_TOKENS = 1024       # 最大生成长度
ENABLE_THINKING = True  # 是否启用思考过程
# ====================================================

def encode_image_to_base64(image_path):
    """将本地图片编码为Base64格式"""
    if not image_path:
        return None
        
    if not os.path.exists(image_path):
        raise FileNotFoundError(f"图片文件不存在: {image_path}")
    
    with open(image_path, "rb") as image_file:
        encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
    return encoded_string

def main():
    # 初始化提示词（避免未赋值引用）
    user_prompt = USER_PROMPT  # 先用全局配置初始化
    image_contents = []
    
    try:
        # 添加第一张图片
        image1_base64 = encode_image_to_base64(IMAGE1_PATH)
        image_contents.append({"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image1_base64}"}})
        
        # 检查是否有第二张图片
        has_second_image = False
        if IMAGE2_PATH and os.path.exists(IMAGE2_PATH):
            has_second_image = True
            # 添加第二张图片
            image2_base64 = encode_image_to_base64(IMAGE2_PATH)
            image_contents.append({"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image2_base64}"}})
        
        # 自动生成提示词（如果用户未填写）
        if not user_prompt.strip():
            if has_second_image:
                user_prompt = "对比分析这两张图片的异同点"
            else:
                user_prompt = "详细描述这张图片的内容"
        
        # 添加用户提示词到请求内容
        image_contents.append({"type": "text", "text": user_prompt})
                
    except Exception as e:
        print(f"图片处理错误: {e}")
        return
    
    # 准备请求数据
    request_data = {
        "model": MODEL_NAME,
        "messages": [
            {
                "role": "user",
                "content": image_contents
            }
        ],
        "temperature": TEMPERATURE,
        "max_tokens": MAX_TOKENS,
        "metadata": {"enable_thinking": ENABLE_THINKING}
    }
    
    # 记录开始时间
    start_time = time.time()
    
    # 发送请求
    try:
        response = requests.post(
            API_URL,
            headers={"Content-Type": "application/json"},
            data=json.dumps(request_data)
        )
        response.raise_for_status()  # 检查请求是否成功
        response_data = response.json()
        
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        if 'response' in locals() and response.status_code:
            print(f"状态码: {response.status_code}")
            print(f"响应内容: {response.text}")
        return
    
    # 记录结束时间并计算响应时间
    end_time = time.time()
    response_time = end_time - start_time
    
    # 提取生成的文本
    try:
        generated_text = response_data["choices"][0]["message"]["content"]
        prompt_tokens = response_data["usage"]["prompt_tokens"]
        completion_tokens = response_data["usage"]["completion_tokens"]
        total_tokens = response_data["usage"]["total_tokens"]
    except (KeyError, IndexError) as e:
        print(f"解析响应失败: {e}")
        print(f"响应内容: {response_data}")
        return
    
    # 输出结果和统计信息
    print(f"使用模型: {MODEL_NAME}")
    print("\n===== 生成结果 =====")
    print(generated_text)
    
    print("\n===== 性能统计 =====")
    print(f"响应时间: {response_time:.2f} 秒")
    print(f"提示Token数量: {prompt_tokens}")
    print(f"生成Token数量: {completion_tokens}")
    print(f"总Token数量: {total_tokens}")
    print(f"Token生成速度: {completion_tokens/response_time:.2f} tokens/秒")

if __name__ == "__main__":
    main()

from openai import OpenAI
import base64
import time
import os

# ==================== 用户配置区域 ====================
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
model_name = "/model/ModelScope/Qwen/Qwen2.5-VL-32B-Instruct"

# 图片路径配置（修改为你的图片路径）
IMAGE1_PATH = "./image/是否为艾菲尔.jpeg"  # 第一张图片路径（必填）
IMAGE2_PATH = ""   # 第二张图片路径（选填，留空则只处理第一张）

# 自定义提示词（留空则根据图片数量自动生成）
USER_PROMPT = " 图片中的艾菲尔铁塔拍摄于白天， 是否正确？"

# 模型参数配置
TEMPERATURE = 0.7       # 生成温度（0.0-1.0）
MAX_TOKENS = 2048       # 最大生成长度
# ====================================================

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

def encode_image(image_path):
    """将图片编码为Base64格式"""
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

def main():
    # 准备图片内容
    content = []
    
    # 添加第一张图片
    content.append({"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{encode_image(IMAGE1_PATH)}"}})
    
    # 如果有第二张图片，添加第二张
    has_two_images = bool(IMAGE2_PATH and os.path.exists(IMAGE2_PATH))
    if has_two_images:
        content.append({"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{encode_image(IMAGE2_PATH)}"}})
    
    # 自动生成提示词（如果用户未指定）
    user_prompt = USER_PROMPT
    if not user_prompt:
        if has_two_images:
            user_prompt = "对比分析这两张图片的异同点"
        else:
            user_prompt = "详细描述这张图片的内容"
    
    # 添加文本提示
    content.append({"type": "text", "text": user_prompt})
    
    # 记录开始时间
    start_time = time.time()
    
    # 发送请求
    response = client.chat.completions.create(
        model=model_name,
        messages=[{
            "role": "user",
            "content": content
        }],
        temperature=TEMPERATURE,
        max_tokens=MAX_TOKENS
    )
    
    # 记录结束时间并计算响应时间
    end_time = time.time()
    response_time = end_time - start_time
    
    # 提取结果
    generated_text = response.choices[0].message.content
    prompt_tokens = response.usage.prompt_tokens
    completion_tokens = response.usage.completion_tokens
    total_tokens = response.usage.total_tokens
    
    # 输出结果
    print(f"使用模型: {model_name}")
    print("\n===== 生成结果 =====")
    print(generated_text)
    
    print("\n===== 性能统计 =====")
    print(f"响应时间: {response_time:.2f} 秒")
    print(f"提示Token数量: {prompt_tokens}")
    print(f"生成Token数量: {completion_tokens}")
    print(f"总Token数量: {total_tokens}")
    print(f"Token生成速度: {completion_tokens/response_time:.2f} tokens/秒")

if __name__ == "__main__":
    main()

python -m fastdeploy.entrypoints.openai.api_server \
       --model baidu/ERNIE-4.5-VL-28B-A3B-Paddle \
       --port 8180 \
       --metrics-port 8181 \
       --engine-worker-queue-port 8182 \
       --max-model-len 32768 \
       --enable-mm \
       --reasoning-parser ernie-45-vl \
       --max-num-seqs 32

vllm serve /model/ModelScope/Qwen/Qwen2.5-VL-32B-Instruct --port 8000 -tp 4 --max-model-len=20480 --gpu-memory-utilization 0.85 --allowed-local-media-path /root --mm_processor_kwargs '{"max_pixels": 589824,"min_pixels": 3136}'

┌─────────────────────────────────────────────────────┐
│ DeepSeek-R1-Distill-Qwen-1.5B  │████████████████████│ ~194 tokens/秒
├─────────────────────────────────────────────────────┤
│ ERNIE-4.5-0.3B-Paddle          │███████████░░░░░░░░░│ ~112 tokens/秒
└─────────────────────────────────────────────────────┘

评分分布 (1-10分)

DeepSeek-R1-Distill-Qwen-1.5B
1分 ██████ (6项)
2分 ████ (4项)
3分 ██ (2项)
4分 ██ (2项)
5分 ██ (2项)
6分 █ (1项)
7分+ █ (1项)

ERNIE-4.5-0.3B-Paddle
1-4分 
5分 █ (1项)
6分 ███ (3项)
7分 ████ (4项)
8分 ████ (4项)
9分 ██ (2项)