@[toc]
`transformers` 库是使用 DeepSeek 和其他预训练模型的强大工具！让我为您详细介绍用法：🚀

## 1. 安装 transformers

```bash
pip install transformers
# 如果需要GPU支持
pip install transformers[torch]
# 或者
pip install transformers tensorflow
```

## 2. 基本使用示例

### 文本生成（使用 DeepSeek 模型）
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载DeepSeek模型和分词器
model_name = "deepseek-ai/deepseek-llm-7b-chat"  # 示例模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

# 生成文本
prompt = "请解释一下人工智能的概念："
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(
    **inputs,
    max_length=200,
    temperature=0.7,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id
)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)
```

### 文本分类
```python
from transformers import pipeline

# 使用pipeline快速开始
classifier = pipeline("sentiment-analysis")
result = classifier("这个产品真是太棒了！")
print(result)  # [{'label': 'POSITIVE', 'score': 0.9998}]
```

## 3. 常用任务示例

### 问答系统
```python
from transformers import pipeline

qa_pipeline = pipeline("question-answering")
context = "DeepSeek是一家专注于人工智能研究的公司，总部位于中国。"
question = "DeepSeek是做什么的？"

result = qa_pipeline(question=question, context=context)
print(f"答案: {result['answer']}")
```

### 文本摘要
```python
from transformers import pipeline

summarizer = pipeline("summarization")
text = """
人工智能是计算机科学的一个分支，旨在创造能够执行通常需要人类智能的任务的机器。
这些任务包括学习、推理、问题解决、感知和语言理解。AI技术已经广泛应用于各个领域，
包括医疗、金融、教育和娱乐等。
"""

summary = summarizer(text, max_length=50, min_length=25, do_sample=False)
print(summary[0]['summary_text'])
```

### 命名实体识别
```python
from transformers import pipeline

ner_pipeline = pipeline("ner", aggregation_strategy="simple")
text = "张三在北京市的清华大学工作。"
entities = ner_pipeline(text)
for entity in entities:
    print(f"实体: {entity['word']}, 类型: {entity['entity_group']}, 得分: {entity['score']:.4f}")
```

## 4. 高级用法

### 使用不同的模型
```python
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# 加载不同的预训练模型
model_name = "bert-base-chinese"  # 中文BERT模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

# 处理文本
texts = ["这个电影很好看", "这个电影很糟糕"]
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")
outputs = model(**inputs)
predictions = torch.softmax(outputs.logits, dim=-1)
print(predictions)
```

### 自定义训练
```python
from transformers import Trainer, TrainingArguments

# 训练参数
training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=16,
    per_device_eval_batch_size=16,
    warmup_steps=500,
    weight_decay=0.01,
    logging_dir="./logs",
)

# 创建训练器
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)

# 开始训练
trainer.train()
```

## 5. 实用技巧

### 批量处理
```python
from transformers import pipeline
import torch

# 使用GPU
device = 0 if torch.cuda.is_available() else -1
classifier = pipeline("text-classification", device=device)

# 批量处理
texts = [
    "这个产品质量很好",
    "服务态度很差",
    "性价比很高"
]
results = classifier(texts)
for text, result in zip(texts, results):
    print(f"文本: {text} -> 情感: {result['label']}, 置信度: {result['score']:.4f}")
```

### 保存和加载模型
```python
# 保存模型
model.save_pretrained("./my_model")
tokenizer.save_pretrained("./my_model")

# 加载模型
model = AutoModelForCausalLM.from_pretrained("./my_model")
tokenizer = AutoTokenizer.from_pretrained("./my_model")
```

## 6. 常用模型推荐

- **中文模型**: `bert-base-chinese`, `hfl/chinese-roberta-wwm-ext`
- **生成模型**: `deepseek-ai/deepseek-llm-7b-chat`, `baichuan-inc/Baichuan2-7B-Chat`
- **多语言模型**: `xlm-roberta-base`, `facebook/mbart-large-50`



@[toc]transformers 库是使用 DeepSeek 和其他预训练模型的强大工具！让我为您详细介绍用法：🚀

[1349]python transformers用法

编程语言

Transformers库是使用DeepSeek等预训练模型的强大工具，支持文本生成、分类、问答、摘要等NLP任务。提供安装指南、基础用法、高级技巧和模型推荐，包含代码示例和GPU加速方法，助力开发者快速实现AI应用开发。

AI驱动 智领未来

ai-class

4核4G3M云服务器 新用户低至38元/年！

5位重磅专家聚焦 AI 时代开发者核心成长需求，带你深入解锁全栈进化、人机协作关键路径！点击报名到场：<a href="https://cloud.tencent.com/developer/salon/salon-2403/signup" target="_blank">https://cloud.tencent.com/developer/salon/salon-2403/signup</a><br/> 
 <img src="https://qcloudimg.tencent-cloud.cn/raw/487c82639d2338df3ef66dfb1450601a.png"/>

腾讯技术创作特训营「年度论坛」正在报名中！

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

[1349]python transformers用法-腾讯云开发者社区-腾讯云

[1349]python transformers用法

[1349]python transformers用法

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐