前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >九、Swift对象存储服务(双节点搭建)

九、Swift对象存储服务(双节点搭建)

作者头像
指剑
发布于 2022-07-15 07:21:48
发布于 2022-07-15 07:21:48
3.2K00
代码可运行
举报
文章被收录于专栏:指剑的分享指剑的分享
运行总次数:0
代码可运行

九、Swift对象存储服务(双节点搭建)

要求:Controoler节点需要2块空盘

Compute节点需要再加2块空盘

本次搭建采用Controller 和 Compute双节点节点做swift组件

1.Controller安装并配置控制节点

2.Compute安装和配置存储节点

3.Compute节点安装并配置组件

4.Controller节点创建,分发并初始化rings

5.启动服务

6.Controller执行验证操作

1.Controller安装并配置控制节点

#### 1.获得凭证并创建身份认证服务的凭证

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# . /root/admin-openrc
# openstack user create --domain default --password 000000 swift
# openstack role add --project service --user swift admin
# openstack service create --name swift --description "OpenStack Object Storage" object-store

创建对象存储服务 API 端点

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# openstack endpoint create --region RegionOne object-store public http://controller:8080/v1/AUTH_%\(tenant_id\)s

# openstack endpoint create --region RegionOne object-store internal http://controller:8080/v1/AUTH_%\(tenant_id\)s

# openstack endpoint create --region RegionOne object-store admin http://controller:8080/v1
3.安装并配置组件

[root@controller ~]# yum -y install openstack-swift-proxy python-swiftclient python-keystoneclient python-keystonemiddleware memcached xfsprogs rsync openstack-swift-account openstack-swift-container openstack-swift-object

编辑文件 /etc/swift/proxy-server.conf,删除原有内容,直接添加如下内容

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# vi /etc/swift/proxy-server.conf


[DEFAULT]
bind_port = 8080
swift_dir = /etc/swift
user = swift
[pipeline:main]
pipeline = catch_errors gatekeeper healthcheck proxy-logging cache container_sync bulk ratelimit authtoken keystoneauth container-quotas account-quotas slo dlo versioned_writes proxy-logging proxy-server
[app:proxy-server]
use = egg:swift#proxy
account_autocreate = True
[filter:tempauth]
use = egg:swift#tempauth
user_admin_admin = admin .admin .reseller_admin
user_test_tester = testing .admin
user_test2_tester2 = testing2 .admin
user_test_tester3 = testing3
user_test5_tester5 = testing5 service
[filter:authtoken]
paste.filter_factory = keystonemiddleware.auth_token:filter_factory
auth_uri = http://controller:5000
auth_url = http://controller:35357
memcached_servers = controller:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = swift
password = 000000
delay_auth_decision = True
[filter:keystoneauth]
use = egg:swift#keystoneauth
operator_roles = admin,user
[filter:healthcheck]
use = egg:swift#healthcheck
[filter:cache]
memcache_servers = controller:11211
use = egg:swift#memcache
[filter:ratelimit]
use = egg:swift#ratelimit
[filter:domain_remap]
use = egg:swift#domain_remap
[filter:catch_errors]
use = egg:swift#catch_errors
[filter:cname_lookup]
use = egg:swift#cname_lookup
[filter:staticweb]
use = egg:swift#staticweb
[filter:tempurl]
use = egg:swift#tempurl
[filter:formpost]
use = egg:swift#formpost
[filter:name_check]
use = egg:swift#name_check
[filter:list-endpoints]
use = egg:swift#list_endpoints
[filter:proxy-logging]
use = egg:swift#proxy_logging
[filter:bulk]
use = egg:swift#bulk
[filter:slo]
use = egg:swift#slo
[filter:dlo]
use = egg:swift#dlo
[filter:container-quotas]
use = egg:swift#container_quotas
[filter:account-quotas]
use = egg:swift#account_quotas
[filter:gatekeeper]
use = egg:swift#gatekeeper
[filter:container_sync]
use = egg:swift#container_sync
[filter:xprofile]
use = egg:swift#xprofile
[filter:versioned_writes]
use = egg:swift#versioned_writes

编辑文件/etc/swift/swift.conf 删除原有内容,添加如下内容

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# vi /etc/swift/swift.conf

[swift-hash]
swift_hash_path_suffix = changeme
swift_hash_path_prefix = changeme
[storage-policy:0]
name = Policy-0
default = yes
aliases = yellow, orange
[swift-constraints]
查看空盘
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
lsblk 

每个盘划分一个空白分区

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# fdisk /dev/sdb
# fdisk /dev/sdc

创建挂载目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@controller ~]# mkdir -p /swift/sdb
[root@controller ~]# mkdir -p /swift/sdc

指定分区格式

挂载分区到目录

添加到/etc/fstab配置文件中

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@controller ~]# vi /etc/fstab 
/dev/sdb1 /swift/sdb xfs noatime,nodiratime,nobarrier,logbufs=8 0 0
/dev/sdc1 /swift/sdc xfs noatime,nodiratime,nobarrier,logbufs=8 0 0

编辑配置文件 /etc/rsyncd.conf

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@controller ~]# vi /etc/rsyncd.conf

启动服务

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@controller ~]# systemctl start rsyncd.service
[root@controller ~]# systemctl enable rsyncd.service

6.赋权:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# mkdir -p /var/cache/swift
# chown -R root:swift /var/cache/swift
# chmod -R 775 /var/cache/swift
# chown -R swift:swift /swift
# chown -R root:swift /etc/swift

编辑三个配置文件account container object

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
1.编辑 /etc/swift/account-server.conf 文件,删除原有内容,直接添加以下内容
#vi /etc/swift/account-server.conf

[DEFAULT]
bind_ip = 192.168.100.10
bind_port = 6002
user = swift
swift_dir = /etc/swift
devices = /swift
mount_check = false
[pipeline:main]
pipeline = healthcheck recon account-server
[app:account-server]
use = egg:swift#account
[filter:healthcheck]
use = egg:swift#healthcheck
[filter:recon]
use = egg:swift#recon
recon_cache_path = /var/cache/swift
[account-replicator]
[account-auditor]
[account-reaper]
[filter:xprofile]
use = egg:swift#xprofile


2.编辑``/etc/swift/container-server.conf``文件,删除原有内容,直接添加以下内容:
# vi /etc/swift/container-server.conf

[DEFAULT]
bind_ip = 192.168.100.10
bind_port = 6001
user = swift
swift_dir = /etc/swift
devices = /swift
mount_check = false
[pipeline:main]
pipeline = healthcheck recon container-server
[app:container-server]
use = egg:swift#container
[filter:healthcheck]
use = egg:swift#healthcheck
[filter:recon]
use = egg:swift#recon
recon_cache_path = /var/cache/swift
[container-replicator]
[container-updater]
[container-auditor]
[container-sync]
[filter:xprofile]
use = egg:swift#xprofile


3.编辑``/etc/swift/object-server.conf``文件,删除原有内容,直接添加以下内容:
# vi /etc/swift/object-server.conf

[DEFAULT]
bind_ip = 192.168.100.10
bind_port = 6000
user = swift
swift_dir = /etc/swift
devices = /swift
mount_check = false
[pipeline:main]
pipeline = healthcheck recon object-server
[app:object-server]
use = egg:swift#object
[filter:healthcheck]
use = egg:swift#healthcheck
[filter:recon]
use = egg:swift#recon
recon_cache_path = /var/cache/swift
recon_lock_path = /var/lock
[object-replicator]
[object-reconstructor]
[object-updater]
[object-auditor]
[filter:xprofile]
use = egg:swift#xprofile

2.Compute安装和配置存储节点

1.安装软件包

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@compute ~]# yum -y install xfsprogs rsync openstack-swift-account openstack-swift-container openstack-swift-object

搭建Swift Compute节点需要两块空盘,此处我们查看添加的空盘

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# lsblk

创建分区

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# fdisk /dev/sdc
# fdisk /dev/sdd

指定文件格式

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# mkfs.xfs /dev/sdc1
# mkfs.xfs /dev/sdd1

3.创建挂载点目录结构:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@compute ~]# mkdir -p /swift/sdc
[root@compute ~]# mkdir -p /swift/sdd

挂载分区到目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@compute ~]# mount /dev/sdc1 /swift/sdc/
[root@compute ~]# mount /dev/sdd1 /swift/sdd/ 
4.编辑/etc/fstab文件并添加以下内容:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi /etc/fstab

/dev/sdc1 /swift/sdc xfs noatime,nodiratime,nobarrier,logbufs=8 0 0
/dev/sdd1 /swift/sdd xfs noatime,nodiratime,nobarrier,logbufs=8 0 0

5.编辑/etc/rsyncd.conf文件并添加以下内容:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@compute ~]#vi /etc/rsyncd.conf

pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log
uid = swift
gid = swift
address = 192.168.100.20
[account]
path            = /swift
read only       = false
write only      = no
list            = yes
incoming chmod  = 0644
outgoing chmod  = 0644
max connections = 25
lock file =     /var/lock/account.lock
[container]
path            = /swift
read only       = false
write only      = no
list            = yes
incoming chmod  = 0644
outgoing chmod  = 0644
max connections = 25
lock file =     /var/lock/container.lock
[object]
path            = /swift
read only       = false
write only      = no
list            = yes
incoming chmod  = 0644
outgoing chmod  = 0644
max connections = 25
lock file =     /var/lock/object.lock

6.启动 “rsyncd” 服务和配置它随系统启动:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# systemctl start rsyncd.service
# systemctl enable rsyncd.service

6.赋权:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# mkdir -p /var/cache/swift
# chown -R root:swift /var/cache/swift
# chmod -R 775 /var/cache/swift
# chown -R swift:swift /swift
# chown -R root:swift /etc/swift

编辑配置文件 account container object

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
1.编辑 /etc/swift/account-server.conf 文件,删除原有内容,直接添加以下内容
#vi /etc/swift/account-server.conf

[DEFAULT]
bind_ip = 192.168.100.20
bind_port = 6002
user = swift
swift_dir = /etc/swift
devices = /swift
mount_check = false
[pipeline:main]
pipeline = healthcheck recon account-server
[app:account-server]
use = egg:swift#account
[filter:healthcheck]
use = egg:swift#healthcheck
[filter:recon]
use = egg:swift#recon
recon_cache_path = /var/cache/swift
[account-replicator]
[account-auditor]
[account-reaper]
[filter:xprofile]
use = egg:swift#xprofile


2.编辑``/etc/swift/container-server.conf``文件,删除原有内容,直接添加以下内容:
# vi /etc/swift/container-server.conf

[DEFAULT]
bind_ip = 192.168.100.20
bind_port = 6001
user = swift
swift_dir = /etc/swift
devices = /swift
mount_check = false
[pipeline:main]
pipeline = healthcheck recon container-server
[app:container-server]
use = egg:swift#container
[filter:healthcheck]
use = egg:swift#healthcheck
[filter:recon]
use = egg:swift#recon
recon_cache_path = /var/cache/swift
[container-replicator]
[container-updater]
[container-auditor]
[container-sync]
[filter:xprofile]
use = egg:swift#xprofile


3.编辑``/etc/swift/object-server.conf``文件,删除原有内容,直接添加以下内容:
# vi /etc/swift/object-server.conf

[DEFAULT]
bind_ip = 192.168.100.20
bind_port = 6000
user = swift
swift_dir = /etc/swift
devices = /swift
mount_check = false
[pipeline:main]
pipeline = healthcheck recon object-server
[app:object-server]
use = egg:swift#object
[filter:healthcheck]
use = egg:swift#healthcheck
[filter:recon]
use = egg:swift#recon
recon_cache_path = /var/cache/swift
recon_lock_path = /var/lock
[object-replicator]
[object-reconstructor]
[object-updater]
[object-auditor]
[filter:xprofile]
use = egg:swift#xprofile

4.编辑文件/etc/swift/swift.conf 删除原有内容,添加如下内容

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# vi /etc/swift/swift.conf

[swift-hash]
swift_hash_path_suffix = changeme
swift_hash_path_prefix = changeme
[storage-policy:0]
name = Policy-0
default = yes
aliases = yellow, orange
[swift-constraints]

3.Controller 和 Compute节点安装并配置组件

4.Controller节点创建,分发并初始化rings

1.创建账户ring

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
1.切换到 ``/etc/swift``目录。创建基本 account.builder 文件:

# cd /etc/swift
# swift-ring-builder account.builder create 18 1 1
2.添加每个节点到 ring 中:
# swift-ring-builder account.builder add --region 1 --zone 1 --ip 192.168.100.20 --port 6002 --device sdc1 --weight 100
# swift-ring-builder account.builder add --region 1 --zone 1 --ip 192.168.100.20 --port 6002 --device sdd1 --weight 100
# swift-ring-builder account.builder add --region 1 --zone 1 --ip 192.168.100.10 --port 6002 --device sdc1 --weight 100
# swift-ring-builder account.builder add --region 1 --zone 1 --ip 192.168.100.10 --port 6002 --device sdb1 --weight 100
2.验证ring内容
# swift-ring-builder account.builder
3.平衡ring
# swift-ring-builder account.builder rebalance

2.创建ring容器

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
1.切换到 ``/etc/swift``目录。创建基本``container.builder``文件:
# cd /etc/swift
# swift-ring-builder container.builder create 10 1 1
2.添加每个节点到 ring 中:
# swift-ring-builder container.builder add --region 1 --zone 1 --ip 192.168.100.20 --port 6001 --device sdc1 --weight 100
# swift-ring-builder container.builder add --region 1 --zone 1 --ip 192.168.100.20 --port 6001 --device sdd1 --weight 100
# swift-ring-builder container.builder add --region 1 --zone 1 --ip 192.168.100.10 --port 6001 --device sdc1 --weight 100
# swift-ring-builder container.builder add --region 1 --zone 1 --ip 192.168.100.10 --port 6001 --device sdb1 --weight 100
3.验证 ring 的内容:
# swift-ring-builder container.builder
4.平衡 ring:
# swift-ring-builder container.builder rebalance

3.创建Ring对象

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
1.切换到 ``/etc/swift``目录。创建基本``object.builder``文件:
# swift-ring-builder object.builder create 10 1 1
2.添加每个节点到 ring 中:
# swift-ring-builder object.builder add --region 1 --zone 1 --ip 192.168.100.20 --port 6000 --device sdc1 --weight 100
# swift-ring-builder object.builder add --region 1 --zone 1 --ip 192.168.100.20 --port 6000 --device sdd1 --weight 100
# swift-ring-builder object.builder add --region 1 --zone 1 --ip 192.168.100.10 --port 6000 --device sdc1 --weight 100
# swift-ring-builder object.builder add --region 1 --zone 1 --ip 192.168.100.10 --port 6000 --device sdb1 --weight 100
3.验证 ring 的内容:
# swift-ring-builder object.builder
4.平衡 ring:
# swift-ring-builder object.builder rebalance
4.Compute节点复制Controller的配置文件
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
复制``account.ring.gz``,container.ring.gz````object.ring.gz 文件到每个存储节点和其他运行了代理服务的额外节点的 /etc/swift 目录。
[root@compute ~]# scp controller:/etc/swift/*.ring.gz /etc/swift/

5.启动服务

#### 1.在控制节点``Controller``上,启动对象存储代理服务及其依赖服务,并将它们配置为随系统启动:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# systemctl start openstack-swift-proxy.service memcached.service
# systemctl enable openstack-swift-proxy.service memcached.service
2.在存储节点Controller 和 Compute 两个节点上,启动对象存储服务,并将其设置为随系统启动

两个节点均需操作

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# systemctl start openstack-swift-account.service openstack-swift-account-auditor.service openstack-swift-account-reaper.service openstack-swift-account-replicator.service
# systemctl enable openstack-swift-account.service openstack-swift-account-auditor.service openstack-swift-account-reaper.service openstack-swift-account-replicator.service

# systemctl start openstack-swift-container.service openstack-swift-container-auditor.service openstack-swift-container-replicator.service openstack-swift-container-updater.service
# systemctl enable openstack-swift-container.service openstack-swift-container-auditor.service openstack-swift-container-replicator.service openstack-swift-container-updater.service

# systemctl start openstack-swift-object.service openstack-swift-object-auditor.service openstack-swift-object-replicator.service openstack-swift-object-updater.service
# systemctl enable openstack-swift-object.service openstack-swift-object-auditor.service openstack-swift-object-replicator.service openstack-swift-object-updater.service

6.Controller执行验证操作

#### 1.导入demo凭证

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# . /root/admin-openrc
2. 显示服务状态:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# swift stat 
3.创建容器 container1
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# openstack container create container1
4.上传一个测试文件到container1容器
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# openstack object create container1 /root/demo-openrc
5.列出container1容器里的所有文件
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# openstack object list container1
6.从container1容器里下载一个测试文件
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# openstack object save container1 /root/demo-openrc
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-05-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
Transformers 4.37 中文文档(十九)
Trainer 类提供了一个用于在 PyTorch 中进行完整特征训练的 API,并支持在多个 GPU/TPU 上进行分布式训练,支持NVIDIA GPUs的混合精度,AMD GPUs,以及 PyTorch 的torch.amp。Trainer 与 TrainingArguments 类相辅相成,后者提供了广泛的选项来自定义模型的训练方式。这两个类一起提供了一个完整的训练 API。
ApacheCN_飞龙
2024/06/26
1.5K0
Transformers 4.37 中文文档(十一)
在本指南中,我们将看到如何创建自定义管道并在Hub上共享它或将其添加到🤗 Transformers 库中。
ApacheCN_飞龙
2024/06/26
3810
Transformers 4.37 中文文档(二)
除了🤗 Transformers 的 notebooks 之外,还有示例脚本演示如何使用PyTorch、TensorFlow或JAX/Flax训练模型的方法。
ApacheCN_飞龙
2024/06/26
6920
Transformers 4.37 中文文档(二)
Transformers 4.37 中文文档(一)
下表表示库中对这些模型的当前支持,它们是否有 Python 分词器(称为“slow”)。由🤗 Tokenizers 库支持的“fast”分词器,它们是否在 Jax(通过 Flax)、PyTorch 和/或 TensorFlow 中有支持。
ApacheCN_飞龙
2024/06/26
1.2K0
Transformers 4.37 中文文档(一)
深度探索 DeepSeek 微调:LoRA 与全参数微调实战指南
DeepSeek 作为强大的大模型,提供了优质的基础能力,但在某些特定任务上,直接使用预训练模型可能无法满足需求。本篇文章将介绍 LoRA(Low-Rank Adaptation)、全参数微调 等微调策略,并提供详细的代码示例,帮助开发者高效定制 DeepSeek 以适应特定任务。
Swift社区
2025/02/07
6K0
深度探索 DeepSeek 微调:LoRA 与全参数微调实战指南
深度探索 DeepSeek 微调:LoRA 与全参数微调实战指南
DeepSeek 作为强大的大模型,提供了优质的基础能力,但在某些特定任务上,直接使用预训练模型可能无法满足需求。本篇文章将介绍 LoRA(Low-Rank Adaptation)、全参数微调 等微调策略,并提供详细的代码示例,帮助开发者高效定制 DeepSeek 以适应特定任务。
网罗开发
2025/02/18
7780
深度探索 DeepSeek 微调:LoRA 与全参数微调实战指南
Transformers 4.37 中文文档(五)
目标检测是计算机视觉任务,用于检测图像中的实例(如人类、建筑物或汽车)。目标检测模型接收图像作为输入,并输出检测到的对象的边界框的坐标和相关标签。一幅图像可以包含多个对象,每个对象都有自己的边界框和标签(例如,它可以有一辆汽车和一座建筑物),每个对象可以出现在图像的不同部分(例如,图像可以有几辆汽车)。这个任务通常用于自动驾驶,用于检测行人、道路标志和交通灯等。其他应用包括在图像中计数对象、图像搜索等。
ApacheCN_飞龙
2024/06/26
4600
Transformers 4.37 中文文档(五)
Transformers 4.37 中文文档(三)
www.youtube-nocookie.com/embed/ajPx5LwJD-I
ApacheCN_飞龙
2024/06/26
2500
Transformers 4.37 中文文档(十四)
您可以使用AutoBackbone类初始化一个模型作为骨干,并获取任何阶段的特征图。您可以定义out_indices来指示您想要从哪些层获取特征图。如果您知道层的名称,也可以使用out_features。您可以互换使用它们。如果同时使用out_indices和out_features,请确保它们是一致的。不传递任何特征图参数将使骨干产生最后一层的特征图。为了可视化各个阶段的外观,让我们以 Swin 模型为例。每个阶段负责特征提取,输出特征图。
ApacheCN_飞龙
2024/06/26
7570
Transformers 4.37 中文文档(十)
在多个 GPU 上进行训练可能是一个棘手的任务,无论是遇到安装问题还是 GPU 之间的通信问题。这个调试指南涵盖了一些可能遇到的问题以及如何解决它们。
ApacheCN_飞龙
2024/06/26
5140
Transformers 4.37 中文文档(十)
Transformers 4.37 中文文档(四)
www.youtube-nocookie.com/embed/KWwzcmG98Ds
ApacheCN_飞龙
2024/06/26
4100
Transformers 4.37 中文文档(四)
Transformers 4.37 中文文档(七)
🤗 Transformers 中有几个多语言模型,它们的推理用法与单语模型不同。不过,并非所有多语言模型的用法都不同。一些模型,如bert-base-multilingual-uncased,可以像单语模型一样使用。本指南将向您展示如何使用推理中用法不同的多语言模型。
ApacheCN_飞龙
2024/06/26
7110
Transformers 4.37 中文文档(五十七)
RoCBert 模型是由 HuiSu、WeiweiShi、XiaoyuShen、XiaoZhou、TuoJi、JiaruiFang、JieZhou 在 RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining 中提出的。它是一个经过预训练的中文语言模型,在各种形式的对抗攻击下具有鲁棒性。
ApacheCN_飞龙
2024/06/26
2660
Transformers 4.37 中文文档(十五)
无论您选择哪个框架,您都可以使用 GenerationConfig 类实例对生成方法进行参数化。请参考此类以获取完整的生成参数列表,这些参数控制生成方法的行为。
ApacheCN_飞龙
2024/06/26
1K0
Transformers 4.37 中文文档(十五)
Transformers 4.37 中文文档(七十)
MobileViTV2 模型是由 Sachin Mehta 和 Mohammad Rastegari 在移动视觉 transformers 的可分离自我关注中提出的。
ApacheCN_飞龙
2024/06/26
1920
Transformers 4.37 中文文档(七十)
Transformers 4.37 中文文档(二十三)
BertGeneration 模型是一个可以利用 EncoderDecoderModel 进行序列到序列任务的 BERT 模型,如 Sascha Rothe, Shashi Narayan, Aliaksei Severyn 在 利用预训练检查点进行序列生成任务 中提出的那样。
ApacheCN_飞龙
2024/06/26
2460
Transformers 4.37 中文文档(十二)
🤗 Transformers 是一个预训练的最先进模型库,用于自然语言处理(NLP)、计算机视觉以及音频和语音处理任务。这个库不仅包含了 Transformer 模型,还有像现代卷积网络这样的非 Transformer 模型,用于计算机视觉任务。如果你看一下今天最流行的消费产品,比如智能手机、应用和电视,很可能背后都有某种深度学习技术。想要从智能手机拍摄的照片中移除背景物体?这就是一个全景分割任务的例子(如果你还不知道这是什么,不用担心,我们将在接下来的部分中描述!)。
ApacheCN_飞龙
2024/06/26
5890
Transformers 4.37 中文文档(十二)
【AI大模型】Transformers大模型库(七):单机多卡推理之device_map
这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。
LDG_AGI
2024/08/13
2.5K0
Transformers 4.37 中文文档(十七)
管道是使用模型进行推断的一种很好且简单的方式。这些管道是抽象出库中大部分复杂代码的对象,提供了专门用于多个任务的简单 API,包括命名实体识别、掩码语言建模、情感分析、特征提取和问答。查看任务摘要以获取使用示例。
ApacheCN_飞龙
2024/06/26
5960
【LLM训练系列04】手把手教你Qlora微调
IGNORE_TOKEN_ID 是一个常量,通常用于在训练过程中忽略某些特定的标签或输入。它的作用是告诉模型在计算损失时不考虑这些特定的标签或输入。
致Great
2024/12/21
2040
【LLM训练系列04】手把手教你Qlora微调
推荐阅读
相关推荐
Transformers 4.37 中文文档(十九)
更多 >
LV.1
这个人很懒,什么都没有留下~
目录
  • 九、Swift对象存储服务(双节点搭建)
  • 要求:Controoler节点需要2块空盘
  • Compute节点需要再加2块空盘
  • 本次搭建采用Controller 和 Compute双节点节点做swift组件
  • 1.Controller安装并配置控制节点
  • 2.Compute安装和配置存储节点
  • 3.Compute节点安装并配置组件
  • 4.Controller节点创建,分发并初始化rings
  • 5.启动服务
  • 6.Controller执行验证操作
    • 1.Controller安装并配置控制节点
      • 创建对象存储服务 API 端点
      • 编辑文件 /etc/swift/proxy-server.conf,删除原有内容,直接添加如下内容
      • 编辑文件/etc/swift/swift.conf 删除原有内容,添加如下内容
      • 每个盘划分一个空白分区
      • 创建挂载目录
      • 指定分区格式
      • 挂载分区到目录
      • 添加到/etc/fstab配置文件中
      • 编辑配置文件 /etc/rsyncd.conf
      • 启动服务
    • 6.赋权:
  • 编辑三个配置文件account container object
    • 2.Compute安装和配置存储节点
  • 搭建Swift Compute节点需要两块空盘,此处我们查看添加的空盘
    • 创建分区
    • 指定文件格式
    • 3.创建挂载点目录结构:
    • 挂载分区到目录
    • 5.编辑/etc/rsyncd.conf文件并添加以下内容:
    • 6.启动 “rsyncd” 服务和配置它随系统启动:
    • 6.赋权:
    • 编辑配置文件 account container object
    • 4.编辑文件/etc/swift/swift.conf 删除原有内容,添加如下内容
    • 3.Controller 和 Compute节点安装并配置组件
    • 4.Controller节点创建,分发并初始化rings
      • 1.创建账户ring
      • 3.创建Ring对象
    • 5.启动服务
  • 两个节点均需操作
    • 6.Controller执行验证操作
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档