PyTorch张量

@小森

发布于 2024-03-24 12:14:12

1370

发布于 2024-03-24 12:14:12

文章被收录于专栏：xiaosen

📀PyTorch是一个开源的深度学习框架，由Facebook的人工智能研究团队开发，专为深度学习研究和开发而设计。PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。在 PyTorch 中，张量以 "类" 的形式封装起来，对张量的一些运算、处理的方法被封装在类中。

基本创建方式

torch.tensor 根据指定数据创建张量
torch.Tensor 根据形状创建张量, 其也可用来创建指定数据的张量
torch.IntTensor、torch.FloatTensor、torch.DoubleTensor 创建指定类型的张量

import torch

data = [1, 2, 3]
tensor = torch.tensor(data)
print(tensor)

import torch

shape = (2, 3)
tensor = torch.Tensor(*shape)
print(tensor)

import torch

int_tensor = torch.IntTensor([1, 2, 3])
float_tensor = torch.FloatTensor([1.0, 2.0, 3.0])
double_tensor = torch.DoubleTensor([1.0, 2.0, 3.0])

print(int_tensor)
print(float_tensor)
print(double_tensor)

创建线性和随机张量

torch.arange 和 torch.linspace 创建线性张量
torch.random.init_seed 和 torch.random.manual_seed 随机种子设置
torch.randn 创建随机张量

import torch start = 0 end = 10 step = 2 linear_tensor = torch.arange(start, end, step) print(linear_tensor)

import torch

start = 0
end = 1
steps = 5
linear_tensor = torch.linspace(start, end, steps)
print(linear_tensor)

创建01张量

torch.ones 和 torch.ones_like 创建全1张量
torch.zeros 和 torch.zeros_like 创建全0张量
torch.full 和 torch.full_like 创建全为指定值张量

import torch

shape = (3, 3)
zero_tensor = torch.zeros(*shape)
print(zero_tensor)


shape = (3, 3)
one_tensor = torch.ones(*shape)
print(one_tensor)

张量元素类型转换

tensor.type(torch.DoubleTensor)
torch.double()

import torch

tensor = torch.FloatTensor([1, 2, 3])
double_tensor = tensor.type(torch.DoubleTensor)
print(double_tensor)


tensor = torch.FloatTensor([1, 2, 3])
double_tensor = torch.double(tensor)
print(double_tensor)

阿达玛积

阿达玛积指的是矩阵对应位置的元素相乘；

阿达玛积是对两个矩阵或张量对应位置上的元素进行相乘，这种操作在神经网络中常用于权重的调整或其他逐元素的变换。要进行阿达玛积运算，两个矩阵或张量的维度必须相匹配，即它们必须有相同的形状。这是进行阿达玛积的前提条件。阿达玛积满足乘法的结合律、左分配律和右分配律，这些性质使得它在数学推导和算法设计中非常有用。在深度学习中，阿达玛积常用于激活函数的计算、权重更新以及在一些特定的层中，如注意力机制中的权重计算等。与矩阵乘法不同，阿达玛积不是基于矩阵的行和列的乘法，而是基于单个元素的乘法。这使得阿达玛积在某些情况下更为直观和易于理解。

import numpy as np
import torch


def test():

    data1 = torch.tensor([[1, 2], [3, 4]])
    data2 = torch.tensor([[5, 6], [7, 8]])

    # 第一种方式
    data = torch.mul(data1, data2)
    print(data)
    print('-' * 50)

    # 第二种方式
    data = data1 * data2
    print(data)
    print('-' * 50)


if __name__ == '__main__':
    test()

程序输出结果

tensor([[ 5, 12], [21, 32]]) tensor([[ 5, 12], [21, 32]])

张量数值计算

📀PyTorch 计算的数据都是以张量形式存在, 我们需要掌握张量各种运算。我们可以在 CPU 中运算, 也可以在 GPU 中运算。

CPU上创建张量

import torch
tensor_cpu = torch.tensor([1, 2, 3])

在 GPU 上创建张量（如果 GPU 可用）：

tensor_gpu = tensor_cpu.to('cuda')

PyTorch 默认会将张量创建在 CPU 控制的内存中, 即: 默认的运算设备为 CPU。我们也可以将张量创建在 GPU 上, 能够利用对于矩阵计算的优势加快模型训练。将张量移动到 GPU 上有如下方法: 1. 使用 cuda 方法 2. 直接在 GPU 上创建张量 3. 使用 to 方法指定设备。

张量的基本运算包括多种操作：

加法和减法：两个同阶张量可以进行元素对元素的加法和减法运算。
标量乘法：一个标量可以与任何阶的张量相乘，结果是将原张量的每个元素乘以该标量。
点积（内积）：两个张量的点积通常是指它们之间的逐元素乘法后求和。
外积：两个向量的外积会产生一个矩阵，其中每个元素是第一个向量的元素与第二个向量的元素的乘积。
张量积（Kronecker积）：用于组合两个张量来创建一个新的高阶张量。
特定运算：包括对称张量的运算、反对称张量的运算、迹运算等。

以下是使用 PyTorch 进行张量基本运算的代码案例：

import torch

# 创建张量
x = torch.tensor([1, 2, 3])
y = torch.tensor([4, 5, 6])

# 加法
result_add = torch.add(x, y)
print("Addition:", result_add)

# 减法
result_sub = torch.sub(x, y)
print("Subtraction:", result_sub)

# 乘法
result_mul = torch.mul(x, y)
print("Multiplication:", result_mul)

# 除法
result_div = torch.div(x, y)
print("Division:", result_div)

# 取负数
result_neg = torch.neg(x)
print("Negation:", result_neg)

# inplace 加法
x.add_(y)
print("Inplace Addition:", x)

# inplace 减法
x.sub_(y)
print("Inplace Subtraction:", x)

# inplace 乘法
x.mul_(y)
print("Inplace Multiplication:", x)

# inplace 除法
x.div_(y)
print("Inplace Division:", x)

# inplace 取负数
x.neg_()
print("Inplace Negation:", x)

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2024-03-22，如有侵权请联系 cloudcommunity@tencent.com 删除

开发