'ValueError: logits和labels必须具有相同的形状((None，2) vs (None，1))‘ - 腾讯云开发者社区

文章/答案/技术大牛

发布

第三章（1.6）tensorflow cross_entropy 四种交叉熵计算函数

:本质上是不用的参数，不用填 labels:一个和logits具有相同的数据类型（type）和尺寸形状（shape）的张量（tensor） shape:[batch_size,num_classes],...(_sentinel=None, labels=None, logits=None, dim=-1, name=None) _sentinel:本质上是不用的参数，不用填 labels:每一行labels...[i]必须是一个有效的概率分布，one_hot=True(向量中只有一个值为1，其他值为0) logits：labels和logits具有相同的数据类型（type）和尺寸（shape） shape:[batch_size...=None) 计算具有权重的sigmoid交叉熵sigmoid_cross_entropy_with_logits（） _sentinel:本质上是不用的参数，不用填 labels:一个和logits具有相同的数据类型...1 - labels) * -log(1 - sigmoid(logits)) qrcode_for_gh_0e76b0fa8d4e_258 (2).jpg

1.6K5 0

tf.losses

一、概述1、类class Reduction: 减少损失的类型。2、函数absolute_difference(...): 将绝对差异损失添加到训练过程中。....): 使用tf. nf .softmax_cross_entropy_with_logits_v2创建交叉熵损失。...weights:可选张量，其秩要么为0，要么与标签的秩相同，并且必须对标签(即，所有尺寸必须为1，或与对应的损耗尺寸相同)。delta:浮点数，huber损失函数从二次函数变为线性函数的点。...如果还原为零，则其形状与标签相同;否则，它就是标量。...可能产生的异常：ValueError: If the shape of predictions doesn't match that of labels or if the shape of weights

1.4K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

tf.nn

tf.nn.sparse_softmax_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None,...logits必须具有float16、float32或float64的dtype，标签必须具有int32或int64的dtype。注意，为了避免混淆，只需要将命名参数传递给这个函数。...labels:形状张量[d_0, d_1，…]， d_{r-1}](其中r为标签和结果的秩)和dtype int32或int64。标签中的每个条目必须是[0,num_classes]中的索引。...这些活化能被解释为非标准化的对数概率。name:操作的名称(可选)。返回值：一个与标签形状相同，与logits类型相同的张量，具有softmax交叉熵。...可能产生的异常：ValueError: If logits are scalars (need to have rank >= 1) or if the rank of the labels is not

1.8K1 0

tensorflow中的slim函数集合

参数：作用域:筛选要返回的变量的可选作用域。后缀:用于过滤要返回的变量的可选后缀。返回值：集合中具有范围和后缀的变量列表。...对于二维logits，这可以归结为tf.n .softmax。第n个维度需要具有指定数量的元素(类的数量)。参数：logits: N维张量，其中N > 1。...scope:variable_scope的可选作用域。返回值：一个形状和类型与logits相同的“张量”。...scope:name_scope的可选作用域返回值：一个具有形状[batch_size, k]的平坦张量。...注意，目前这两个步骤必须具有相同的值padding:填充方法，要么“有效”，要么“相同”data_format:一个字符串。

2K3 0

【Debug日志 | “捣蛋鬼”广播机制】

✅ 模型输出 [B, 1]labels = torch.randint(0, 2, (B,)) # ❌ 标签 [B]，与 [B,1] 不同形状loss_fn = nn.BCEWithLogitsLoss...Debug过程1️⃣ 打印逐样本损失形状loss_fn = nn.BCEWithLogitsLoss(reduction='none')loss_per = loss_fn(logits, labels.float...= False # 与本问题无关，但便于稳定复现# 关键是看 loss_per.shape 和 logits/labels 的形状是否严格相等assert logits.shape == labels.shape..., f"shape mismatch: {logits.shape} vs {labels.shape}"3️⃣ 查调用栈：谁在 squeeze/unsqueeze常见来源：labels = labels.squeeze...().view(-1) # [B]，类别索引loss = F.cross_entropy(logits, targets)验证修正形状后，loss(reduction='none') 形状回到 [

1481 0

Transformers 4.37 中文文档（六十九）

返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...logits（形状为(batch_size, config.num_labels)的tf.Tensor）— 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...返回的 logits 不一定与作为输入传递的`pixel_values`具有相同的大小。

5521 0

Transformers 4.37 中文文档（二十九）

logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）—分类（如果 config.num_labels==1 则为回归）得分（SoftMax...DeBERTa 模型在顶部具有用于提取式问答任务（如 SQuAD）的跨度分类头（在隐藏状态输出的线性层上计算跨度起始 logits和跨度结束 logits）。...参数 input_ids（np.ndarray，tf.Tensor，List[tf.Tensor]，``Dict[str, tf.Tensor]或Dict[str, np.ndarray]，每个示例必须具有形状...logits（形状为(batch_size, config.num_labels)的tf.Tensor）— 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。...参数 input_ids（np.ndarray、tf.Tensor、List[tf.Tensor]、Dict[str, tf.Tensor] 或 Dict[str, np.ndarray]，每个示例必须具有形状

8591 0

Transformers 4.37 中文文档（九十二）

loss (torch.FloatTensor，形状为(1,)，可选，当提供labels时返回)） — 总损失，作为类别预测的负对数似然（交叉熵）和边界框损失的线性组合。...必须向模型提供输入（可以是文本、图像、音频等），模型将使用这些输入与潜在变量进行交叉注意力。Perceiver 编码器的输出是相同形状的张量。...感知器编码器的多模态预处理。对每个模态进行预处理，然后使用可训练的位置嵌入进行填充，以具有相同数量的通道。...logits（形状为(batch_size, num_labels)的torch.FloatTensor）- 分类（如果 config.num_labels==1 则为回归）得分（SoftMax 之前）...logits（形状为(batch_size, config.num_labels)的torch.FloatTensor） — 分类（如果config.num_labels==1则为回归）分数（SoftMax

6221 0

Transformers 4.37 中文文档（六十四）

为了确保内核成功编译，用户必须安装正确版本的 PyTorch 和 cudatoolkit。...logits（形状为(batch_size, config.num_labels)的torch.FloatTensor） — 分类（如果 config.num_labels==1 则为回归）得分（SoftMax...YOSO 模型在顶部具有用于提取问答任务（如 SQuAD）的跨度分类头（在隐藏状态输出顶部的线性层上计算span start logits和span end logits）。...由于 BEiT 模型期望每个图像具有相同的大小（分辨率），可以使用 BeitImageProcessor 来调整（或重新缩放）和规范化图像以供模型使用。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。

3351 0

Transformers 4.37 中文文档（五十四）

和边际对数损失，则必须指定证据块的掩码。...轴向位置编码将 Xi,j 分解为两个矩阵：Xi,j1，其中 i∈[1,…,d1]，j∈[1,…,ns1] 和 Xi,j2，其中 i∈[1,…,d2]，且 j∈[1,…,ns2] 因此，以下成立：...(ns1, ns2)，其乘积必须等于config.max_embedding_size，在训练期间必须等于input_ids的序列长度。...RemBERT 模型在顶部具有一个用于提取问答任务的跨度分类头（在隐藏状态输出的线性层上计算span start logits和span end logits）。...logits（形状为(batch_size, config.num_labels)的tf.Tensor）— 分类（如果 config.num_labels==1 则为回归）得分（SoftMax 之前）。

4731 0

Transformers 4.37 中文文档（二十八）

原始实现可在此处找到：github.com/TsinghuaAI/CPM-Generate CPM 的架构与 GPT-2 相同，除了分词方法。有关 API 参考信息，请参阅 GPT-2 文档。...logits (torch.FloatTensor，形状为 (batch_size, config.num_labels)) — 分类（如果 config.num_labels==1 则为回归）分数（SoftMax...logits（形状为(batch_size, config.num_labels)的tf.Tensor） — 分类（如果 config.num_labels==1 则为回归）得分（SoftMax 之前）...DeBERTa 模型在顶部具有用于提取式问答任务（如 SQuAD）的跨度分类头（在隐藏状态输出的线性层上计算span start logits和span end logits）。...loss（形状为(1,)的torch.FloatTensor，可选，当提供labels时返回）- 总跨度提取损失是起始位置和结束位置的交叉熵之和。

5131 0

Transformers 4.37 中文文档（三十）

否则，您必须指定与 titles 或 texts 中的问题数量相同的问题。 titles (str 或 List[str]) — 要编码的段落标题。...否则，您必须指定与 titles 或 texts 中相同数量的问题。 titles (str 或 List[str]) — 要编码的段落标题。如果有多个段落，则可以是字符串或字符串列表。...它必须是一个序列三元组，包括 1）问题、2）段落标题和 3）段落文本。...它必须是一个序列三元组，包括 1）问题、2）段落标题和 3）段落文本。...logits (tf.Tensor 的形状为 (batch_size, config.num_labels)) — 分类（如果 config.num_labels==1 则为回归）得分（SoftMax

1.1K1 0

Transformers 4.37 中文文档（七十一）

最重要的预处理步骤是将图像和分割图随机裁剪和填充到相同大小，例如 512x512 或 640x640，然后进行归一化。...logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）— 分类（或回归，如果config.num_labels==1）得分（SoftMax...返回的 logits 不一定与传入的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...logits（形状为(batch_size, config.num_labels)的tf.Tensor）— 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。...返回的对数不一定与作为输入传递的 pixel_values 具有相同的大小。这是为了避免进行两次插值并在用户需要将对数调整为原始图像大小时丢失一些质量。

7491 0

Transformers 4.37 中文文档（九十四）

queries (str 或 List[str]) — 与要编码的表格相关的问题或问题批次。请注意，在批处理的情况下，所有问题必须引用相同的表格。...Tapas 模型具有用于表格问答任务的单元选择头和可选的聚合头（用于计算 logits 和可选的 logits_aggregation 的隐藏状态输出上的线性层），例如用于 SQA、WTQ 或 WikiSQL...logits (tf.Tensor，形状为 (batch_size, config.num_labels)) — 分类（或者如果config.num_labels==1则为回归）得分（SoftMax 之前...损失 (tf.Tensor 的形状为 (1,), 可选的, 当提供 labels（可能还有 answer, aggregation_labels, numeric_values 和 numeric_values_scale...损失 (tf.Tensor 的形状为 (1,), 可选的, 当提供 labels（可能还有 answer, aggregation_labels, numeric_values 和 numeric_values_scale

5981 0

Transformers 4.37 中文文档（六十三）

logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）- 分类（如果 config.num_labels==1 则为回归）得分（SoftMax...如果将 use_mems_train 设置为 True，则必须确保训练批次已正确预处理，例如 batch_1 = [[This line is], [This is the]] 和 batch_2 =...logits (形状为(batch_size, config.num_labels)的 tf.Tensor) — 分类（如果 config.num_labels==1 则为回归）分数（SoftMax 之前...XLNet 模型在顶部具有一个用于提取式问答任务（如 SQuAD）的跨度分类头（在隐藏状态输出的顶部有线性层，用于计算 span start logits 和 span end logits）。...XLNet 模型在顶部具有用于提取式问答任务（如 SQuAD）的跨度分类头（在隐藏状态输出的线性层上计算span start logits和span end logits）。

5681 0

Transformers 4.37 中文文档（七十）

logits（形状为(batch_size, config.num_labels)的torch.FloatTensor） — 分类（如果 config.num_labels==1 则为回归）分数（SoftMax...返回的 logits 不一定与作为输入传递的 pixel_values 具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）— 分类（如果config.num_labels==1则为回归）得分（SoftMax...logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）— 分类（或回归，如果config.num_labels==1）分数（SoftMax...logits（形状为(batch_size, config.num_labels)的jnp.ndarray）—分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。

4021 0

Transformers 4.37 中文文档（四十四）

损失（形状为(1,)的torch.FloatTensor，可选，当提供labels时返回） - 分类（如果 config.num_labels==1 则为回归）损失。...logits（形状为(batch_size, config.num_labels)的torch.FloatTensor） - 分类（如果 config.num_labels==1 则为回归）得分（SoftMax...MEGA 模型在顶部具有一个跨度分类头，用于类似 SQuAD 的抽取式问答任务（在隐藏状态输出的顶部有线性层，用于计算 span start logits 和 span end logits）。...logits (torch.FloatTensor，形状为 (batch_size, 2)) — 下一个序列预测（分类）头的预测分数（SoftMax 前的 True/False 继续分数）。...seq_relationship_logits (torch.FloatTensor，形状为 (batch_size, 2)) — 下一个序列预测（分类）头部的预测分数（SoftMax 之前的 True

5861 0

【Debug日志 | LM Loss下降问题】

, labels: [B,T] # ❌ 错 1：没 shift，模型“预测自己” # ❌ 错 2：直接展平 + mean，PAD 也参与了平均 B, T, V = logits.shape...没做 shift 时，当前 token 与目标 token 完全相同，模型只需学到“把当前 token 概率抬高”就能拿到不差的 loss；batch 大时，PAD/EOS 数量也增多，未正确屏蔽会让有效样本比例降低...2️⃣ 检查“逐位置有效比例”mask = (labels !...修复方案1️⃣ 正确的teacher forcing 右移（shift）def shift_labels(input_ids, pad_id, bos_id=None): # 目标是“预测下一 token...assert labels.shape == (B, T), f"labels 形状不对：{labels.shape} vs {(B,T)}"def log_valid_ratio(labels

1921 0

Transformers 4.37 中文文档（三十三）4-37-中文文档-三十三-

它使用与去年早些时候发布的 UL2 模型相同的配置。它经过“Flan”提示调整和数据集收集进行微调。...logits（形状为(batch_size, config.num_labels)的torch.FloatTensor）- 分类（或如果config.num_labels==1则为回归）得分（SoftMax...Flaubert 模型在顶部具有一个用于提取式问答任务（如 SQuAD）的跨度分类头（在隐藏状态输出的顶部有一个线性层，用于计算 span start logits 和 span end logits）...loss (torch.FloatTensor，形状为(1,)，可选，当提供labels时返回) — 总跨度提取损失是起始位置和结束位置的交叉熵之和。...logits (tf.Tensor，形状为(batch_size, config.num_labels)) — 分类（如果config.num_labels==1则为回归）得分（SoftMax 之前）。

7171 0

Transformers 4.37 中文文档（二十）

ALBERT 使用重复层，导致内存占用较小，但计算成本与具有相同数量隐藏层的 BERT-like 架构相似，因为它必须遍历相同数量的（重复）层。...: Optional = None attentions: Optional = None ) 参数 loss (可选，当提供 labels 时返回，形状为 (1,) 的 torch.FloatTensor...("textattack/albert-base-v2-imdb", num_labels=num_labels) >>> labels = torch.tensor([1]) >>> loss =...loss（形状为(1,)的torch.FloatTensor，可选，当提供labels时返回）- 总跨度提取损失是起始和结束位置的交叉熵之和。...logits (jnp.ndarray，形状为(batch_size, config.num_labels)) — 分类（如果config.num_labels==1则为回归）得分（在 SoftMax

8711 0

点击加载更多

第三章（1.6）tensorflow cross_entropy 四种交叉熵计算函数

tf.losses

tf.nn

tensorflow中的slim函数集合

【Debug日志 | “捣蛋鬼”广播机制】

Transformers 4.37 中文文档（六十九）

Transformers 4.37 中文文档（二十九）

Transformers 4.37 中文文档（九十二）

Transformers 4.37 中文文档（六十四）

Transformers 4.37 中文文档（五十四）

Transformers 4.37 中文文档（二十八）

Transformers 4.37 中文文档（三十）

Transformers 4.37 中文文档（七十一）

Transformers 4.37 中文文档（九十四）

Transformers 4.37 中文文档（六十三）

Transformers 4.37 中文文档（七十）

Transformers 4.37 中文文档（四十四）

【Debug日志 | LM Loss下降问题】

Transformers 4.37 中文文档（三十三）4-37-中文文档-三十三-

Transformers 4.37 中文文档（二十）

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐