首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

第三章(1.6)tensorflow cross_entropy 四种交叉熵计算函数

1、tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None) _sentinel...:本质上是不用的参数,不用填 labels:一个和logits具有相同的数据类型(type)和尺寸形状(shape)的张量(tensor) shape:[batch_size,num_classes],...(_sentinel=None, labels=None, logits=None, dim=-1, name=None) _sentinel:本质上是不用的参数,不用填 labels:每一行labels...[i]必须是一个有效的概率分布,one_hot=True(向量中只有一个值为1,其他值为0) logits:labels和logits具有相同的数据类型(type)和尺寸(shape) shape:[batch_size...=None) 计算具有权重的sigmoid交叉熵sigmoid_cross_entropy_with_logits() _sentinel:本质上是不用的参数,不用填 labels:一个和logits具有相同的数据类型

1.5K50

tf.losses

如果权值是一个大小张量[batch_size],则通过权值向量中对应的元素重新计算批次中每个样本的总损失。如果权重的形状与预测的形状相匹配,那么预测的每个可度量元素的损失将按相应的权重值进行缩放。...参数:labels:地面真相输出张量,与“预测”维度相同。predictions:预测输出。...weights:可选张量,其秩要么为0,要么与标签的秩相同,并且必须对标签(即,所有尺寸必须为1,或与对应的损耗尺寸相同)。delta:浮点数,huber损失函数从二次函数变为线性函数的点。...如果还原为零,则其形状与标签相同;否则,它就是标量。...可能产生的异常:ValueError: If the shape of predictions doesn't match that of labels or if the shape of weights

1.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Transformers 4.37 中文文档(六十九)

    返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...logits(形状为(batch_size, config.num_labels)的tf.Tensor)— 分类(如果config.num_labels==1则为回归)得分(SoftMax 之前)。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...返回的 logits 不一定与作为输入传递的`pixel_values`具有相同的大小。

    20810

    Transformers 4.37 中文文档(二十九)

    logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)—分类(如果 config.num_labels==1 则为回归)得分(SoftMax...DeBERTa 模型在顶部具有用于提取式问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出的线性层上计算跨度起始 logits和跨度结束 logits)。...参数 input_ids(np.ndarray,tf.Tensor,List[tf.Tensor],``Dict[str, tf.Tensor]或Dict[str, np.ndarray],每个示例必须具有形状...logits(形状为(batch_size, config.num_labels)的tf.Tensor)— 分类(如果config.num_labels==1则为回归)得分(SoftMax 之前)。...参数 input_ids(np.ndarray、tf.Tensor、List[tf.Tensor]、Dict[str, tf.Tensor] 或 Dict[str, np.ndarray],每个示例必须具有形状

    40010

    Transformers 4.37 中文文档(九十二)

    loss (torch.FloatTensor,形状为(1,),可选,当提供labels时返回)) — 总损失,作为类别预测的负对数似然(交叉熵)和边界框损失的线性组合。...必须向模型提供输入(可以是文本、图像、音频等),模型将使用这些输入与潜在变量进行交叉注意力。Perceiver 编码器的输出是相同形状的张量。...感知器编码器的多模态预处理。 对每个模态进行预处理,然后使用可训练的位置嵌入进行填充,以具有相同数量的通道。...logits(形状为(batch_size, num_labels)的torch.FloatTensor)- 分类(如果 config.num_labels==1 则为回归)得分(SoftMax 之前)...logits(形状为(batch_size, config.num_labels)的torch.FloatTensor) — 分类(如果config.num_labels==1则为回归)分数(SoftMax

    34110

    Transformers 4.37 中文文档(六十四)

    为了确保内核成功编译,用户必须安装正确版本的 PyTorch 和 cudatoolkit。...logits(形状为(batch_size, config.num_labels)的torch.FloatTensor) — 分类(如果 config.num_labels==1 则为回归)得分(SoftMax...YOSO 模型在顶部具有用于提取问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出顶部的线性层上计算span start logits和span end logits)。...由于 BEiT 模型期望每个图像具有相同的大小(分辨率),可以使用 BeitImageProcessor 来调整(或重新缩放)和规范化图像以供模型使用。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。

    15610

    Transformers 4.37 中文文档(六十三)

    logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)- 分类(如果 config.num_labels==1 则为回归)得分(SoftMax...loss(形状为(1,)的torch.FloatTensor,可选,当提供labels时返回)- 总跨度提取损失是起始和结束位置的交叉熵之和。...logits (形状为(batch_size, config.num_labels)的 tf.Tensor) — 分类(如果 config.num_labels==1 则为回归)分数(SoftMax 之前...XLNet 模型在顶部具有一个用于提取式问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出的顶部有线性层,用于计算 span start logits 和 span end logits)。...XLNet 模型在顶部具有用于提取式问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出的线性层上计算span start logits和span end logits)。

    31210

    Transformers 4.37 中文文档(七十一)

    logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)— 分类(或回归,如果config.num_labels==1)得分(SoftMax...返回的 logits 不一定与传入的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...logits(形状为(batch_size, config.num_labels)的tf.Tensor)— 分类(如果config.num_labels==1则为回归)得分(SoftMax 之前)。...即使他们的小型变体在 iPhone 14 上仅具有 0.8 毫秒的延迟,也实现了 78.5%的 ImageNet1K 准确率,比 MobileViT-v2 更准确且快 2 倍。...我们的小型变体在 iPhone 14 上仅具有 0.8 毫秒的延迟,ImageNet-1K 准确率达到 78.5%,比 MobileViT-v2 更准确且快 2 倍。 该模型由shehan97贡献。

    39910

    Transformers 4.37 中文文档(三十三)4-37-中文文档-三十三-

    loss(形状为(1,)的torch.FloatTensor,可选,当提供labels时返回)- 分类(或如果config.num_labels==1则为回归)损失。...logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)- 分类(或如果config.num_labels==1则为回归)得分(SoftMax...Flaubert 模型在顶部具有一个用于提取式问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出的顶部有一个线性层,用于计算 span start logits 和 span end logits)...loss (torch.FloatTensor,形状为(1,),可选,当提供labels时返回) — 总跨度提取损失是起始位置和结束位置的交叉熵之和。...logits (tf.Tensor,形状为(batch_size, config.num_labels)) — 分类(如果config.num_labels==1则为回归)得分(SoftMax 之前)。

    28910

    Transformers 4.37 中文文档(四十四)

    我们进一步提出了 Mega 的一个变体,提供线性时间和空间复杂度,但仅产生最小的质量损失,通过将整个序列有效地分割成多个具有固定长度的块。...损失(形状为(1,)的torch.FloatTensor,可选,当提供labels时返回) - 分类(如果 config.num_labels==1 则为回归)损失。...logits(形状为(batch_size, config.num_labels)的torch.FloatTensor) - 分类(如果 config.num_labels==1 则为回归)得分(SoftMax...MEGA 模型在顶部具有一个跨度分类头,用于类似 SQuAD 的抽取式问答任务(在隐藏状态输出的顶部有线性层,用于计算 span start logits 和 span end logits)。...loss(形状为(1,)的torch.FloatTensor,可选,当提供labels时返回)- 语言建模损失(用于下一个标记预测)。

    38710

    Transformers 4.37 中文文档(五十七)

    logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)- 分类(如果 config.num_labels==1 则为回归)得分(SoftMax...loss(形状为(1,)的torch.FloatTensor,可选,当提供labels时返回)- 总跨度提取损失是起始和结束位置的交叉熵之和。...RoFormerTokenizerFast 几乎与 BertTokenizerFast 相同,并且可以进行端到端的分词:标点符号拆分和词片。在分词中文时它们之间存在一些差异。...logits (torch.FloatTensor,形状为 (batch_size, config.num_labels)) — 分类(或回归,如果 config.num_labels==1)分数(SoftMax...loss(torch.FloatTensor,形状为(1,),可选,当提供labels时返回)— 总跨度提取损失是开始和结束位置的交叉熵之和。

    24510

    Transformers 4.37 中文文档(四十六)

    logits (torch.FloatTensor,形状为(batch_size, config.num_labels)) — 分类(或回归,如果 config.num_labels==1)得分(SoftMax...MPNet 模型,在顶部具有用于提取式问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出顶部的线性层,用于计算跨度起始 logits和跨度结束 logits)。...loss (torch.FloatTensor,形状为 (1,),可选,当提供 labels 时返回) — 总跨度提取损失是起始和结束位置的交叉熵之和。...MPNet 模型在顶部具有跨度分类头,用于提取式问答任务,如 SQuAD(在隐藏状态输出的顶部进行线性层计算span start logits和span end logits)。...logits (torch.FloatTensor,形状为(batch_size, config.num_labels)) — 分类(如果config.num_labels==1则为回归)得分(SoftMax

    13910
    领券