eval()是个功能很强大的函数，这同时也意味着通常你驾驭不了它。一般来说你用到这个函数说明你的设计在哪里出错了。...在 Python 中，一行代码往往能做很多很恐怖的事情，比如 __import__("os").system("rm -rf /*") 图片
参考链接： Java重写equals方法 在java中equals方法是写在Object类中的，这个方法是用来检测一个对象是否等于另一个对象。...在Object类中这个方法判断两个对象是否具有相同的引用。 关键点： equals比较的是两个对象的地址，重写之后目的是为了比较两个对象的value值是否相等。...然而只对象的hashcode指的就是对象的地址，所以只重写equals不重写hashcode就会出现不对应的情况说白了就是equals比较对象地址就是根据hashcode来比较的，而用equals比较新对象时可能是...**注意 ：**重写equals方法时显示参数要传Object类型的对象，否则传Object对象子类的话，并不会重写Object对象中的方法，也就没有做出任何更改 public class Employee...由于hashCode方法定义在Object类中，因此每个对象都有一个默认的散列码，其值为对象的存储地址。
本文也是读者朋友面试大疆时的面试真题，据读者反馈，面试官问：构造函数和析构函数可以调用虚函数吗？事后读者朋友向我求助时，我的回答是，当然可以。...三个函数 本题从字面中可以看到涉及到三个函数，分别是： 构造函数：构造函数是用来初始化对象的，它会在对象创建时被调用。 析构函数：析构函数是用于清理对象的，它会在对象销毁时被调用。...虚函数：虚函数是由virtual关键字修饰的在基类中定义（通常情况下需要）在派生类中重写的函数。...基本原理 函数执行顺序 定义子类对象时，会先执行父类的构造函数，再执行子类的构造函数。销毁子类对象时，先执行子类的析构函数，再执行父类的析构函数。...所以并不符合多态的预期，那也就没有必要使用虚函数了，也就是说虚函数在构造函数和析构函数中是“失效”的，不建议在构造函数和析构函数中调用虚函数。
在C语言中，函数名代表函数的地址，因此可以创建一个数组来存储这些地址（即函数指针），然后通过索引访问并调用相应的函数。 ...函数指针数组通常用于实现转移表或分派表，这有助于根据输入或其他条件动态选择要执行的函数。例如，在一个计算器程序中，可以根据用户输入的操作符（如加、减、乘、除）来调用相应的数学运算函数。...它通过将每个分支的逻辑封装成单独的函数，并将这些函数的地址存储在一个数组中，从而避免了复杂的if-else或switch-case语句。...例如，在一个简单的计算器程序中，转移表可以用来根据用户输入的操作符（如加、减、乘、除）来调用相应的数学运算函数。...这样做的好处是，当需要添加新的操作时，只需添加一个新的函数并将其地址添加到转移表中，而不需要修改现有的条件分支逻辑。
尽管最初的建议使用 KL 散度，但在构建生成对抗网络 [1] 时，在损失函数中使用交叉熵是一种常见的做法。这常常给该领域的新手造成混乱。...当我们有多个概率分布并且我们想比较它们之间的关系时，熵和 KL 散度的概念就会发挥作用。 在这里我们将要验证为什么最小化交叉熵而不是使用 KL 散度会得到相同的输出。...系统各种状态的概率分布 p 的熵可以计算如下： 交叉熵 交叉熵是指存在于两个概率分布之间的信息量。...我们分别在 python 中计算熵、交叉熵和 KL 散度。 右侧的第二项，即分布 p 的熵可以被认为是一个常数，常数的导数是0，对反向传播不会有影响。...总结 在本文中，我们了解了熵、交叉熵和 kl-散度的概念。然后我们回答了为什么这两个术语在深度学习应用程序中经常互换使用。我们还在 python 中实现并验证了这些概念。
为什么要引入非线性变换？ 非线性变换比线性变换有更强的表达能力。可逼近任意复杂函数，更加贴合真实世界问题，现实世界中单调、线性是极少存在的。 例如，如果我们试图预测一个人是否会偿还贷款。...0.01) b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True)) params = [W1, b1, W2, b2] 权重为什么要乘...常见的正则化方法： L1 正则化（L1 Regularization）：在损失函数中添加参数的绝对值之和，即 L1 范数。这将导致一些参数变为零，从而实现特征选择的效果，使得模型更稀疏。...L2 正则化（L2 Regularization）：在损失函数中添加参数的平方和的一半，即 L2 范数。这会使模型的参数更加平滑，防止参数过大，从而减轻过拟合。...当网络有很多层时，sigmoid函数的输入很大或是很小时，它的梯度都会消失，激活函数会选择更稳定的ReLU系列函数。 参数对称性 神经网络设计中的另一个问题是其参数化所固有的对称性。
方法就是将读入数据和计算分别放在两个线程中，将数据读入内存的一个队列，如下图所示： 读取线程源源不断地将文件系统中的图片读入到一个内存的队列中，而负责计算的是另一个线程，计算需要数据时，直接从内存队列中取就可以了...而在TensorFlow中，为了方便管理，在内存队列前又添加了一层所谓的“文件名队列”。 为什么要添加这一层文件名队列？我们首先得了解机器学习中的一个概念：epoch。...如果我们要跑2个epoch而不是1个epoch，那只要在文件名队列中将A、B、C依次放入两次再标记结束就可以了。...初学者会经常在代码中看到这个函数，但往往很难理解它的用处，在这里，有了上面的铺垫后，我们就可以解释这个函数的作用了。...此后计算单元就可以拿到数据并进行计算，整个程序也就跑起来了，这就是函数tf.train.start_queue_runners的用处。
为了惩罚权重向量的大小，我们必须以某种方式在损失函数中添加 \| \mathbf{w} \|^2 ，但是模型应该如何平衡这个新的额外惩罚的损失？...这里我们仍然除以 2 ：当我们取一个二次函数的导数时， 2 和 1/2 会抵消，以确保更新表达式看起来既漂亮又简单。为什么在这里我们使用平方范数而不是标准范数（即欧几里得距离）？...此外，为什么我们首先使用 L_2 范数，而不是 L_1 范数。事实上，这个选择在整个统计领域中都是有效的和受欢迎的。...然而，我们同时也在试图将 \mathbf{w} 的大小缩小到零。这就是为什么这种方法有时被称为权重衰减。我们仅考虑惩罚项，优化算法在训练的每一步衰减权重。...此外，这种集成还有计算上的好处，允许在不增加任何额外的计算开销的情况下向算法中添加权重衰减。由于更新的权重衰减部分仅依赖于每个参数的当前值，因此优化器必须至少接触每个参数一次。
绘制数据 在对线性回归模型进行编码之前，我们需要先问「为什么」。 为什么要使用线性回归解决这个问题？...假设 首先我们需要定义假设函数，稍后我们将使用它来计算代价。对于线性回归，假设是： ? 但数据集中只有 2 个特征，因此对于当前问题，假设是： ?...记住，在实际运行代码来实现此功能时，不会像 hθ(x) 那样返回表达式，而是返回该表达式求得的数学值。...J_all 变量是所有代价函数的历史记录。你可以打印出 J_all 数组，来查看代价函数在梯度下降的每个 epoch 中逐渐减小的过程。 ? 代价和 epoch 数量的关系图。...('Cost') plt.plot(num_epochs, J_all, 'm', linewidth = "5") plt.show() 现在我们可以使用这些参数来找到标签，例如给定房屋面积和房间数量时的房屋价格
yield 预备知识： 当一个函数包含 yield 语句时，它就变成了一个生成器函数。生成器函数用于生成一个序列的值，而不是一次性返回所有值。每次调用生成器函数时，它会暂停执行，并返回一个值。...当下一次调用生成器函数时，它会从上次暂停的地方继续执行，直到遇到下一个 yield 语句或函数结束。...梯度的负方向 优化算法是怎么跟损失函数合作来完成参数优化？ 优化函数没有直接使用损失值，但通过使用损失函数和反向传播计算参数的梯度，并将这些梯度应用于参数更新，间接地优化了模型的损失。...就是说上次for循环的param会对下次param的梯度求解产生影响，所以才要清空梯度。...对于with torch.no_grad()块，在 PyTorch 中禁用梯度追踪和计算图的构建。在该块中执行的操作不会被记录到计算图中，因此不会生成梯度信息。
不难发现，即便再添加更多的隐藏层，以上设计依然只能与仅含输出层的单层神经网络等价。...依据链式法则，sigmoid函数的导数 ? 下面绘制了sigmoid函数的导数。当输入为0时，sigmoid函数的导数达到最大值0.25；当输入越偏离0时，sigmoid函数的导数越接近0。...下面绘制了tanh函数的导数。当输入为0时，tanh函数的导数达到最大值1；当输入越偏离0时，tanh函数的导数越接近0。...关于激活函数的选择 ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。 用于分类器时，sigmoid函数及其组合通常效果更好。...由于梯度消失问题，有时要避免使用sigmoid和tanh函数。 在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。
因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。...正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。 L2 范数正则化（regularization） ? 范数正则化在模型原损失函数基础上添加 ?...范数惩罚项的新损失函数为 ? 其中超参数 ? 。当权重参数均为0时，惩罚项最小。当 ? 较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当 ?...）的计算表达式为 ? 这里 ? 是激活函数， ? 是输入，隐藏单元 ? 的权重参数为 ? ，偏差参数为 ? 。当对该隐藏层使用丢弃法时，该层的隐藏单元将有一定概率被丢弃掉。设丢弃概率为 ?...这时输出值的计算不再依赖 ? 和 ? ，在反向传播时，与这两个隐藏单元相关的权重的梯度均为0。由于在训练中隐藏层神经元的丢弃是随机的，即 ? 都有可能被清零，输出层的计算无法过度依赖 ?
训练损失之和,词元数量 for X, Y in train_iter: if state is None or use_random_iter: # 在第一次迭代或使用随机抽样时初始化...timer：计时器，用于记录训练时间 metric：累加器，用于计算训练损失之和和词元数量 函数通过迭代train_iter中的数据进行训练。...在函数内部，它使用交叉熵损失函数（nn.CrossEntropyLoss()）计算损失，创建了一个动画器（d2l.Animator）用于可视化训练过程中的困惑度（perplexity）指标。...在每个训练周期（epoch）中 调用train_epoch函数来执行训练，并得到每个周期的困惑度和处理速度。 每隔10个周期，将困惑度添加到动画器中进行可视化。...训练损失之和,词元数量 for X, Y in train_iter: if state is None or use_random_iter: # 在第一次迭代或使用随机抽样时初始化
因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。...L2 范数正则化（regularization） L_2 范数正则化在模型原损失函数基础上添加 L_2 范数惩罚项，从而得到训练所需要最小化的函数。...当权重参数均为0时，惩罚项最小。当 \lambda 较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当 \lambda 设为0时，惩罚项完全不起作用。...这时输出值的计算不再依赖 h_2 和 h_5 ，在反向传播时，与这两个隐藏单元相关的权重的梯度均为0。...由于在训练中隐藏层神经元的丢弃是随机的，即 h_1, \ldots, h_5 都有可能被清零，输出层的计算无法过度依赖 h_1, \ldots, h_5 中的任一个，从而在训练模型时起到正则化的作用，并可以用来应对过拟合
6.创建精度函数 定义一个可以计算模型精度的函数。 7.下载预训练的模型 下载选择的任何预训练模型，可以随意选择任何模型。在这里，选择了两个模型VGG和ResNet50进行实验。移动并下载模型。...在这里选择了这样一种策略，即在对新输入进行模型训练时，不需要对任何现有层进行训练，因此可以通过将模型的每个参数的require_grad设置为False来保持所有层冻结。...如果require_grad为True，则意味着更新可以计算其导数的参数。...9.添加自己的分类器层 现在，要使用下载的预训练模型作为您自己的分类器，必须对其进行一些更改，因为要预测的类别数量可能与训练模型所依据的类别数量不同。...为什么分类器层内部的某些功能和out_features已更改，为什么？ 因此回答这个问题。
在非线性回归中，模型的拟合函数通常不是线性的，因此需要使用其他方法来拟合数据。 下面是PyTorch 实现非线性回归，并解释代码中的关键部分。...-1, 1]之间的100个数据点 Y = X.pow(2) + 0.2 * torch.rand(X.size()) # 添加噪声 定义一个简单的非线性回归模型。...隐藏层使用 ReLU 激活函数，输出层不使用激活函数。...(X) # 前向传播 loss = criterion(outputs, Y) # 计算损失 optimizer.zero_grad() # 梯度清零 loss.backward...-1, 1]之间的100个数据点 Y = X.pow(2) + 0.2 * torch.rand(X.size()) # 添加噪声 # 定义非线性回归模型 class NonLinearRegression
激活函数：激活函数是对输入的数据进行非线性变换，主要目的是通过激活函数的参数化，使得神经网络能够拟合非线性函数。 全连接层：通过全连接层将卷积层提取的特征进行组合。...对微小的变化具有鲁棒性 3、卷积 3.1 为什么需要卷积？...为什么需要卷积？在全连接网络中，输入层是100X100的矩阵（可以是图像，也可以是其他特性信息），会被变换为10000X1的向量，这样会存在几个问题？...3.2 卷积计算 上一节说了为什么要有卷积，知道卷积就是类似滤波器做矩阵运算，其中具体过程如下： 卷积计算 卷积核：卷积核是卷积运算的参数，它是一个矩阵，其数值对图像中与卷积核同样大小的子块像素点进行卷积计算时所采用的权重...； 权重系数：权重系数就是卷积核的参数，捕获图像中某像素点及其邻域像素点所构成的特有空间模式； 填充：填充是指在图像边缘添加像素点，使得卷积核可以覆盖到整个图像，避免卷积运算时输入图像尺寸变小； 步长：
为什么？ 增加迭代轮数可以让模型更多次地更新参数，从而提升性能。...要修改批量大小并观察模型的准确性和GPU显存的变化，可以调整batch_size参数。较大的批量大小可能会提高训练速度，但同时会占用更多的GPU显存。 4.分析了AlexNet的计算性能。...这两个部分的计算量通常是神经网络中最大的，尤其是全连接层，因为全连接层的参数量非常大，需要大量的乘法和加法运算。 4.3 计算结果时显存带宽如何？...在AlexNet中，计算结果时对显存带宽的需求相对较高，尤其是在进行前向传播和反向传播过程中。 由于AlexNet具有大量的参数和中间特征图，计算过程需要频繁地读取和写入显存。...5中添加了Dropout层，并将激活函数替换为ReLU函数。
设计一个实验来回答这些问题，定量描述该结果，并总结定性的结论 在原始的代码中，首先应用了nn.Linear层，然后在第一个全连接层之后添加了一个dropout层，接着是第二个全连接层，并在第二个全连接层之后添加了另一个...这段代码将绘制一个曲线图，其中包括两个隐藏层在应用和不应用Dropout时激活值的方差随时间变化的情况。...问题研究4 为什么在测试时通常不使用暂退法？ 在测试时通常不使用dropout的原因是，dropout是一种在训练期间使用的正则化技术，旨在减少模型的过拟合。...权重衰减：权重衰减通过向损失函数中添加权重的平方惩罚项，降低权重的大小，从而限制模型的复杂度。它可以有效地控制模型的复杂性，并减少过拟合。权重衰减有助于模型更好地泛化到未见过的数据。...在训练期间，在每个训练迭代中使用DropConnect层来注入随机噪声。 使用适当的优化算法（如随机梯度下降）和损失函数（如交叉熵损失）进行模型训练。
，作为时间步 t=0 时的输入。...在每个时间步，根据输入 X 和当前的隐藏状态 H，计算更新门 Z、重置门 R 和候选隐状态 H_tilda。 然后，根据门控机制和候选隐状态，计算新的隐藏状态 H。...接着，使用隐藏状态 H 计算输出 Y。 将输出 Y 添加到输出列表 outputs 中。...循环结束后，使用 torch.cat 函数将输出列表中的所有输出连接起来，得到一个形状为 (seq_length * batch_size, num_outputs) 的张量，表示模型在整个序列上的输出...训练损失之和,词元数量 for X, Y in train_iter: if state is None or use_random_iter: # 在第一次迭代或使用随机抽样时初始化
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
