首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >驱动开发:内核物理内存寻址读写

驱动开发:内核物理内存寻址读写

原创
作者头像
王 瑞
发布于 2023-06-26 01:04:04
发布于 2023-06-26 01:04:04
65800
代码可运行
举报
运行总次数:0
代码可运行

在某些时候我们需要读写的进程可能存在虚拟内存保护机制,在该机制下用户的CR3以及MDL读写将直接失效,从而导致无法读取到正确的数据,本章我们将继续研究如何实现物理级别的寻址读写。

首先,驱动中的物理页读写是指在驱动中直接读写物理内存页(而不是虚拟内存页)。这种方式的优点是它能够更快地访问内存,因为它避免了虚拟内存管理的开销,通过直接读写物理内存,驱动程序可以绕过虚拟内存的保护机制,获得对系统中内存的更高级别的访问权限。

想要实现物理页读写,第一步则是需要找到UserDirectoryTableBase的实际偏移地址,你一定会问这是个什么?别着急,听我来慢慢解释;

在操作系统中,每个进程都有一个KPROCESS结构体,它是进程的内部表示。该结构体中包含了一些重要的信息,包括UserDirectoryTableBase字段,它指向进程的页表目录表(Page Directory Table),也称为DirectoryTable页目录表。

Page Directory Table是一种数据结构,它在虚拟内存管理中起着重要的作用。它被用来存储将虚拟地址映射到物理地址的映射关系,其内部包含了一些指向页表的指针,每个页表中又包含了一些指向物理页面的指针。这些指针一起构成了一个树形结构,它被称为页表树(Page Table Tree)

代码语言:c
代码运行次数:0
运行
AI代码解释
复制
kd> dt _KPROCESS
ntdll!_KPROCESS
+0x278 UserTime         : Uint4B
+0x27c ReadyTime        : Uint4B
+0x280 UserDirectoryTableBase : Uint8B
+0x288 AddressPolicy    : UChar
+0x289 Spare2           : [71] UChar

#define GetDirectoryTableOffset 0x280

UserDirectoryTableBase字段包含了进程的页表树的根节点的物理地址,通过它可以找到进程的页表树,从而实现虚拟内存的管理。在WinDbg中,通过输入dt _KPROCESS可以查看进程的KPROCESS结构体的定义,从而找到UserDirectoryTableBase字段的偏移量,这样可以获取该字段在内存中的地址,进而获取DirectoryTable的地址。不同操作系统的KPROCESS结构体定义可能会有所不同,因此它们的UserDirectoryTableBase字段的偏移量也会不同。

通过上述原理解释,我们可知要实现物理页读写需要实现一个转换函数,因为在应用层传入的还是一个虚拟地址,通过TransformationCR3函数即可实现将虚拟地址转换到物理地址,函数内部实现了从虚拟地址到物理地址的转换过程,并返回物理地址。

代码语言:c
代码运行次数:0
运行
AI代码解释
复制
// 从用户层虚拟地址切换到物理页地址的函数
// 将 CR3 寄存器的末尾4个比特清零,这些比特是用于对齐的,不需要考虑
/*
    参数 cr3:物理地址。
    参数 VirtualAddress:虚拟地址。
*/
ULONG64 TransformationCR3(ULONG64 cr3, ULONG64 VirtualAddress)
{
  cr3 &= ~0xf;
  // 获取页面偏移量
  ULONG64 PAGE_OFFSET = VirtualAddress & ~(~0ul << 12);

  // 读取虚拟地址所在的三级页表项
  SIZE_T BytesTransferred = 0;
  ULONG64 a = 0, b = 0, c = 0;

  ReadPhysicalAddress((PVOID)(cr3 + 8 * ((VirtualAddress >> 39) & (0x1ffll))), &a, sizeof(a), &BytesTransferred);

  // 如果 P(存在位)为0,表示该页表项没有映射物理内存,返回0
  if (~a & 1)
  {
    return 0;
  }

  // 读取虚拟地址所在的二级页表项
  ReadPhysicalAddress((PVOID)((a & ((~0xfull << 8) & 0xfffffffffull)) + 8 * ((VirtualAddress >> 30) & (0x1ffll))), &b, sizeof(b), &BytesTransferred);

  // 如果 P 为0,表示该页表项没有映射物理内存,返回0
  if (~b & 1)
  {
    return 0;
  }

  // 如果 PS(页面大小)为1,表示该页表项映射的是1GB的物理内存,直接计算出物理地址并返回
  if (b & 0x80)
  {
    return (b & (~0ull << 42 >> 12)) + (VirtualAddress & ~(~0ull << 30));
  }

  // 读取虚拟地址所在的一级页表项
  ReadPhysicalAddress((PVOID)((b & ((~0xfull << 8) & 0xfffffffffull)) + 8 * ((VirtualAddress >> 21) & (0x1ffll))), &c, sizeof(c), &BytesTransferred);

  // 如果 P 为0,表示该页表项没有映射物理内存,返回0
  if (~c & 1)
  {
    return 0;
  }
  // 如果 PS 为1,表示该页表项映射的是2MB的物理内存,直接计算出物理地址并返回
  if (c & 0x80)
  {
    return (c & ((~0xfull << 8) & 0xfffffffffull)) + (VirtualAddress & ~(~0ull << 21));
  }
  // 读取虚拟地址所在的零级页表项,计算出物理地址并返回
  ULONG64 address = 0;
  ReadPhysicalAddress((PVOID)((c & ((~0xfull << 8) & 0xfffffffffull)) + 8 * ((VirtualAddress >> 12) & (0x1ffll))), &address, sizeof(address), &BytesTransferred);
  address &= ((~0xfull << 8) & 0xfffffffffull);
  if (!address)
  {
    return 0;
  }

  return address + PAGE_OFFSET;
}

这段代码将输入的CR3值和虚拟地址作为参数,并将CR3值和虚拟地址的偏移量进行一系列计算,最终得出物理地址。

其中,CR3是存储页表的物理地址,它保存了虚拟地址到物理地址的映射关系。该函数通过读取CR3中存储的页表信息,逐级访问页表,直到找到对应的物理地址。

该函数使用虚拟地址的高9位确定页表的索引,然后通过读取对应的页表项,得到下一级页表的物理地址。该过程重复执行,直到读取到页表的最后一级,得到物理地址。

最后,该函数将物理地址的低12位与虚拟地址的偏移量进行OR运算,得到最终的物理地址,并将其返回。

需要注意的是,该函数还会进行一些错误处理,例如在读取页表项时,如果该项没有被设置为有效,函数将返回0,表示无法访问对应的物理地址。

此时用户已经获取到了物理地址,那么读写就变得很容易了,当需要读取数据时调用ReadPhysicalAddress函数,其内部直接使用MmCopyMemory对内存进行拷贝即可,而对于写入数据而言,需要通过调用MmMapIoSpace先将物理地址转换为一个用户空间的虚拟地址,然后再通过RtlCopyMemory向内部拷贝数据即可实现写入,这三段代码的封装如下所示;

代码语言:c
代码运行次数:0
运行
AI代码解释
复制
#include <ntifs.h>
#include <windef.h>

#define GetDirectoryTableOffset 0x280
#define bit64 0x28
#define bit32 0x18

// 读取物理内存封装
// 这段代码实现了将物理地址映射到内核空间,然后将物理地址对应的数据读取到指定的缓冲区中。
/*
    address:需要读取的物理地址;
    buffer:读取到的数据需要保存到的缓冲区;
    size:需要读取的数据大小;
    BytesTransferred:实际读取到的数据大小。
*/
NTSTATUS ReadPhysicalAddress(PVOID address, PVOID buffer, SIZE_T size, SIZE_T* BytesTransferred)
{
  MM_COPY_ADDRESS Read = { 0 };
  Read.PhysicalAddress.QuadPart = (LONG64)address;
  return MmCopyMemory(buffer, Read, size, MM_COPY_MEMORY_PHYSICAL, BytesTransferred);
}

// 写入物理内存
// 这段代码实现了将数据写入物理地址的功能
/*
    参数 address:要写入的物理地址。
    参数 buffer:要写入的数据缓冲区。
    参数 size:要写入的数据长度。
    参数 BytesTransferred:实际写入的数据长度。
*/
NTSTATUS WritePhysicalAddress(PVOID address, PVOID buffer, SIZE_T size, SIZE_T* BytesTransferred)
{
  if (!address)
  {
    return STATUS_UNSUCCESSFUL;
  }

  PHYSICAL_ADDRESS Write = { 0 };
  Write.QuadPart = (LONG64)address;
    
    // 将物理空间映射为虚拟空间
  PVOID map = MmMapIoSpace(Write, size, (MEMORY_CACHING_TYPE)PAGE_READWRITE);

  if (!map)
  {
    return STATUS_UNSUCCESSFUL;
  }

    // 开始拷贝数据
  RtlCopyMemory(map, buffer, size);
  *BytesTransferred = size;
  MmUnmapIoSpace(map, size);
  return STATUS_SUCCESS;
}

// 从用户层虚拟地址切换到物理页地址的函数
// 将 CR3 寄存器的末尾4个比特清零,这些比特是用于对齐的,不需要考虑
/*
    参数 cr3:物理地址。
    参数 VirtualAddress:虚拟地址。
*/
ULONG64 TransformationCR3(ULONG64 cr3, ULONG64 VirtualAddress)
{
  cr3 &= ~0xf;
  // 获取页面偏移量
  ULONG64 PAGE_OFFSET = VirtualAddress & ~(~0ul << 12);

  // 读取虚拟地址所在的三级页表项
  SIZE_T BytesTransferred = 0;
  ULONG64 a = 0, b = 0, c = 0;

  ReadPhysicalAddress((PVOID)(cr3 + 8 * ((VirtualAddress >> 39) & (0x1ffll))), &a, sizeof(a), &BytesTransferred);

  // 如果 P(存在位)为0,表示该页表项没有映射物理内存,返回0
  if (~a & 1)
  {
    return 0;
  }

  // 读取虚拟地址所在的二级页表项
  ReadPhysicalAddress((PVOID)((a & ((~0xfull << 8) & 0xfffffffffull)) + 8 * ((VirtualAddress >> 30) & (0x1ffll))), &b, sizeof(b), &BytesTransferred);

  // 如果 P 为0,表示该页表项没有映射物理内存,返回0
  if (~b & 1)
  {
    return 0;
  }

  // 如果 PS(页面大小)为1,表示该页表项映射的是1GB的物理内存,直接计算出物理地址并返回
  if (b & 0x80)
  {
    return (b & (~0ull << 42 >> 12)) + (VirtualAddress & ~(~0ull << 30));
  }

  // 读取虚拟地址所在的一级页表项
  ReadPhysicalAddress((PVOID)((b & ((~0xfull << 8) & 0xfffffffffull)) + 8 * ((VirtualAddress >> 21) & (0x1ffll))), &c, sizeof(c), &BytesTransferred);

  // 如果 P 为0,表示该页表项没有映射物理内存,返回0
  if (~c & 1)
  {
    return 0;
  }
  // 如果 PS 为1,表示该页表项映射的是2MB的物理内存,直接计算出物理地址并返回
  if (c & 0x80)
  {
    return (c & ((~0xfull << 8) & 0xfffffffffull)) + (VirtualAddress & ~(~0ull << 21));
  }
  // 读取虚拟地址所在的零级页表项,计算出物理地址并返回
  ULONG64 address = 0;
  ReadPhysicalAddress((PVOID)((c & ((~0xfull << 8) & 0xfffffffffull)) + 8 * ((VirtualAddress >> 12) & (0x1ffll))), &address, sizeof(address), &BytesTransferred);
  address &= ((~0xfull << 8) & 0xfffffffffull);
  if (!address)
  {
    return 0;
  }

  return address + PAGE_OFFSET;
}

有了如上封装,那么我们就可以实现驱动读写了,首先我们实现驱动读取功能,如下这段代码是Windows驱动程序的入口函数DriverEntry,主要功能是读取指定进程的虚拟地址空间中指定地址处的4个字节数据。

代码首先通过 PsLookupProcessByProcessId 函数获取指定进程的 EPROCESS 结构体指针。然后获取该进程的 CR3值,用于将虚拟地址转换为物理地址。接下来,循环读取指定地址处的 4 个字节数据,每次读取 PAGE_SIZE 大小的物理内存数据。最后输出读取到的数据,并关闭对 EPROCESS 结构体指针的引用。

需要注意的是,该代码并没有进行有效性检查,如没有检查读取的地址是否合法、读取的数据是否在用户空间,因此存在潜在的风险。另外,该代码也没有考虑内核模式下访问用户空间数据的问题,因此也需要进行进一步的检查和处理。

代码语言:c
代码运行次数:0
运行
AI代码解释
复制
// 驱动卸载例程
extern "C" VOID DriverUnload(PDRIVER_OBJECT pDriver)
{
  UNREFERENCED_PARAMETER(pDriver);
  DbgPrint("Uninstall Driver \n");
}

// 驱动入口地址
extern "C" NTSTATUS DriverEntry(PDRIVER_OBJECT pDriver, PUNICODE_STRING path)
{
  DbgPrint("Hello LyShark \n");

  // 通过进程ID获取eprocess
  PEPROCESS pEProcess = NULL;
  NTSTATUS Status = PsLookupProcessByProcessId((HANDLE)4116, &pEProcess);

  if (NT_SUCCESS(Status) && pEProcess != NULL)
  {

    ULONG64 TargetAddress = 0x401000;
    SIZE_T TargetSize = 4;
    SIZE_T read = 0;

    // 分配读取空间
    BYTE* ReadBuffer = (BYTE *)ExAllocatePool(NonPagedPool, 1024);

    // 获取CR3用于转换
    PUCHAR Var = reinterpret_cast<PUCHAR>(pEProcess);
    ULONG64 CR3 = *(ULONG64*)(Var + bit64);
    if (!CR3)
    {
      CR3 = *(ULONG64*)(Var + GetDirectoryTableOffset);
    }

    DbgPrint("[CR3] 寄存器地址 = 0x%p \n", CR3);

    while (TargetSize)
    {
      // 开始循环切换到CR3
      ULONG64 PhysicalAddress = TransformationCR3(CR3, TargetAddress + read);
      if (!PhysicalAddress)
      {
        break;
      }

      // 读取物理内存
      ULONG64 ReadSize = min(PAGE_SIZE - (PhysicalAddress & 0xfff), TargetSize);
      SIZE_T BytesTransferred = 0;

      // reinterpret_cast 强制转为PVOID类型
      Status = ReadPhysicalAddress(reinterpret_cast<PVOID>(PhysicalAddress), reinterpret_cast<PVOID>((PVOID *)ReadBuffer + read), ReadSize, &BytesTransferred);
      TargetSize -= BytesTransferred;
      read += BytesTransferred;

      if (!NT_SUCCESS(Status))
      {
        break;
      }

      if (!BytesTransferred)
      {
        break;
      }
    }

    // 关闭引用
    ObDereferenceObject(pEProcess);

    // 输出读取字节
    for (size_t i = 0; i < 4; i++)
    {
      DbgPrint("[读入字节 [%d] ] => 0x%02X \n", i, ReadBuffer[i]);
    }
  }

  // 关闭引用
  UNREFERENCED_PARAMETER(path);

  // 卸载驱动
  pDriver->DriverUnload = DriverUnload;
  return STATUS_SUCCESS;
}

编译并运行上述代码片段,则会读取进程ID为41160x401000处的地址数据,并以字节的方式输出前四位,输出效果图如下所示;

写出数据与读取数据基本一致,只是调用方法从ReadPhysicalAddress变为了WritePhysicalAddress其他的照旧,但需要注意的是读者再使用写出时需要自行填充一段堆用于存储需要写出的字节集。

代码语言:c
代码运行次数:0
运行
AI代码解释
复制
// 驱动卸载例程
extern "C" VOID DriverUnload(PDRIVER_OBJECT pDriver)
{
  UNREFERENCED_PARAMETER(pDriver);
  DbgPrint("Uninstall Driver \n");
}

// 驱动入口地址
extern "C" NTSTATUS DriverEntry(PDRIVER_OBJECT pDriver, PUNICODE_STRING path)
{
  DbgPrint("Hello LyShark \n");

  // 物理页写
  PEPROCESS pEProcess = NULL;
  NTSTATUS Status = PsLookupProcessByProcessId((HANDLE)4116, &pEProcess);

  // 判断pEProcess是否有效
  if (NT_SUCCESS(Status) && pEProcess != NULL)
  {
    ULONG64 TargetAddress = 0x401000;
    SIZE_T TargetSize = 4;
    SIZE_T read = 0;

    // 申请空间并填充写出字节0x90
    BYTE* ReadBuffer = (BYTE *)ExAllocatePool(NonPagedPool, 1024);

    for (size_t i = 0; i < 4; i++)
    {
      ReadBuffer[i] = 0x90;
    }

    // 获取CR3用于转换
    PUCHAR Var = reinterpret_cast<PUCHAR>(pEProcess);
    ULONG64 CR3 = *(ULONG64*)(Var + bit64);
    if (!CR3)
    {
      CR3 = *(ULONG64*)(Var + GetDirectoryTableOffset);
      // DbgPrint("[CR3] 寄存器地址 = 0x%p \n", CR3);
    }

    while (TargetSize)
    {
      // 开始循环切换到CR3
      ULONG64 PhysicalAddress = TransformationCR3(CR3, TargetAddress + read);
      if (!PhysicalAddress)
      {
        break;
      }

      // 写入物理内存
      ULONG64 WriteSize = min(PAGE_SIZE - (PhysicalAddress & 0xfff), TargetSize);
      SIZE_T BytesTransferred = 0;
      Status = WritePhysicalAddress(reinterpret_cast<PVOID>(PhysicalAddress), reinterpret_cast<PVOID>(ReadBuffer + read), WriteSize, &BytesTransferred);
      TargetSize -= BytesTransferred;
      read += BytesTransferred;

      // DbgPrint("[写出数据] => %d | %0x02X \n", WriteSize, ReadBuffer + read);
      if (!NT_SUCCESS(Status))
      {
        break;
      }

      if (!BytesTransferred)
      {
        break;
      }
    }

    // 关闭引用
    ObDereferenceObject(pEProcess);
  }

  // 关闭引用
  UNREFERENCED_PARAMETER(path);

  // 卸载驱动
  pDriver->DriverUnload = DriverUnload;
  return STATUS_SUCCESS;
}

如上代码运行后,会向进程ID为41160x401000处写出4字节的0x90机器码,读者可通过第三方工具验证内存,输出效果如下所示;

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【深度学习实验】网络优化与正则化(三):随机梯度下降的改进——Adam算法详解(Adam≈梯度方向优化Momentum+自适应学习率RMSprop)
  目前,研究人员通过大量实践总结了一些经验方法,以在神经网络的表示能力、复杂度、学习效率和泛化能力之间取得良好的平衡,从而得到良好的网络模型。本系列文章将从网络优化和网络正则化两个方面来介绍如下方法:
Qomolangma
2024/07/30
5340
【深度学习实验】网络优化与正则化(三):随机梯度下降的改进——Adam算法详解(Adam≈梯度方向优化Momentum+自适应学习率RMSprop)
动手学深度学习(八) 优化算法进阶
在 Section 11.4 中,我们提到,目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此,梯度下降也叫作最陡下降(steepest descent)。在每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量的迭代方向仅仅取决于自变量当前位置,这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差和收敛的结果。
致Great
2020/02/25
1.4K0
动手学深度学习(八) 优化算法进阶
【深度学习实验】网络优化与正则化(一):优化算法:使用动量优化的随机梯度下降算法(Stochastic Gradient Descent with Momentum)
  目前,研究人员通过大量实践总结了一些经验方法,以在神经网络的表示能力、复杂度、学习效率和泛化能力之间取得良好的平衡,从而得到良好的网络模型。本系列文章将从网络优化和网络正则化两个方面来介绍如下方法:
Qomolangma
2024/07/30
3760
【深度学习实验】网络优化与正则化(一):优化算法:使用动量优化的随机梯度下降算法(Stochastic Gradient Descent with Momentum)
从零开始学Pytorch(十四)之优化算法进阶
目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此,梯度下降也叫作最陡下降(steepest descent)。在每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量的迭代方向仅仅取决于自变量当前位置,这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差和收敛的结果。
墨明棋妙27
2022/09/23
6730
深度学习中的优化算法与实现
通过这么长时间的学习,我们应该对于通过深度学习解决问题的大体流程有个宏观的概念了吧?
BBuf
2020/10/10
1.1K0
深度学习中的优化算法与实现
【深度学习实验】网络优化与正则化(六):逐层归一化方法——批量归一化、层归一化、权重归一化、局部响应归一化
  目前,研究人员通过大量实践总结了一些经验方法,以在神经网络的表示能力、复杂度、学习效率和泛化能力之间取得良好的平衡,从而得到良好的网络模型。本系列文章将从网络优化和网络正则化两个方面来介绍如下方法:
Qomolangma
2024/07/30
6580
【深度学习实验】网络优化与正则化(六):逐层归一化方法——批量归一化、层归一化、权重归一化、局部响应归一化
caffe详解之优化算法
前面我们介绍了卷积神经网络中主流的数据层,卷积层,全连接层,池化层,激活函数层,归一化层,dropout层,softmax层。分析每一层的配置及意义的目的主要是为了便于设计出适合自己的网络。然后根据自己的任务需要定义合适的损失函数。当搭建出自己的网络并确定网络的损失函数后,下一个关键问题便是训练网络,训练网络的前提需要确定优化算法。下面我们针对常见的深度学习优化算法进行梳理:
AI异构
2020/07/29
5280
caffe详解之优化算法
「深度学习一遍过」必修11:优化器的高级使用+学习率迭代策略+分类优化目标定义
优化算法,尤其是填入的这几个参数无法阻止模型梯度发散,所以决定换个优化算法试试,具体见下文。
荣仔_最靓的仔
2022/01/10
7880
「深度学习一遍过」必修11:优化器的高级使用+学习率迭代策略+分类优化目标定义
Pytorch模型训练实用教程学习笔记:四、优化器与学习率调整
最近在重温Pytorch基础,然而Pytorch官方文档的各种API是根据字母排列的,并不适合学习阅读。 于是在gayhub上找到了这样一份教程《Pytorch模型训练实用教程》,写得不错,特此根据它来再学习一下Pytorch。 仓库地址:https://github.com/TingsongYu/PyTorch_Tutorial
zstar
2022/09/20
8280
9种神经网络优化算法详解
在深度学习中,有一个“损失loss”的概念,它告诉我们:模型在训练数据中表现的“多差”。
皮大大
2025/02/07
7210
深度学习——优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam)
在机器学习、深度学习中使用的优化算法除了常见的梯度下降,还有 Adadelta,Adagrad,RMSProp 等几种优化器,都是什么呢,又该怎么选择呢? 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较,今天来学习一下: https://arxiv.org/pdf/1609.04747.pdf 本文将梳理: 每个算法的梯度更新规则和缺点 为了应对这个不足而提出的下一个算法 超参数的一般设定值 几种算法的效果比较 选择哪种算法 ---- 0.梯度下降法深入理解 以下为个人总结,如有错误
10JQKA
2018/05/09
8.4K0
深度学习——优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam)
【知识】PyTorch中不同优化器的特点和使用
小锋学长生活大爆炸
2025/04/09
3940
深度学习:神经网络优化技巧
在深度学习中,有一个“损失loss”的概念,它告诉我们:模型在训练数据中表现的“多差”。
皮大大
2025/05/09
1480
收藏 | 从SGD到NadaMax,深度学习十种优化算法原理及实现
虽然有凑数的嫌疑,不过还是把SGD也顺带说一下,就算做一个符号说明了。常规的随机梯度下降公式如下:
小白学视觉
2022/09/28
4490
【动手学深度学习】深入浅出深度学习之RMSProp算法的设计与实现
RMSProp(Root Mean Square Propagation)算法是由Geoffrey Hinton在2012年提出的,是对传统的梯度下降算法的改进。它是一种常用的优化算法,用于在深度学习中更新神经网络的参数。
SarPro
2024/04/10
5100
【动手学深度学习】深入浅出深度学习之RMSProp算法的设计与实现
torch.optim
为了使用torch.optim,你必须构建一个优化对象,那将会保持现有的状态,并且基于计算的来更新参数。
狼啸风云
2020/06/12
1.7K0
深度学习: 模型优化算法
随机梯度下降法、基于动量的随机梯度下降法 和 Nesterov型动量随机下降法 彼此性能相近; Adagrad法、Adadelta法、RMSProp法 和 Adam法 彼此性能相近。
JNingWei
2018/09/27
8550
【深度学习实验】网络优化与正则化(五):数据预处理详解——标准化、归一化、白化、去除异常值、处理缺失值
  目前,研究人员通过大量实践总结了一些经验方法,以在神经网络的表示能力、复杂度、学习效率和泛化能力之间取得良好的平衡,从而得到良好的网络模型。本系列文章将从网络优化和网络正则化两个方面来介绍如下方法:
Qomolangma
2024/07/30
1.1K0
【深度学习实验】网络优化与正则化(五):数据预处理详解——标准化、归一化、白化、去除异常值、处理缺失值
【深度学习实验】网络优化与正则化(七):超参数优化方法——网格搜索、随机搜索、贝叶斯优化、动态资源分配、神经架构搜索
  目前,研究人员通过大量实践总结了一些经验方法,以在神经网络的表示能力、复杂度、学习效率和泛化能力之间取得良好的平衡,从而得到良好的网络模型。本系列文章将从网络优化和网络正则化两个方面来介绍如下方法:
Qomolangma
2024/07/30
1.4K0
【深度学习实验】网络优化与正则化(七):超参数优化方法——网格搜索、随机搜索、贝叶斯优化、动态资源分配、神经架构搜索
深度学习基础知识(七)--- 各种优化方法
深度学习中,优化算法的 目标函数 通常是一个基于训练集的损失函数,优化的目标在于降低训练误差。
TeeyoHuang
2020/02/18
1.4K0
深度学习基础知识(七)--- 各种优化方法
推荐阅读
【深度学习实验】网络优化与正则化(三):随机梯度下降的改进——Adam算法详解(Adam≈梯度方向优化Momentum+自适应学习率RMSprop)
5340
动手学深度学习(八) 优化算法进阶
1.4K0
【深度学习实验】网络优化与正则化(一):优化算法:使用动量优化的随机梯度下降算法(Stochastic Gradient Descent with Momentum)
3760
从零开始学Pytorch(十四)之优化算法进阶
6730
深度学习中的优化算法与实现
1.1K0
【深度学习实验】网络优化与正则化(六):逐层归一化方法——批量归一化、层归一化、权重归一化、局部响应归一化
6580
caffe详解之优化算法
5280
「深度学习一遍过」必修11:优化器的高级使用+学习率迭代策略+分类优化目标定义
7880
Pytorch模型训练实用教程学习笔记:四、优化器与学习率调整
8280
9种神经网络优化算法详解
7210
深度学习——优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam)
8.4K0
【知识】PyTorch中不同优化器的特点和使用
3940
深度学习:神经网络优化技巧
1480
收藏 | 从SGD到NadaMax,深度学习十种优化算法原理及实现
4490
【动手学深度学习】深入浅出深度学习之RMSProp算法的设计与实现
5100
torch.optim
1.7K0
深度学习: 模型优化算法
8550
【深度学习实验】网络优化与正则化(五):数据预处理详解——标准化、归一化、白化、去除异常值、处理缺失值
1.1K0
【深度学习实验】网络优化与正则化(七):超参数优化方法——网格搜索、随机搜索、贝叶斯优化、动态资源分配、神经架构搜索
1.4K0
深度学习基础知识(七)--- 各种优化方法
1.4K0
相关推荐
【深度学习实验】网络优化与正则化(三):随机梯度下降的改进——Adam算法详解(Adam≈梯度方向优化Momentum+自适应学习率RMSprop)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验