首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >吴恩达深度学习笔记 2.6~2.9 logistic中的梯度下降

吴恩达深度学习笔记 2.6~2.9 logistic中的梯度下降

作者头像
Dar_Alpha
发布于 2018-09-03 08:43:11
发布于 2018-09-03 08:43:11
7170
举报
文章被收录于专栏:技术小站技术小站

之前我们已经了解了Coss Function的定义,它是一个convex,所以我们能找到它的全局最优解,我们可以先可以先随便选取一组w,b,求得刚开始J(w,b)对w的偏导,用公式:

我们可以对w进行更新,其中α为学习率,为梯度下降的步长,α越大,步长越大,同理也可以对b更新,最后经过一步步迭代,我们能够找到最优解使得Cost Function最小.

逻辑回归中包含了正向传播和反向传播,用一个计算图来表示其过程

计算图:

举一个简单的例子例:

把j(a,b,c)看作logistic回归成本函数j=3(a+bc),它的计算过程为让u=bc,v=a+u 得j=3v

其中正向传播为从左到右得到成本函数的过程

反向传播为对其进行求导得到dJ/da,dJ/db,dJ/dc

现在对一个逻辑回归进行梯度计算:

给定的逻辑回归中,Loss Function 表达式如下:

对于正向传播非常简单,假设输入样本x有两个特征值(x1,x2)则对应的w为w1,w2,则对应的最后的Loss Fuction如下:

 对于反向传播计算如下:

得到dz以后就可以对w1,w2进行求导了

梯度下降算法

上述表示的是单个样本的logistic回归,对于多个样本的logistic回归表示如下:

Cost Function为:

假设该logistic回归有两个特征值,那么dw1,dw2,db表示如下:

算法流程图如下:

代码语言:text
AI代码解释
复制
J=0; dw1=0; dw2=0; db=0;        //对w1,w2,b,以及J初始化
for i = 1 to m
    z(i) = wx(i)+b;
    a(i) = sigmoid(z(i));
    J += -[y(i)log(a(i))+(1-y(i))log(1-a(i));
    dz(i) = a(i)-y(i);
    dw1 += x1(i)dz(i);
    dw2 += x2(i)dz(i);
    db += dz(i);
J /= m;
dw1 /= m;
dw2 /= m;
db /= m;完成上述算法即完成了一次迭代,通过公式:对其进行更新,这样经过多次迭代后,就能得出最优解
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-07-15 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
学习笔记 | 吴恩达之神经网络和深度学习
机器学习 机器学习研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身。简单的说,就是计算机从数据中学习规律和模式,以应用在新数据上做预测的任务。 深度学习概念 深度学习指的是训练神经网络,有时候规模很大。 线性回归 回归函数,例如在最简单的房价预测中,我们有几套房屋的面积以及最后的价格,根据这些数据来预测另外的面积的房屋的价格,根据回归预测,在以房屋面积为输入x,输出为价格的坐标轴上,做一条直线最符合这几个点的函数,将它作为根据面积预测价格的根据,这条线就是
用户1332428
2018/03/09
1.2K0
学习笔记 | 吴恩达之神经网络和深度学习
神经网络和深度学习(吴恩达-Andrew-Ng):一二周学习笔记
机器学习: 机器学习研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身。简单的说,就是计算机从数据中学习规律和模式,以应用在新数据上做预测的任务。
用户1740424
2018/07/23
2.4K0
神经网络和深度学习(吴恩达-Andrew-Ng):一二周学习笔记
Coursera吴恩达《神经网络与深度学习》课程笔记(2)-- 神经网络基础之逻辑回归
上节课我们主要对深度学习(Deep Learning)的概念做了简要的概述。我们先从房价预测的例子出发,建立了标准的神经网络(Neural Network)模型结构。然后从监督式学习入手,介绍了St
红色石头
2017/12/28
8300
Coursera吴恩达《神经网络与深度学习》课程笔记(2)-- 神经网络基础之逻辑回归
深度学习教程 | 神经网络基础
本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。
ShowMeAI
2022/04/14
1.2K0
深度学习教程 | 神经网络基础
Logistic回归
一般约定,x的上标(i)表示第i个样本;在矩阵中表示样本,通常将样本各个维度的特征写成列向量,一列就是一个样本的各个特征。 那么Y矩阵就是一个1*m矩阵,m是样本数目。还约定n_x为X中样本特征的维度。在python里的表示为
Sarlren
2022/10/28
4800
深度学习神经网络中的梯度检查
多维梯度 LINEAR - > RELU - > LINEAR - > RELU - > LINEAR - > SIGMOID
夜雨飘零
2020/05/06
8140
神经网络和深度学习(二) ——从logistic回归谈神经网络基础
神经网络和深度学习(二)——从logistic回归谈神经网络基础 (原创内容,转载请注明来源,谢谢) 一、概述 之前学习机器学习的时候,已经学过logistic回归,不过由于神经网络中,一些思想会涉及到logistic,另外会拿一些神经网络用到的解决方案,以logistic来举例,更浅显易懂(例如BP算法)。 因此,这里就再次复习logistic回归及其梯度下降、代价函数等,主要是讲述和后面学习神经网络有关的内容,其他部分会快速略过。 二、logistic输出函数 logistic是解决
用户1327360
2018/03/07
1.8K0
神经网络和深度学习(二) ——从logistic回归谈神经网络基础
深度学习-神经网络
说明:反向传播通常是深度学习中最难(最具数学性)的部分。为了帮助您,这里再次是关于反向传播的演讲的幻灯片。您将要使用此幻灯片右侧的六个等式,因为您正在构建向量化实现。
freesan44
2021/10/12
3580
吴恩达深度学习笔记 3.1~3.11 浅层神经网络
神经网络的结构与逻辑回归类似,只是神经网络的层数比逻辑回归多了一层,多出的中间一层叫隐藏层,那么,神经网络的计算就相当于多进行一次逻辑回归的计算
Dar_Alpha
2018/09/03
9020
吴恩达深度学习笔记 3.1~3.11 浅层神经网络
吴恩达 —— 深度学习 Course 1 笔记
Course1:神经网络和深度学习,包括: ---- [1] Week1:深度学习概述 [2] Week2:神经网络基础 [3] Week3:浅层神经网络 [4] Week4:深层神经网络 [
echobingo
2018/04/25
8890
吴恩达 —— 深度学习 Course 1 笔记
Deeplearning.ai 课程笔记第一部分:神经网络与深度学习
神经网络就是由若干神经元组合而成的网络结构,其包含输入层、隐藏层和输出层。而含有多层隐藏层的神经网络即为深度神经网络。下图给出了一个深度神经网络的示意图。
口仆
2020/08/17
9480
【中文】【吴恩达课后编程作业】Course 1 - 神经网络和深度学习 - 第三周作业
上一篇:【 课程1 - 第三周测验】※※※※※ 【回到目录】※※※※※下一篇:【课程1 - 第四周测验】
Steve Wang
2019/05/28
2.2K0
【中文】【吴恩达课后编程作业】Course 1 - 神经网络和深度学习 - 第三周作业
从逻辑回归开始入门深度学习
在介绍逻辑回顾处理图片分类。我们处理的问题是二分类,输入一张图片判断图片中是否有猫。输入图片格式为RGB三色图,像素取值为0~255。
用户1631856
2020/05/12
1.2K0
从逻辑回归开始入门深度学习
【中文】【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第一周作业(1&2&3)
上一篇:【课程2 - 第一周测验】※※※※※ 【回到目录】※※※※※下一篇:【课程2 - 第二周测验】
Steve Wang
2019/05/28
8970
【中文】【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第一周作业(1&2&3)
深度学习神经网络中正则化的使用
如果训练数据集不够大,由于深度学习模型具有非常大的灵活性和容量,以至于过度拟合可能是一个严重的问题,为了解决这个问题,引入了正则化的这个方法。要在神经网络中加入正则化,除了在激活层中加入正则函数,应该dropout也是可以起到正则的效果。我们来试试吧。
夜雨飘零
2020/05/06
9020
神经网络之反向传播
上节课给大家简单介绍了神经网络,并且重点介绍了神经网络的前向传播工作原理。可能有些同学觉得难,因为上节课涉及到一些矩阵运算,以前没有学过线性代数的同学可能就看不懂了。这里想告诉大家的是,深度学习确实是需要数学基础的,接下来还会有不少求导(偏导)、向量以及矩阵运算等等,要求掌握高数、线性代数等学科知识,所以深度学习不是人人都适合学的。
用户7569543
2020/07/20
7540
神经网络之反向传播
神经网络基础
逻辑回归是一个主要用于二分分类类的算法。那么逻辑回归是给定一个xx , 输出一个该样本属于1对应类别的预测概率\hat{y}=P(y=1|x)​y​^​​=P(y=1∣x)。
Lansonli
2021/10/09
3020
深度学习-优化参数
L2正则化依赖于这样的假设:具有小权重的模型比具有大权重的模型更简单。因此,通过惩罚成本函数中权重的平方值,您可以将所有权重驱动为更小的值。拥有大重量的成本太昂贵了!这导致更平滑的模型,其中输出随输入变化而变化更慢。
freesan44
2021/10/12
5370
【中文】【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第二周作业
上一篇:【课程2 - 第二周测验】※※※※※ 【回到目录】※※※※※下一篇:【课程2 - 第三周测验】
Steve Wang
2019/05/28
9400
【中文】【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第二周作业
【中文】【吴恩达课后编程作业】Course 1 - 神经网络和深度学习 - 第四周作业(1&2)
上一篇:【课程1 - 第四周测验】※※※※※ 【回到目录】※※※※※下一篇:【课程2 - 第一周测验】
Steve Wang
2019/05/28
1.6K0
【中文】【吴恩达课后编程作业】Course 1 - 神经网络和深度学习 - 第四周作业(1&2)
推荐阅读
相关推荐
学习笔记 | 吴恩达之神经网络和深度学习
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档