zingpLiu-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

zingpLiu

专栏成员

62

文章

101426

阅读量

17

订阅数

BERT模型详解

日志服务 NLP 服务

1 简介 BERT全称Bidirectional Enoceder Representations from Transformers，即双向的Transformers的Encoder。是谷歌于2018年10月提出的一个语言表示模型（language representation model）。 1.1 创新点预训练方法（pre-trained）：用Masked LM学习词语在上下文中的表示；用Next Sentence Prediction来学习句子级表示。 1.2 成功强大，效果好。出来之时，

2020-10-27

2.3K0

python获取系统信息模块psutil

　　psutil,(process and system utilities)，可以通过一两行代码实现系统监控，还可以跨平台使用，支持Linux／UNIX／OSX／Windows等，是系统管理员和运维小伙伴不可或缺的必备模块。

2020-04-08

1.3K0

TensorFlow中使用GPU

TensorFlow默认会占用设备上所有的GPU以及每个GPU的所有显存；如果指定了某块GPU,也会默认一次性占用该GPU的所有显存。可以通过以下方式解决：

2020-02-19

4.3K0

C++内存管理与注意事项

内存是程序运行必不可少的资源，由操作系统分配和管理。作为程序员，我们通常做的只能是申请和归还。本文主要介绍C++内存的申请和释放（归还），以及注意事项。

2020-02-14

5010

深入理解Transformer及其源码解读

机器学习神经网络深度学习人工智能

深度学习广泛应用于各个领域。基于transformer的预训练模型（gpt/bertd等）基本已统治NLP深度学习领域，可见transformer的重要性。本文结合《Attention is all you need》与Harvard的代码《Annotated Transformer》深入理解transformer模型。 Harvard的代码在python3.6 torch 1.0.1 上跑不通，本文做了很多修改。修改后的代码地址：Transformer。

2019-10-24

2.2K0

Dropout原理与实现

神经网络 http

　　Dropout是深度学习中的一种防止过拟合手段，在面试中也经常会被问到，因此有必要搞懂其原理。

2019-10-08

8650

指针生成网络(Pointer-Generator-Network)原理与实战

https 网络安全 javascript

本文主要内容：介绍Pointer-Generator-Network在文本摘要任务中的背景，模型架构与原理、在中英文数据集上实战效果与评估，最后得出结论。参考的《Get To The Point: Summarization with Pointer-Generator Networks》以及多篇博客均在文末给出连接，文中使用数据集已上传百度网盘，代码已传至GitHub，读者可以在文中找到相应连接，实际操作过程中确实遇到很多坑，并未在文中一一指明，有兴趣的读者可以留言一起交流。由于水平有限，请读者多多指正。

2019-09-27

2.6K0

python【第五篇】常用模块学习

python shell unix 编程算法

a.定义：本质就是.py结尾的python文件，逻辑上组织python代码，实现某种功能。例：文件名test.py-->模块名test。

2019-09-12

1.1K0

深度学习中的优化算法总结

python tensorflow 深度学习编程算法

深度学习中的优化问题通常指的是：寻找神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。针对此类问题，研究人员提出了多种优化算法，Sebastian Ruder 在《An overview of gradient descent optimizationalgorithms》（链接：https://arxiv.org/pdf/1609.04747.pdf ）这篇论文中列出了常用优化算法的比较。主要优化算法有：GD、SGD、Momentum、Adagrad、Adadelta、RMSProp、Adam。

2019-08-20

1K0

Hadoop伪分布式搭建

xml spark hadoop scala

1 系统环境搭建的系统环境为centos7.5。 root@localhost ~]# lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 7.5.1804 (Core) Release: 7.5.1804 Codename: Core 2 修改主机名 2.1 主机名修改为hadoop1。 [root@

2019-07-25

8730

集成学习总结

决策树神经网络深度学习人工智能编程算法

1 基本概念集成学习的主要思路是先通过一定的规则生成多个学习器，再采用某种集成策略进行组合，最后综合判断输出最终结果。一般而言，通常所说的集成学习中的多个学习器都是同质的"弱学习器"。基于该弱学习器，通过样本集扰动、输入特征扰动、输出表示扰动、算法参数扰动等方式生成多个学习器，进行集成后获得一个精度较好的"强学习器"。目前集成学习算法大多源于bagging、boosting、stacking三种思想。 2 bagging 一种提高分类模型的方法。 (1) 从训练集\(S\)中有放回的随机选取数据集\(

2019-06-25

6710

文章从模型评估的基本概念开始，分别介绍了常见的分类模型的评估指标和回归模型的评估指标以及这些指标的局限性。部分知识点举例加以阐述，以便加深理解。思维导图如下： 1 基本概念模型评估用来评测模型的

2019-04-01

1.2K0

过拟合与对策

编程算法决策树机器学习神经网络深度学习

为了防止过拟合，可以为损失函数加上一个惩罚项对复杂的模型进行惩罚，即强制让模型的参数值尽可能小。加上正则化项的目标是让它的值尽可能小，即参数等于0或者接近于0。\(\lambda\)为惩罚项系数，是人工设定的大于0的参数。

2019-03-15

8380

梯度下降法原理与python实现

梯度下降法（Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。本文将从最优化问题谈起，回顾导数与梯度的概念，引出梯度下降的数据推导；概括三种梯度下降方法的优缺点，并用Python实现梯度下降（附源码）。 1 最优化问题最优化问题是求解函数极值的问题，包括极大值和

2019-03-04

2.1K0

Centos7.4 安装mysql5.7

云数据库 SQL Server 数据库 sql

此次安装的是5.7版本，该版本安装成功后，在日志文件/var/log/mysqld.log文件中给root生成了一个默认密码；查看密码：

2019-02-25

6580

信息论中的基本概念

1 信息量定义：信息量是对信息的度量。就跟时间的度量是秒一样，当我们考虑一个离散的随机变量x的时候，当我们观察到的这个变量的一个具体值的时候，我们接收到了多少信息呢? 多少信息用信息量来衡量，我

2019-02-25

9980

常用七种排序的python实现

算法复杂度分为时间复杂度和空间复杂度。其中，时间复杂度是指执行算法所需要的计算工作量；而空间复杂度是指执行这个算法所需要的内存空间。

2018-09-05

3770

【实战小项目】python开发自动化运维工具--批量操作主机

python 运维 ssh 开源

有很多开源自动化运维工具都很好用如ansible/salt stack等，完全不用重复造轮子。只不过，很多运维同学学习Python之后，苦于没小项目训练，本篇演示用Python写一个批量操作主机的工具，大家空余时候可以试着写写，完善完善。

2018-09-05

1.3K0

协程及Python中的协程

python 压力测试

协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。（其实并没有说明白~）

2018-09-05

1.3K0

深入理解计算机系统系列【计算机系统漫游】

单片机 shell arm ide

操作系统原理是计算机行业基本功，想要成为一名计算机领域的专业人士，必不可少要打好基础。最近打算重点读一读《深入理解计算机系统》这本书，回顾和提升自己对计算机和操作系统的理解。这是第一篇：【计算机系统漫游】。【计算机系统漫游】主要通过跟踪hello程序的生命周期来开始对系统的学习----从它被程序员创建开始，到在系统上运行，输出简单的消息，然后终止。本文将沿着这个程序的生命周期，简要地介绍一些逐步出现的关键概念、专业术语和组成部分。

2018-09-05

6040

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态