1. 开发人员将代码上传到Gitlab代码管理平台 2. 创建jenkins自动化任务，安装maven、gitlab webhook插件实现自动检测代码管理平台的项目代码变动，自动进行打包、部署。 3. 将打好的jar包发布到docker上
1：输入命令ssh-keygen 四个回车 生成公钥和私钥 2： 输入命令ssh-copy-id 把本地主机的公钥复制到远程主机的authorized_keys文件上 3: ssh 主机名或者ip地址 注： 无密码登录先要关闭防火墙和selinux
Hadoop是一个用Java编写的框架，它允许在大型商品硬件集群上以分布式方式处理大型数据集。
如果遇到Fatal: HttpRequestException encountered问题
Hadoop作为一个分布式计算应用框架，种类功能繁多，而Hadoop Yarn作为其核心组件之一，负责将资源分配至各个集群中运行各种应用程序，并调度不同集群节点上的任务执行。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行恶意命令。Hadoop Yarn RPC未授权访问漏洞存在于Hadoop Yarn中负责资源管理和任务调度的ResourceManager，成因是该组件为用户提供的RPC服务默认情况下无需认证即可访问。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
我们有时候会用到利用远程服务器，java代码怎么链接到远程服务器上呢，这里我们做下简单的封装。
sudo apt-get update sudo apt-get install default-jre sudo apt-get install default-jdk
在这篇文章里，我将在 VMWare 里面虚拟四台 Debian 虚拟机，一个做master，三个slave。这四台主机的 hostname 分别是 master、slave1、slave2、slave3。下面的 JDK 和 Hadoop 安装配置操作都是使用普通用户 hadoop 来执行，并非 root。
开发环境 JDK 8 1、官网下载安装 Java SE Development Kit 8u251 2、配置环境变量 cd ~/ touch .bash_profile (.bash_profile存在省略此步骤） open -e .bash_profile 打开.bash_profile 配置JAVA_HOME 替换成自己jdk安装目录 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Contents
思路 ssh 方式链接到 Github／GitLab，需要唯一的公钥，如果想同一台电脑绑定两个Github/GitLab 帐号，需要两个条件: 1.能够生成两对 私钥/公钥 2.push 时，可以区分两个账户，推送到相应的仓库
或者 链接:https://pan.baidu.com/s/1JdPCMMEq178hXV5V4Ild3Q 密码:03l1
《CDH5部署三部曲》共三篇文章，对CDH5.7.2版本的准备、部署、启动、设置等环节进行实战，内容如下：
Map Reduce什么的我是不懂啊。 今天是帮马同学搭建Hadoop。 用的2.2.0版本，结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告。 Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的，而我们的机器是64位。 解决的办法就是重新在64位的机器上编译hadoop。 恰好马同学刚刚步入linux用户的行列，连机器上的Ubuntu都是新装的，因此，为了编译hadoop，一切都得从头配置。
由于 Hadoop 是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置 Hadoop 的情况，这对于学习者来说会制造诸多障碍，主要有两个：
要想在java领域成为大牛，除了不断进行项目实战以外，还要不断的进行进修和学习，以下将本人学习java多年使用的好书和一些好的视频推荐给大家，这些书和视频都是本人在网络找了很久，后来又经过实践证明的好书和视频。希望对大家学习java有帮助
将java的环境变量配置到【/etc/profile.d/hadoop-eco.sh】
OTA（Over-the-Air Technology）空中下载技术，具体参考此文介绍。
使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…
今天git push的时候碰到个奇怪的问题，push的进度卡在25%，最后提交失败，报上述图片中的错误。看提交的过程日志发现竟然有1个多G的内容要提交！而正常的情况下一般几秒钟就OK了，而且我也没有改动几个文件呀？！
先参考：《Hadoop-2.3.0-cdh5.1.0伪分布安装（基于CentOS）》 http://www.linuxidc.com/Linux/2014-09/106372.htm
简介 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS
最近参加公司的内部面试，作为一名DepOps 工程师。对于Linux 技术相关的面试的问题，肯定少不了。试想一下，假如自己是一位面试官，我会问面试者什么问题。我总结一下几个Linux基本的问题， 也是运维中常用的知识。
192.168.1.10 由于刚才已经与gitlab进行sshd密钥部署，就不重新获取了
https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
由于公司的Jenkins任务越来越多，而且所有的Android Jenkins任务都在同一台服务器上进行编译，而且该服务器配置Jenkins任务最多3个任务同时运行，所以有时候大家一起编译的时候，只能一个一个的等待。
由于资源紧张，Jenkins+harbor合并为一台了。实际上，应该是要单独部署的。
在linux机器上安装python环境，并且使用命令pip3 install webssh,装上这个模块
搭建自动化构建（jenkins）的过程中碰到了挺多问题，需要装各种插件解决。为了方便下次部署，这里先记录一下用到的插件及用途
环境变量 JAVA_HOME=C:\Program Files\Java\jdk1.8.0_191
单节点的Jenkins在实际生产中是很少使用的，满足不了生产环境的业务，所以我们一定是使用Jenkins集群来做持续集成，Jenkins的集群搭建是非常简单的，而且有多种方式。下面我们来介绍一下。
我的 Jenkins 是运行在容器中的（之前有文章已经分享过容器运行 Jenkins 的方式），所以很显然，容器能执行的任务非常有限，甚至可以说是基本没啥用。但是那都不是事儿，毕竟 Jenkins 一般来说也不是单机执行，而是会配置主从节多节点执行任务，不同的节点分配不同的任务去执行，所以只需要执行节点有环境就可以执行对应环境需求的任务，根本不需要主节点配置任务环境。
Docker和Spring Boot是非常流行的组合，我们将利用GitLab CI的优势，并在应用程序服务器上自动构建，推送和运行Docker镜像。
1、用户APP采用JAVA环境布署，初始环境两台服务器，实现负载均衡与高可用，前端负载使用nginx 做负载
Loading mirror speeds from cached hostfile
ubuntu的bash窗口窗与在xshell不同，通过shift+v无法黏贴，并且在输入界面鼠标右键无法使用。粘贴文件的方法如下
如上图 准备好该准备的食材（ps：其中的hadoop-3.1.2-src更改为hadoop-3.1.2
@Transactional这个注解是能够继承的。于是就想写在抽取的BaseDao层上，让实现的类能够不用写@Transactional，就可开启事务。
网上和很多书上都有不少的hadoop在linux系统下的安装教程，但是尝试过的读者会发现，就算是按照这些教程一步步的操作，还是会在某个地方出错，主要原因是版本问题。尤其是书上的版本一般都较老，所以并不建议对着书上的教程来操作，但是可以作为参考。下面给出我自己亲身实践的安装过程，尽量把我知道的原理也写出来，这样就算有些步骤出现问题，知道了原因也是很容易解决的，就怕出现问题了，还不知道问题出在哪？
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/171994.html原文链接：https://javaforall.cn
本文主要介绍了一种通过脚本自动化部署Java Web应用到Tomcat服务器的方法。主要包括准备工作、部署过程和总结。首先，通过下载和安装Java和Tomcat，使用脚本工具（如Shell和PowerShell）进行部署。然后，通过修改配置文件，使Tomcat支持Web应用的访问。最后，总结了这种方法的优缺点，并给出了一些建议。
网上找的科普贴，整理了一下发给大家，出处见底部链接。有许多类比的例子不太准确，大家参考下就行。
本文以部署 Spring boot + Maven 项目为例，使用码云作为代码托管仓库，在 CentOS 7 上搭建 Jenkins 持续集成环境。
十一月是比较特殊的月份，因为很多云资源都是在这个时候过期，包括我自己买的云服务器。作为开发人员，哪能少了自己爹云服务器，于是赤资买了一台腾讯云轻量级云服务器。也不是偏爱腾讯云的，关键是它有小程序，可以直接用微信管理服务器。
本文为大数据基础系列 4：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析，以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例。本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。
之前在网上看过一篇文章，是讲Tomcat进程意外退出的，我看完感觉好奇，自己也测试了下，果然是有这种问题，所以自己也借此总结一下。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
