在进行zookeep安装的时候,遇到错误,错误提示大致意思是ruby版本太低,需要升级至2.2.2以上.果然,在终端使用ruby -v查看版本为2.0.
本来有套好好的集群,可是不知道为什么虚拟机镜像文件损坏,结果导致集群不能用。所以不得不重新搭套集群,借此机会顺便再重新搭套吧,顺便提醒一句大家,自己虚拟机的集群一定要及时做好快照,最好装完每个东西后记得拍摄快照。要不搞工具真的很浪费时间,时间一定要用在刀刃上。废话不多说,开始准备环境搭建,本集群搭建完全基于企业思想,所以生产集群亦可以参照此搭建。
本篇文章描述的是在1.2.1版本的基础上安装Hadoop加上0.94.16版本的hbase,呵呵!现在看来这些版本都有些过时了,写这篇稿子的时候hadoop刚出2.3.0版。如果你是新手或是刚踏入hadoop不妨看看我这篇文档,一步一步脚踏实地的来学习这些基础的东西。
最近为了方便开发,在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群,hadoop集群的搭建与zookeeper集群这里就不再详细说明,原来的笔记中记录过。这里将hbase配置参数进行相应整理,方便日后使用。
如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/
hadoop、hbase、zookeeper是大数据里面三个重要的产品,关于这三个产品的介绍,各种书籍和网站介绍得很多,在这里不再赘述,仅介绍在ubunt下如何安装和配置这三种产品。
修改conf/hbase-site.xml,配置hbase使用的数据文件的位置,默认在/tmp/hbase-[username],此目录是linux的临时目录,可能会被系统清空,所以最好修改一下
unable to create new native thread,看到这里,首先想到的是让运维搞一份线上的线程堆栈(可能通过jstack命令搞定的)。发现线上的堆栈竟然有5M多大,打开文件后线程数量居然达到了8000多个。有大量的线程堆栈如下图所示:
hadoop、hbase、zookeeper、hive是大数据里面四个重要的产品,关于这四个产品的介绍,各种书籍和网站介绍得很多,在这里不再赘述,仅介绍在ubunt下如何安装和配置这三种产品。
是这样的,ZooKeep的获取锁时会在/exclusive_lock节点下创建子节点,如果创建成功则获得锁。如果失败,则客户端会在该节点注册一个子节点变更的Watcher监听。
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合、异步消息、流量削锋等问题,具有高扩展性、可恢复性、送达保证、顺序保证等特点,可以实现高性能、高可用、可伸缩和最终一致性架构。目前在生产环境,使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ、Redis等。
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
下面的清单包含Headless Service,Service,PodDisruptionBudget和StatefulSet。
协议 、 序列化方式、 服务发现 、 服务路由 、 日志输出等行为进行封装的服务框架 。 就这样为分布式系统的服务治理框架就出现了, Dubbo 也就这样产生了。
最近两年,大数据这个词非常火,以大数据为基础和核心的人工智能也以迅雷不掩耳之势蔓延到各个领域,无人驾驶,无人超市,智慧城市等等。毫无疑问,火爆的大数据已然成为当今互联网世界中的新宠儿,创造着巨大的商业价值,是当今互联网巨头的必争之地。
圈子里几个常玩的伙伴,聚在一起吃火锅,或者喝咖啡,通常都会问些特技术范儿的问题。上面这个,就是常问的问题之一。
Dubbo offers three key functionalities, which include interface based remote call, fault tolerance & load balancing, and automatic service registration & discovery.
getpots是Shell命令行参数解析工具,旨在从Shell Script的命令行当中解析参数。getopts被Shell程序用来分析位置参数,option包含需要被识别的选项字符,如果这里的字符后面跟着一个冒号,表明该字符选项需要一个参数,其参数需要以空格分隔。冒号和问号不能被用作选项字符。getopts每次被调用时,它会将下一个选项字符放置到变量中,OPTARG则可以拿到参数值;如果option前面加冒号,则代表忽略错误;
如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题:
nohup python -u test.py > test.log 2>&1 &
display stp brief命令中关注端口的角色和对应的状态,通过这种简要信息可以快速的检查网络中各个端口的stp情况,稳定情况下正常情况下角色状态对应关系如下表:
1、查看到进程占用的端口号 netstat -lnp | grep 5000 netstat -anp | grep pid pgrep python3 | xargs kill -s 9 2、查看8000端口的使用情况 lsof -i:8000 3、netstat命令各个参数说明如下 -t:指明显示TCP端口 -u:指明显示UDP端口 -n:不进行DNS轮询,显示IP(可以加速操作) -p:显示进程标识符和程序名称,每一个套接字/端口都属于一个程序 -l:仅显示监听套接字(所谓套接字就是使应用程序能够读写
日常开发业务和维护服务器的时候,难免会使用Liunx或者其他类型的操作系统,我这里就统一记录一下Liunx的一些基本指令,以便日后可快速查找相应的指令
–输入以下命令:SHOWVARIABLESWHEREVARIABLE_NAME=’port’就可以查看当前连接的端口号,–例如:mysql>SHOWVARIABLESWHEREVARIABLE_NAME=’port’;
-l : 仅显示监听套接字(所谓套接字就是使应用程序能够读写与收发通讯协议(protocol)与资料的程序)
Centos7下多个微服务java -jar 启动后通过进程查看端口以及通过端口查看进程 实践笔记 1.top查看一下,可以看到多个java的进程,而我们这边部署了多个java -jar 启动的微服务,分不清谁是谁。 2.根据进程名查看进程信息,以查看java进程名为例,查看所对应的进程id为18381(或者使用: ps -aux | grep java 查看占用内存等信息) 3.根据进程id查看进程占用端口,可以查看到对应端口为8204(如果没有netstat命令,使用 yum -y install ne
-t : 指明显示TCP端口,t是TCP的首字母。 -u : 指明显示UDP端口,u是UDP的首字母 -l : 仅显示监听套接字(所谓套接字就是使应用程序能够读写与收发通讯协议(protocol)与资料的程序),l是listening的首字母。 -p : 显示进程标识符和程序名称,每一个套接字/端口都属于一个程序,p是program的首字母。 -n : 不进行DNS轮询,显示IP(可以加速操作),n是numeric的首字母,以数字形式显示地址和端口号。 -a:显示所有连接和侦听端口,a是all的首字母。 -o:显示拥有的每个连接关联的进程id,o是own的首字母。
Nmap是Network Mapper的简称。Nmap是一款免费、开源的网络发现和侦察工具。Nmap可以扫描网络中的处于活动状态的主机、开放端口、操作系统版本和服务检测以及执行隐匿方式的信息扫描。安装方式如下:
--1 端口是否占用 netstat -apn | grep 1521 netstat -ano|grep 1521 netstat -lnp|grep 1521 --windows netstat -ano | findstr "1521" tasklist | findstr "3572"
netstat用来查看系统当前系统网络状态信息,包括端口,连接情况等,常用方式如下:
Redis主从复制[下] 5.2 薪火相传: 5.2.1 配置之前先查看主机的主从配置信息: 5.2.2 配置6381端口的主机位6380端口: 5.2.3 查看6381端口的主从配置信息: 5.2.4 查看6380端口的主从配置信息: 5.2.5 查看主机6379端口: 5.2.6 主机(6379端口)设置值:`set k9 v9` 5.2.7 从机获取值: 5.3 反客为主 5.3.1 假设主机挂掉: 5.3.2 配置6380反客为主 5.3.3 让6381的主机变为6380 5.3.4 6379
根据端口号查询进程 netstat -nap | grep port 查看进程信息: ps -aux | grep pid
Ruijie#delete config.text //删除配置文件“config.text"
小编很懒,好久没更新文章了,今天抽风,汇总一下IDC中心不同厂家设备的端口光衰(光功率值)查看命令,当前数据机房所有设备都是光纤互联,所以查看设备之间两个端口光衰是尤为重要的。不同厂家设备的端口光功率值查看命令是不一样的,容易混淆和忘记,这里汇总一下,备忘。
在安装nginx,mysql,tomcat等等服务的时候,我们会遇到需要使用的端口莫名其妙被占用,下面介绍如何解决这类问题。
上图中最后一步 杀掉进程可使用 taskkill /f /t /im 10744,或者 taskkill /f /t /im java.exe
防火墙:主要用户信息安全防护,主要有软件防火墙和硬件防火墙。firewalld防火墙是软件防火墙 在centos7 之前默认采用的防火墙是iptables,而在centos 7则是采用firewall
工作中,使用linux系统时,部署服务,排查问题,都离不开防火墙和端口的相关操作,比如怎么查看防火墙状态,端口占用怎么查看,以及如何开放一个端口等,今天同哥就把linux防火墙操作的命令做一个总结,希望对刚入门linux童鞋一点帮助。
Centos查看端口占用情况命令,比如查看80端口占用情况使用如下命令: lsof -i tcp:80 列出所有端口 netstat -ntlp 1、开启端口(以80端口为例) 方法一: /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT 写入修改 /etc/init.d/iptables save 保存修改 service iptables restart 重启防火墙,修改生效
我们在启动 Tomcat 应用服务器运行项目的时候,如果上次我们没有正确关闭 Tomcat 服务器,或者是端口 8080 被系统中某个进程占用,而我们又不知道是哪个进程占用了我们要是用的端口。那么我们就可以使用 Shell 命令查看使用情况并将占用该端口的进程关闭。
Centos查看端口占用情况命令,比如查看80端口占用情况使用如下命令: lsof -i tcp:80 列出所有端口 netstat -ntlp 1、开启端口(以80端口为例) 方法一: /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT 写入修改 /etc/init.d/iptables save 保存修改 service iptables restart 重启防火墙,修改生效 方法二: vi /etc/sysconfig/iptables 打开配置文件加入如下语句: -A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT 重启防火墙,修改完成 2、关闭端口 方法一: /sbin/iptables -I INPUT -p tcp --dport 80 -j DROP 写入修改 /etc/init.d/iptables save 保存修改
有时启动应用时会发现端口已经被占用,或者是感觉有些端口自己没有使用却发现是打开的。这时我们希望知道是哪个应用/进程在使用该端口。
转载:http://www.jb51.net/os/windows/203315.html
当你在用tomcat发布程序时,经常会遇到端口被占用的情况,我们想知道是哪个程序或进程占用了端口,可以用该命令 netstat –ano|findstr “指定端口号” 二、查看占用指定端口的程序 当你在用tomcat发布程序时,经常会遇到端口被占用的情况,我们想知道是哪个程序或进程占用了端口,可以用该命令 netstat –ano|findstr “指定端口号” 二、查看占用指定端口的程序
#查看进程端口号及运行的程序 sudo netstat -antup #PID为端口号远行进程的号 sudo kill PID(进程码) # 查看所有打开的端口及服务名(注意这里显示的服务名只是标准端口对应的服务名,可能并不准确) nmap localhost # 查看哪些进程打开了指定端口port( 对于守护进程必须以root用户执行才能查看到 ) lsof -i:port # 查看哪些进程打开了指定端口port,最后一列是进程ID(此方法对于守护进程作用不大) netstat -nap|grep port # 查看端口号对应的系统服务名称 cat /etc/services # 启动|停止|重启系统服务
-l : 仅显示监听套接字(所谓套接字就是使应用程序能够读写与收发通讯协议(protocol)与资料的程序),l是listening的首字母。
centos系统中80端口常常用于WEB服务器,有时当我们安装nginx服务或者webmail服务会遇到80端口被占用情况,下面为大家分享一下centos系统解决80端口被占用具体方法。
Linux中查看网卡流量工具有iptraf、iftop以及nethogs等,iftop可以用来监控网卡的实时流量(可以指定网段)、反向解析IP、显示端口信息等。
领取专属 10元无门槛券
手把手带您无忧上云