本文介绍了如何利用awk命令对日志文件进行统计分析。主要包括三个方面的内容：1.利用awk命令统计日志中IP地址出现次数；2.利用awk命令统计日志中访问来源；3.利用awk命令统计日志中访问站点。
1、在ifconfig内容中找出ip [root@localhost ~]# ifconfig ens33|grep "inet "\ > |awk '{print $2}' #awk默认分割符号为空格 ping都懂用，可是linux下，ping命令会一直ping，不会自动停止怎么办 [root@localhost ~]# ping www.baidu.com -c 4 #-c 次数 [root@localhost ~]# netstat -an|grep -v unix #显示网络连接信息，-a所有，-n实际地址 |grep -v 晓得吧，就是反向显示（不显示符合条件） 2、查看网络连接状态，并汇总信息 [root@localhost ~]# netstat -an|grep tcp [root@localhost ~]# netstat -an|grep tcp|awk '{++S[$NF]} END {for (a in S) print a,S[a]}' [root@localhost ~]# netstat -an|awk '/^tcp/{++S[$NF]} END {for (a in S) print a,S[a]}' #写法有很多种 3、查看系统路由表，两种方法 [root@localhost ~]# netstat -rn [root@localhost ~]# netstat -r 4、追踪网络数据包的路径，经过的路由 [root@localhost ~]# traceroute www.12306.com 5、根据域名查ip [root@localhost ~]# nslookup www.baidu.com #可以使用dig命令，查看NS（域名服务器）记录 [root@localhost ~]# dig www.taobao.com 6、查看端口状态 a、lsof -i:端口号 用于查看某一端口的占用情况，比如查看8000端口使用情况，lsof -i:8000 b、netstat -tunlp |grep 端口号，用于查看指定的端口号的进程情况，如查看8000端口的情况，netstat -tunlp |grep 8000
1.互联网的域名结构是怎样的？它与目前的电话网的号码结构有何异同之处？ 答：(1)域名的结构由标号序列组成，各标号之间用点隔开：… 三级域名. 二级域名. 顶级域名，各标号分别代表不同级别的域名。 (2)电话号码分为国家号结构分为（中国+86）、区号、本机号。 2.域名系统的主要功能是什么？域名系统中的本地域名服务器、根域名服务器、顶级域名服务器以及权限域名权服务器有何区别？ 答： 域名系统的主要功能：将域名解析为主机能识别的IP 地址。因特网上的域名服务器系统也是按照域名的层次来安排的。每一个域名服务器都只对域名体系中的一部分进行管辖。共有三种不同类型的域名服务器。即本地域名服务器、根域名服务器、授权域名服务器。当一个本地域名服务器不能立即回答某个主机的查询时，该本地域名服务器就以DNS 客户的身份向某一个根域名服务器查询。若根域名服务器有被查询主机的信息，就发送DNS 回答报文给本地域名服务器，然后本地域名服务器再回答发起查询的主机。但当根域名服务器没有被查询的主机的信息时，它一定知道某个保存有被查询的主机名字映射的授权域名服务器的IP 地址。通常根域名服务器用来管辖顶级域。根域名服务器并不直接对顶级域下面所属的所有的域名进行转换，但它一定能够找到下面的所有二级域名的域名服务器。每一个主机都必须在授权域名服务器处注册登记。通常，一个主机的授权域名服务器就是它的主机ISP 的一个域名服务器。授权域名服务器总是能够将其管辖的主机名转换为该主机的IP 地址。因特网允许各个单位根据本单位的具体情况将本域名划分为若干个域名服务器管辖区。一般就在各管辖区中设置相应的授权域名服务器。 3.举例说明域名转换的过程。域名服务器中的高速缓存的作用是什么？ 答：**栗子：**把不方便记忆的IP 地址转换为方便记忆的域名地址。 作用：可大大减轻根域名服务器的负荷，使因特网上的DNS 查询请求和回答报文的数量大为减少。 4.设想有一天整个因特网的DNS系统都瘫痪了（这种情况不大会出现），试问还可以给 朋友发送电子邮件吗？ 答：DNS是因特网上使用的命名系统，用来便于人们使用域名转换为IP地址，通常人们发送电子邮件时是通过邮箱服务器别名来进行识别的，如果DNS系统瘫痪时，虽然无法通过邮箱服务器别名查找邮件地址，但可以通过IP地址直接进行通信，前提是你必须记住自己邮箱服务器的IP地址和朋友邮箱服务器的IP地址。 5.文件传送协议FTP的主要工作过程是怎样的？为什么说FTP是带外传送控制信息？主进程和从属进程各起什么作用？ 答： FTP 使用客户服务器方式。一个FTP 服务器进程可同时为多个客户进程提供服务。FTP 的服务器进程由两大部分组成：一个主进程，负责接受新的请求；另外有若干个从属进程，负责处理单个请求。主进程的工作步骤： ①打开熟知端口（端口号为21），使客户进程能够连接上。 ②等待客户进程发出连接请求。 ③启动从属进程来处理客户进程发来的请求。从属进程对客户进程的请求处理完毕后即终止，但从属进程在运行期间根据需要还可能创建其他一些子进程。 ④回到等待状态，继续接受其他客户进程发来的请求。主进程与从属进程的处理是并发地进行。 FTP 使用两个TCP 连接。 控制连接在整个会话期间一直保持打开，FTP 客户发出的传送请求通过控制连接发送给服务器端的控制进程，但控制连接不用来传送文件。 实际用于传输文件的是“数据连接”。服务器端的控制进程在接收到FTP 客户发送来的文件传输请求后就创建“数据传送进程”和“数据连接”，用来连接客户端和服务器端的数据传送进程。数据传送进程实际完成文件的传送，在传送完毕后关闭“数据传送连接”并结束运行。 6.简单文件传送协议TFTP与FTP的主要区别是什么？各用在什么场合？ 答：文件传送协议FTP只提供文件传送的一些基本的服务，它使用TCP可靠的运输服务。 FTP的主要功能是减少或消除在不同操作系统下处理文件的不兼容性。 FTP使用客户服务器方式。一个FTP服务器进程可同时为多个客户进程提供服务。FTP的服务器进程由两大部分组成：一个主进程，负责接受新的请求；另外有若干个从属进程，负责处理单个请求。 TFTP是一个很小且易于实现的文件传送协议。 TFTP使用客户服务器方式和使用UDP数据报，因此TFTP需要有自己的差错改正措施。 TFTP只支持文件传输而不支持交互。 TFTP没有一个庞大的命令集，没有列目录的功能，也不能对用户进行身份鉴别。 7.远程登录TELNET 的主要特点是什么？什么叫做虚拟终端NVT？ 答：(1)用户用TELNET就可在其所在地通过TCP连接注册（即登录）到远地的另一个主机上（使用主机名或IP地址）。 TELNET能将用户的击键传到远地主机，同时也能将远地主机的输出通过TCP连接返回到用户屏幕。这种服务是透明的，因为用户感觉到好像键
root@localhost ~# ifconfig ens33|grep "inet "\ > |awk '{print $2}' #awk默认分割符号为空格
为了监控到各业务的访问质量，基于LB层的Nginx日志，实现LB层到Real Server之间访问请求的响应时间（即upstream_response_time）及HTTP状态码（即upstream_status）的监控及报警。操作记录如下：
“K8s在容器编排领域已经形成统治地位，不管是开发、运维和测试，掌握 kubernetes 都变得非常有必要。” —— 相信大家应该在各类技术论坛与博客中早已看见过如上的一段话。的确在敏捷开发占主导模式的现今，无论是项目任何阶段都随处可见K8s的身影，基础扩展要求、故障转移、部署模式等，以上这些基于K8s的特性与强大功能，都可以随时随地实现与落地。
https://www.cnblogs.com/fozero/p/10967154.html
1 介绍 网络功能（NFs），或中间件是以复杂方式检测和更改数据包和流的系统。比如：入侵检测系统（IDSs），负载均衡器，缓存代理等。NFs在确保安全性，提高性能和提供其他新网络功能方面起着关键性的作用。 最近，我们发现利用运行在通用计算资源上的基于软件的NFs来替代专用网络功能硬件越来越引起人们的兴趣，即被称为网络功能虚拟化（NFV）的趋势。同时，SDN被用来通过适当的NFs引流，从而执行决策和共同管理网络和网络负载。 结合NFV和SDN可以实现一类重要的管理应用，这类应用需要在多个网络功能实例（如
在我们的程序中不免需要对某一个运算或者方法进行计时，以便我们来观察该运算或方法是否符合我们的预期，所以在我们刚开始接触 Java 的时候都能写出类似下面这样的代码来计时：
4.域名--->CDN--->负载均衡--->云服务器ECS+数据库RDS(主从)+缓存Redis
www.messenger.com是Facebook旗下即时通讯软件Messenger官网，该网站中添加了基于随机数认证（ nonce based login ）的Facebook登录服务，如果用户当前是Facebook登录状态，则可以直接以Facebook身份登录messenger.com。然而，由于随机数为用户生成了访问messenger.com的会话cookie，这种机制可能会让当前已登入的Facebook用户构造恶意随机数（nonce）和URL，使访问发生跳转。另外，在此过程中，由于当前的fac
整理了一些常用的web日志分析及Linux网络连接状态等shell命令，建议收藏！！！
工作中，需要把用户执行的每一个命令都记录下来，并发送到日志服务器的需求，为此我做了一个简单的解决方案。这个方案会在每个用户退出登录时把用户所执行的每一个命令都发送给日志守护进程rsyslogd,你也可通过配置“/etc/rsyslog.conf”进一步将日志发送给日志服务器 第一种方法 # vi /etc/profile #设置history格式 export HISTTIMEFORMAT="[%Y-%m-%d %H:%M:%S] [`who am i 2>/dev/null| awk '{prin
dnsmasq 常用作部署简单的 DNS 服务器 和 DHCP 服务器，下文将介绍如何使用 dnsmasq 部署一个简单的 DNS 服务器
随着各大浏览器对 http 请求标识为 不安全（见下图），现如今强烈推荐网站使用 https 请求。对于运维同学来说，SSL 证书有效期如何监控，不可能去记住每个域名证书到期日期，今天作者分享两个脚本并配合zabbix 来监控 SSL 证书到期日期。这样就不会因为 SSL 证书到期导致网站瘫痪。
要设置yum存储库，请创建名为/etc/yum.repos.d/nginx.repo的文件，内容如下：
统计出日志里一个或多个页面总共访问的次数，比如aa.jsp, bb.jsp这样页面分别多少次。
7、查看 2015 年 8 月 16 日 14 时这一个小时内有多少 IP 访问:
在没有专业日志分析系统的情况下，我们有时需要对日志进行简单的分析，下面列出一些常用的shell命令分析日志的方法，一定要收藏
自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏！于是收集，整理一些服务器日志分析命令，大家可以试试！
这两天遇到一个很有意思的应用场景：有一个业务应用部署在kubernetes容器中，如果将该应用以Kubernetes Service NodePort暴露出来，这时测试人员测得应用的页面响应性能较高，可以达到2w多的QPS；而将这个Kubernetes Service再用Ingress暴露出来，测试人员测得的QPS立马就较得只有1w多的QPS了。这个性能开销可以说相当巨大了，急需进行性能调优。花了一段时间分析这个问题，终于找到原因了，这里记录一下。
grep命令是Linux系统中最重要的命令之一，功能是从文本文件或管道数据流中筛选匹配的行和数据，如果再配合正则表达式，功能十分强大，是Linux运维人员必备的命令
为配合网站测试，一直在频繁的添加虚拟主机，然后就是cp、修改配置、重启服务！ 所幸就写一个Nginx添加虚拟主机的脚本，添加起来方便，再把Nginx的启动关闭添加进来，就省事很多了。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说微信开发步骤_微信小程序快速入门,希望能够帮助大家进步!!!
在介绍本篇文章之前，需要复习一下域名注册流程以及简单的域名解析流程，见下图一图二；整篇文章的数据发生在下图的②和③步骤；
通过浏览器输入域名访问网页的实质是通过DNS（域名解析系统）访问该网站的IP地址。
一直想弄台黑群NAS，但因为穷！一直没入，一直用的是玩客云，但玩客云满足不了我的需求，但正好搭上蜗牛星际的车！
6、关闭selinux，清空iptables 在服务器配置完全成功后各项服务正常后，在开启selinux
在今年三四月份，我接受了一个需求：从文本中提取URL。这样的需求，可能算是非常小众的需求了。大概只有QQ、飞信、阿里旺旺等之类的即时通讯软件存在这样的需求。在研究这个之前，我测试了这些软件这块功能，发现它们这块的功能还是非常弱的。这类软件往往也是恶意URL传播的媒介，如果不能准确识别出URL，相应的URL安全检测也无从谈起。而且网上也有很多使用正则表达式的方法，可是我看了下，方法简单但是不够精确，对于要求不高的情况可以胜任，但是如果“坏人”想绕过这种提取也是很方便的。（转载请指明出处）下面也是我在公司内部做的一次分享的内容：
阿里云的服务器请查看：https://yq.aliyun.com/articles/29941
应用层协议 和 例子都是所有案例中最多的。 域名解析系统是给其他应用应用的应用通过其他应用来为应用提供服务。
CDN日志往往记录较大，单纯使用grep和cat无法彻底进行统计分析，这种情况下可以使用zcat和awk来进行
Kubernetes（简称K8S）是开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等功能，提高了大规模容器集群管理的便捷性。
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
这里所有的操作命令需要在kubernetes集群内所有的主机上执行，是安装kubernetes集群环境所需要的基本设置。 安装相关依赖包
本篇文章整理了近期（7.19-7.25）社区用户们在使用Kube-OVN时遇到的一些问题，并附相应问题的解决方案，希望能对社区的其他用户有所帮助。
PHP根据URL提取主域名，在网上荡了一个! 优化了一下域名库，修复了PHP7.0！ 可以直接拿来用，测试了一下没发现问题！ <?php #使用示例 echo getBaseDomain('http
PHP根据URL提取主域名，在网上荡了一个! 优化了一下域名库，支持了PHP7.0！ 可以直接拿来用，测试了一下没发现问题！ <?php #使用示例 echo getBaseDomain('http
主要是几个dos命令,直接上图和网上已有的知识 ipconfig----查看和设置网络配置 ping----网络连通状态测试 arp---查看和设置地址解析协议表项 tracert---查看和设置路由表项工具 netstat---查看本地主机的TCP链接和协议端口号< nslookup---查看
https://docs.nextcloud.com/server/21/admin_manual/installation/index.html
在上文中性能工具之linux三剑客awk、grep、sed详解，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析。
GitLab是唯一一个以单个应用程序交付的 DevOps 平台，在全球各类分析报告中赢得关注，广泛覆盖。 GitLab是全球成千上万的社区贡献者协作的成果，集合了全球十万多家GitLab客户的真实反馈。 GitLab用户基于在现实中遇到的挑战，在社区贡献代码、文档、翻译、设计和产品创意，这使得GitLab解决方案在用途和价值上不断迭代。 GitLab 在 2011 年 10 月 8 进行了第一次代码提交，发展至今已经整整十年。
父子组件传值可以通过 prosp + emit 来实现，虽然 props 可以传递各种类型，但是却不能传递组件（包括HTML），这样灵活度就差了一些。 那么怎么办呢？为了提高灵活性，Vue 提供了插槽功能。
范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF），第三范式（3NF）。
哺乳动物 NF-κB 家族由五种成员组成：RelA/p65、c-Rel、RelB、p50 (NF-κB1) 和 p52 (NF-κB2)，它们可以形成各种异源二聚体或者同源二聚体 (如常见 p50/RelA 异源二聚体)，并通过与启动子的 κB 位点结合来激活大量基因。
配合NF_FsmDesigner图形化开发工具，可无负担替代传统switch-case状态机开发
范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF），第三范式（3NF）。下面就简单介绍下这三个范式。 ◆ 第一范式（1NF）：强调的是列的原子性，即列不能够再分成其他几列。 考虑这样一个表：【联系人】（姓名，性别，电话） 如果在实际场景中，一个联系人有家庭电话和公司电话，那么这种表结构设计就没有达到 1NF。要符合 1NF 我们只需把列（电话）拆分，即：【联系人】（姓名，性别，家庭电话，公司电话）。1NF 很好辨别，但是 2NF 和 3NF 就容易搞混淆。 ◆ 第二范式（2NF）：首先是 1NF，另外包含两部分内容，一是表必须有一个主键；二是没有包含在主键中的列必须完全依赖于主键，而不能只依赖于主键的一部分。 考虑一个订单明细表：【OrderDetail】（OrderID，ProductID，UnitPrice，Discount，Quantity，ProductName）。 因为我们知道在一个订单中可以订购多种产品，所以单单一个 OrderID 是不足以成为主键的，主键应该是（OrderID，ProductID）。显而易见 Discount（折扣），Quantity（数量）完全依赖（取决）于主键（OderID，ProductID），而 UnitPrice，ProductName 只依赖于 ProductID。所以 OrderDetail 表不符合 2NF。不符合 2NF 的设计容易产生冗余数据。 可以把【OrderDetail】表拆分为【OrderDetail】（OrderID，ProductID，Discount，Quantity）和【Product】（ProductID，UnitPrice，ProductName）来消除原订单表中UnitPrice，ProductName多次重复的情况。 ◆ 第三范式（3NF）：首先是 2NF，另外非主键列必须直接依赖于主键，不能存在传递依赖。即不能存在：非主键列 A 依赖于非主键列 B，非主键列 B 依赖于主键的情况。 考虑一个订单表【Order】（OrderID，OrderDate，CustomerID，CustomerName，CustomerAddr，CustomerCity）主键是（OrderID）。 其中 OrderDate，CustomerID，CustomerName，CustomerAddr，CustomerCity 等非主键列都完全依赖于主键（OrderID），所以符合 2NF。不过问题是 CustomerName，CustomerAddr，CustomerCity 直接依赖的是 CustomerID（非主键列），而不是直接依赖于主键，它是通过传递才依赖于主键，所以不符合 3NF。 通过拆分【Order】为【Order】（OrderID，OrderDate，CustomerID）和【Customer】（CustomerID，CustomerName，CustomerAddr，CustomerCity）从而达到 3NF。 第二范式（2NF）和第三范式（3NF）的概念很容易混淆，区分它们的关键点在于，2NF：非主键列是否完全依赖于主键，还是依赖于主键的一部分；3NF：非主键列是直接依赖于主键，还是直接依赖于非主键列。
从范式角度来讲，维度建模是以2NF的方式来描述数据，实体关系建模是以3NF的方式进行数据描述，由于分布式数据架构的兴起，使得维度建模得到了技术支持。换句话讲，现在数据增长的速度，对于现在的数据技术架构不再是技术瓶颈。对于数据的存储运用完全用2NF的方式表达，甚至1NF都有可能。当然现在有一种趋势就是2NF到3NF转变的过程，这方面与Data Vault的设计初衷是一致的，试图在2NF和3NF寻找一个合适的数据整合方案。 从信息传播的角度来讲，1NF的方式传播信息是最有效的，但是也是最冗余的，但对于信息存储是一个挑战。现阶段来讲2NF成为现在互联网企业主要的存储方式，因为数据增长速度，数据关系的复杂度，与数据的计算能力与数据的存储方式相匹配。但当数据的增长速度和数据关系的复杂度这两个变量发生指数级变化的时候，2NF的方式的存储似乎就不太适合，3NF的数据存储方式必然是选择，甚至于更高范式。但范式越高，信息的专业程度越大。解释一下范式越高，信息越专业，比如：我们平常的生活对话大部分都是2NF的，只有大人与刚刚学会说话的小孩会1NF的，因为我们要做大量的解释。当我们去工作的时候，一般你是具有3NF的知识才能，才能与工作的其他人进行沟通，那一篇博士论文呢，那所处的范式那就更高啦。 现阶段数据的存储还是人与机器或者人与人之间的信息记录，用3NF或者BCNF能够解决。试问下当机器与机器之间交流将来是什么样的呢，还是3NF的吗？是3NF还好，我们还可以存储与整合加以利用和分析，不是3NF的呢，个人觉得很可能不是，因为机器的设计工作超过3NF，更何况机器与机器交流信息呢。我们如何处理这些信息，然后加以有效利用和分析，值得去深究！
虽然将EEG和fMRI结合使用可实现精细的空间分辨率和准确的时间分辨率集成，但仍带来许多挑战,比如要实时执行以实现神经反馈（Neurofeedback, NF）循环时。在这项研究里，研究人员描述了在运动想象NF任务期间同时获取的EEG和fMRI的多模态数据集，并补充了MRI结构数据。同时研究人员说明可以从该数据集中提取的信息类型，并说明其潜在用途。这是第一个脑电图和fMRI同步记录的NF，展示了第一个开放存取双模态NF数据集脑电图和fMRI。研究人员表示，(1)改进和测试多模态数据集成方法的宝贵工具，(2)改善提供的NF的质量，(3)改善在MRI下获得的脑电图去噪的方法，(4) 研究使用多模态信息的运动图像的神经标记。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
