你需要知道的http协议

前言

1. http和tcp有什么区别和联系？

2. http报文格式是什么样的？

3. http常用的头部字段分别代表什么含义？

4. http常用的状态码分别代表什么含义？

5. https提供了哪些机制保证安全？

6. websocket解决了http的什么弊端？

目录

http相关基本概念

http报文

http响应状态码

http安全-https

http认证

websocket协议

一. 基本概念

1. 概述

• web理念：文档之间相关关联，连成可相互参阅的万维网（www）
• web互连（通讯）的基础：tcp/ip协议族，http属于它内部的子集
• web（www）的三项构建技术：
  • html：页面使用什么语言展示
  • URL：页面在什么位置
  • http：文档之间传递的协议是什么
• tcp/ip协议族分层包括：数据链路层，网络层，传输层 ，应用层
• tcp/ip协议族分层作用：各层各司其职，模块划分清晰，便于维护，解耦

2. 各分层概述

2.1 应用层

• 决定了向用户提供应用服务时通讯的活动
• 包括：FTP，DNS，HTTP等

2.2 传输层

• 提供网络中两台计算机之间的数据传输
• 包括：TCP，UDP

2.3 网络层

• 众多选项中选择合适的传输路径传输数据包

2.4 链路层

• 用来处理网络的硬件部分

3. tcp/ip数据传输方式

• 利用tcp/ip协议族通讯时，通过分层顺序通讯。
• 发送端从应用层往下走，接收端从应用层往上走
• 发送端每经过一层都会被打上该层所属的首部信息，接收端每经过一层将把首部去掉

4. 与http协议密不可分的协议

4.1 IP协议

• 位于网络层
• 作用是把各种数据包传送给对方
• 确保传送正确的两个条件
  • IP地址：指明了节点被分配到的地址。可变。
  • MAC地址：网卡所属的固定地址。不可变。

4.2 TCP协议

• 位于传输层
• 作用是提供可靠的字节流服务
• 字节流服务：将大块数据分割成以报文段为单位的数据包
• 可靠：采用三次握手策略

4.3 DNS协议

• 应用层协议
• 作用是提供域名到ip地址之间的解析服务

4.4 各种协议的关系

4.5 http协议和tcp协议的区别与联系

区别

• 所属协议层不同：tcp属于传输层，http属于应用层
• 职责不同：tcp解决数据传输问题，http解决数据包装问题

联系

• http协议是构建在tcp协议之上的
• 打个比方：ip是高速公路，tcp是跑在高速公路上的卡车，http是卡车里面的包裹

5. URL与URI

• URL：统一资源定位符，资源的地址。是URI的子集
• URI：统一资源标识符，用字符串标识某一互联网资源
• URI的格式

6. 应用程序划分

• 客户端：请求资源的一端
• 服务端：提供资源响应的一端
• 代理：有转发功能的应用程序，位于客户端和服务器的中间人角色
  • 作用：缓存，访问控制
• 网关：转发其他服务器通讯数据的服务器。与代理类似，不过网关能使通信线路上的服务器提供非http协议服务
  • 作用：提高安全性：客户端与网关之间的通信线路加密
• 隧道：客户端与服务端建立一条特殊通信线路，使用ssl等手段加密，提高安全性

二. HTTP报文

1. 概述

• 用于http协议交互的信息被称为报文
• 报文分为请求报文和响应报文
• 报文首部字段包括很多维度：内容编码，分块传输，多部分对象集合，范围请求，内容协商等

2. 报文格式

• 报文由报文首部和报文主体两部分组成，中间由空行分开

• 请求行：包含请求方法（get，post），请求URI，http版本
• 状态行：响应结果状态码，原因，http版本
• 首部字段：通用首部，实体首部，请求首部，响应首部
• 其他：cookie等信息

3. 内容编码

• 指明内容等编码格式，客户端负责解码
• 能有效地处理大量等访问请求，不过会消耗更多cpu
• 常用的内容编码
  • gzip（GNU zip）
  • compress（unix系统标识压缩）
  • deflate（zlib）
  • identity（不编码）

4. 分块传输

• 把实体主体分块的功能
• 用于传输大容量数据
• 每一块都标记大小，最后一块用0标记

5. 多部分对象集合

• 发送一份报文主体内可包含多类型实体
• 使用时需要在首部字段里添加：Content-type
• 包含的对象如下（content-type的值）：
  • multipart/form-data：web表单文件上传时使用
  • multipart/byteranges：响应报文包含多个范围的内容时使用

6. 范围请求

• 指定范围发送的请求
• 解决网络中断必须从头下载的问题
• 用到首部字段Range指定资源的byte范围：Ranges：bytes=5001-10000
• 响应会返回206状态码和响应报文

7. 内容协商

• 客户端和服务端就响应内容进行交涉，提供最合适的资源
• 协商判断的依据有：响应资源的语言，字符集，编码方式
• 包含的首部字段：Accept，Accept-Charset，Accept-Encoding，Accept-Language，Content-Language

三. 响应状态码

1. 概述

• 描述请求的处理结果

2. 2XX成功

• 200： OK：正常处理
• 204： No Content，服务器接受的请求成功处理，但返回但响应报文不包含主体部分
• 206: Partial Content，服务器成功执行客户端的范围请求，响应报文中包含Content-Range指定范围的内容

3. 3XX重定向

• 301: 永久性重定向，表示请求的资源已经分配了新的uri，以后应使用新的uri
• 302: 临时性重定向，表示请求的资源uri临时性被移动
• 303: 指明客户端应该用Get方法去请求，而不是post 当301， 302， 303状态码返回时，几乎所有浏览器都会把Post改为Get，并删除请求报文的主体，之后请求会自动再次发送
• 304: Get请求中含有附加条件时，请求的资源不满足这些条件。这些附加条件包括：If-Math，If-Modified-Since，If-None-Match，If-Range，If-UnModified-Since中的任意一个
• 307：临时重定向，类似302，不过不会从post变为get

4. 4XX客户端错误

• 400：请求报文中存在语法错误
• 401: 用户认证失败
• 403: 无权限访问
• 404: 无法找到请求的资源，url不存在

5. 5XX服务端错误

• 500: 服务器处理出错，可能是内部的bug
• 502: 错误的网关，资源发送给上游服务器时发送不了
• 503: 服务器处理高负载或停机维护状态，无法处理请求

四. Http首部

1. 首部字段的格式

• 首部字段名：字段值（可为多个）
• 单值：Content-Type: text/html
• 多值：Keep-Alive：timeout=15, max=100
• 首部字段重复，规范里没有明确规定如何处理，各个浏览器不同

2. 首部字段分类

• 通用首部字段：请求和响应都使用的字段
• 请求首部字段：客户端信息，请求的附加信息等
• 响应首部字段：响应的附加信息
• 实体首部字段：请求和响应的实体部分使用的字段

3. 首部字段概览

• http1.1共规定里47中首部字段

3.1 通用首部字段有：

• Cache-Control：控制缓存的行为
• Connection：连接的管理
  • Keep-Alive：维持持续连接（http1.1默认持久连接，之前版本没有）
  • close：表示关闭持久连接
  • 其他首部字段：表示这个首部字段不再转发给代理服务器
• Date：创建时间
• Pragma：报文指令
  • http1.0及向前版本的兼容字段
• Trailer：报文末端的首部
• Transfer-Encoding：报文主体传输编码方式
  • http1.1仅对分块传输有效
• Upgrade：升级为其他协议
• Via：代理服务器相关信息
• Warning：错误通知

3.2 常用的请求首部字段有：

• Accept：用户代理可处理的媒体类型
• Accept-Charset：优先的字符集
• Accept-Encoding：优先的内容编码
  • gizp
  • compress
  • deflate
  • identity
• Accept-Language：优先的语言
• Authorization：web认证信息
• Host：请求资源的服务器
• User-Agent：客户端程序信息
• Range：字段范围请求
• Referer：请求的原始资源的URI

3.3 常用的响应首部字段有：

• Accept-Ranges：是否接受字段范围请求
• Age：推算字段创建经过时间
• Server：服务器的安装信息
• Retry-After：再次发起请求的时机要求

3.4 常用的实体首部字段有：

• Allow：可支持的http方法
• Content-Encoding：实体主体的编码方式
• Content-Language：实体主体的自然语言
• Content-Length：实体主体大小
• Content-Type：实体主体的媒体类型
• Expires：过期时间
• Last-Modified：最后修改时间

3.5 其他首部字段

• Cookie：请求首部字段，服务器收到客户端传来的cookie
• Set-Cookie：响应字段，服务器传给客户端的cookie。包含的属性：
  • name=value：cookie的名称和值
  • expires：有效期，不指定则默认为浏览器关闭时
  • path：服务器上的文件目录作为Cookie的适用对象
  • domain：cookie适用对象的域名
  • Secure：仅在https安全通信时才会发送cookie
  • HttpOnly：Cookie不能被javascript脚本访问
• Connection
• Keep-Alive

五. HTTPS

1. http的缺点

• 通信适用明文（不加密），内容可能会被窃听
• 不验证通信方的身份，可能遭遇伪装。典型如：DOS攻击
• 无法证明报文的完整性，内容可以被篡改。典型如：中间人攻击（MITM）

2. 解决策略

2.1 防止被窃听的对策

• 内容的加密：将http报文所含的内容进行加密。该方案的缺点：
  • 需要客户端和服务器都有加密和解密机制
  • 内容也有被篡改的风险
• 通信的加密：http协议中没有加密机制，通过和SSL，TLS组合使用，加密http的通信内容。SSL在客户端和服务器建立安全的通信线路。

2.2 防止伪装的对策

• SSL提供的证书，可以作为通讯双方身份认证的功能

2.3 防止内容被篡改的策略

• SSL提供的摘要功能可以解决

3. HTTPS

3.1 概述

• https = http + 加密 + 认证 + 完整性保护
• https并非应用层新协议，只是通信接口部分用SSL和TLS协议代替而已
• http直接和tcp通信。使用ssl时，http先和ssl通信，再由ssl和tcp通信

3.2 常用的加密方式

共享密钥加密

• 也叫对称密钥加密，加密和解密用同一个密钥
• 缺点：无法安全的将密钥发送给接收方

公开密钥加密

• 使用一对非对称的密钥，一把交私有密钥，一把交公开密钥。
• 发送密文的一方使用对方的公开密钥进行加密，对方收到加密信息后用自己的私钥解密
• 不需要发送私钥，不用担心信息被窃取
• 要根据密文和公钥恢复原文信息，以目前的技术是非常困难的
• 缺点：处理速度较慢

3.3 https的加密方式

• 采用共享密钥加密和公开密钥加密两种方式
• 交换密钥环节采用公开密钥加密
• 建立通信之后，报文交换阶段采用共享密钥加密

3.4 数字证书

• 公开密钥加密的问题：无法证明公开密钥本身的正确性
• 解决方案：由数字证书机构和相关机构颁发的公开密钥证书

3.5 为什么不一直使用https

• 加密通信会消耗更多的cpu和内存资源，服务器处理的请求量会降低。所以一般非敏感信息使用http，敏感信息才使用https
• 购买证书的开销比较大

六. http认证

1. 概述

http1.1使用的认证方式有：

• Basic认证
• Digest认证
• SSL客户端认证
• FormBase认证

2. Basic认证

• http1.0就定义的认证方式
• 原理：将”用户名：密码”字符串做base64加密，然后作为首部Authorization字段的值传给服务端
• 缺点：没有加密，安全等级低
• 使用率：并不常用

3. Digest认证

• http1.1定义的认证，为了弥补basic认证的不足
• 原理：发送方请求认证->接收方返回质询码->发送方根据质询码计算响应码发给接收方做验证
• 优点：提供防止密码被窃听的保护机制
• 缺点：无法保证用户被伪装
• 使用率：仍达不到web网站安全要求，使用受限

4. SSL客户端认证

• 借助客户端的证书完成认证
• 双因素认证方式：密码+证书。
• 使用率：客户端证书需要一定费用，尚未普及

5. FormBase认证

• web应用程序各自实现的认证方式
• 使用率：web应用常用的认证方式

6. 状态的管理

• http本身没有状态管理，每次请求并不知道上次请求内容
• 使用Cookie和Session作为状态管理，弥补了http的不足

六. WebSocket协议

1. 概述

• 是html5提供的一种在单个tcp连接上进行全双工通信的协议

2. 为什么会出现该协议？

http协议有以下弊端：

• 一条连接上只可以发送一条请求
• 请求只能从客户端开始，客户端不可用接受除响应以外的指令
• 首部信息没有压缩，延迟大
• 每次请求都要发送冗长的首部信息
• 可任意选择压缩格式，没有强制压缩

websocket协议为解决这些弊端而生。

3. websocket的特点

• 支持服务器向客户端推送数据的功能。服务器可直接发送数据，不用等待客户端请求
• 减少通信量：只要建立连接，就一直保持连接状态。不仅连接开销小，且首部信息很少，减少通信量

4. websocket通信机制

• 在http建立连接后，需要完成一次“握手”步骤
• 附加头信息中添加"Upgrade: WebSocket"，表明这是一个申请协议升级的 HTTP 请求
• Sec-WebSocket-Key:记录握手过程中的键值
• Sec-WebSocket-Protocol：记录使用的子协议

参考文献

《图解http》