前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >面试官你好,我已经掌握了MySQL主从配置和读写分离,你看我还有机会吗?

面试官你好,我已经掌握了MySQL主从配置和读写分离,你看我还有机会吗?

作者头像
古时的风筝
发布于 2020-07-30 14:53:30
发布于 2020-07-30 14:53:30
1.1K00
代码可运行
举报
文章被收录于专栏:古时的风筝古时的风筝
运行总次数:0
代码可运行

面试官:我看你简历上写的你们公司数据库MySQL 读写分离的?

小阿花:嗯,是的。

面试官:那你说说数据库是主从怎么配置?

小阿花:额,都是 DBA 帮我们搞好的,我们直接用就好了。

面试官:你们主从结构遇到过什么故障没,比如从库或者主库挂掉了,怎么解决的?

小阿花:这个也是 DBA 搞的。

面试官:(微笑)好的,今天就到这里,回去等通知吧。

现在不用再等 DBA 了,自己配置 MySQL 主从,自己做自己的 DBA 吧。

背景说明

假设各位都已经安装好了 MySQL 数据库,本次操作采用的 MySQL 版本是 5.7.16。正好还有一台 Mac闲着,所以干脆就用两台物理机直接操作了,没有空闲机器的可以在虚拟机操作是一样的。

以最简单的一主一从配置。

服务器:192.168.0.101

从服务器:192.168.0.108

数据库层的几种模式

在系统架构中,数据库层主要由如下几种模式,分别是单点模式、主备模式、主从模式。

单点模式

单点模式是最简单的模式,只有一台数据库服务器,部署最简单。但是存在单点风险,一旦这台服务器挂掉,整个系统也就挂掉了。

主备模式

为了解决单点模式的风险,主备模式产生。目前,主备模式应该是各个线上服务系统的最低配置了,比如你在各个云平台购买的数据库服务一般都会开启备份功能。一旦主节点出现问题,还可以切换到备份节点,不至于整个系统瘫痪。

主备又分为一主一备、一主多备。多个备份是为了保证更高的安全性,万一主节点出现问题的时候,碰巧备份节点也出问题呢。

当主节点出现问题的时候要切换到备份节点,切换方式又分为手动切换和自动切换。手动切换具有一定的延时,当主节点出现问题时,只能等运维人员发现或者收到系统通知。

主从模式

主从配置一般都是和读写分离相结合,主服务器负责写数据,从服务器负责读数据,并保证主服务器的数据及时同步到从服务器。

主从模式又分为一主一从、一主多从和多主多从,越往后部署越复杂,同时,系统稳定性更高。主从模式可以更好的分担数据库压力,将插入更新操作和查询操作分开,提高系统整体性能。

本文的目的就是介绍一下简单的一主一从架构的配置和原理。

主从原理

主节点

1、当主节点上进行 insert、update、delete 操作时,会按照时间先后顺序写入到 binlog 中; 2、当从节点连接到主节点时,主节点会创建一个叫做 binlog dump 的线程;

3、一个主节点有多少个从节点,就会创建多少个 binlog dump 线程;

4、当主节点的 binlog 发生变化的时候,也就是进行了更改操作,binlog dump 线程就会通知从节点 (Push模式),并将相应的 binlog 内容发送给从节点;

从节点

当开启主从同步的时候,从节点会创建两个线程用来完成数据同步的工作。

I/O线程: 此线程连接到主节点,主节点上的 binlog dump 线程会将 binlog 的内容发送给此线程。此线程接收到 binlog 内容后,再将内容写入到本地的 relay log。

SQL线程: 该线程读取 I/O 线程写入的 relay log,并且根据 relay log 的内容对从数据库做对应的操作。

主从配置一般都是和读写分离相结合,主服务器负责写数据,从服务器负责读数据,并保证主服务器的数据及时同步到从服务器。

主服务器配置

开启远程连接

使用命令行或者客户端工具进入 MySQL,执行命令:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
GRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.108' identified by 'P@ssw0rd';
FLUSH PRIVILEGES;

上面语句执行完成后,在从服务器中使用客户端或者命令行测试是否生效。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql -h 192.168.0.101 -uroot -p

启用 bin-log,并设置 server-id

需要在 MySQL 配置文件中修改,MySQL 配置文件默认位置在如下位置,从上下到下优先级降低:

  1. /etc/my.cnf
  2. /etc/mysql/my.cnf
  3. /usr/local/etc/my.cnf
  4. ~/.my.cnf

配置内容如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[mysqld]
log-bin=mysql-bin
server-id=101
其他参数

除了上面两个必要参数外,还有其他的几个参数。

binlog_format

bin-log 日志的格式,支持下面三种,推荐使用 mixed 。 statement:会将对数据库操作的sql语句写入到binlog中。 row:会将每一条数据的变化写入到binlog中。 mixed:statement 与 row 的混合。MySQL 决定什么时候写 statement 格式,什么时候写 row 格式。

binlog-do-db

配置要同步的数据库,如果不配置默认为全部数据库。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
binlog-do-db=db1
binlog-do-db=db2

binlog-ignore-db

配置不需要同步的数据库。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
binlog-ignore-db=db3

expire-logs-days

bin-log 日志保存天数,保存天数越久占用空间越大。

然后重启 MySQL 服务

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql.server restart

使用下面的命令可以查看配置是否生效:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
show variables like 'log_bin';
show variables like 'server_id';

使用下面的语句查看 master 状态。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
show master status;

从服务器配置

1、打开从服务器的配置文件,在其中加上如下配置:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
server-id=108

2、重启 MySQL 服务。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql.server restart

3、配置主从同步

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
change master to master_host='192.168.0.101',master_user='root',master_password='P@ssw0rd',master_log_file='mysql-bin.000001' ,master_log_pos=154;

其中 master_host表示主服务器 IP,master_usermaster_password分别是主服务器的用户名和密码,master_log_filemaster_log_pos在主服务器中通过show master status语句可以查到。

4、开启同步进程。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
start slave

5、查看同步状态。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
show slave status;

可能碰到的问题

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

mysql 5.6 之后引入了uuid的概念,各个复制主从结构中的 server_uuid 要保证不一样。由于我这台新 Mac 是用系统自带的「迁移助理」从老机器迁移过来的,所以说,所有的软件和配置都是一模一样的。

通过下面的语句可查看 server_uuid 的值 和 auto.cnf 的路径,auto.cnf 中保存了 server_uuid 的值。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
show variables like '%server_uuid%';
show variables like '%datadir%';

我查到的从服务器上的 datadir 目录在 /usr/local/var/mysql,修改目录下的 auto.cnf 文件中的 server-uuid 的值

修改 datadir 目录下的auto.cnf 文件中的 server-uuid 的值。

然后再重启服务,查看同步状态就不会有这个问题了。

测试一下

同步配置完成后,我在主服务器上创建一个数据库,创建一张表,然后新增、修改、删除数据,查看从服务器上是否相应的同步修改。

正常情况下,在主服务器上操作完成,从服务器也马上会看到对应的数据。

主从状态查询

主服务状态

使用如下语句可查看主服务状态:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
show master status\G;

使用 show processlist语句可查看线程状态,可以看到第一个线程的 State 是 「Master has sent all binlog to slave; waiting for more updates」,说明同步线程一直在运行中。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql> show processlist\G;
*************************** 1. row ***************************
     Id: 20
   User: root
   Host: 192.168.0.108:57815
     db: NULL
Command: Binlog Dump
   Time: 11702
  State: Master has sent all binlog to slave; waiting for more updates
   Info: NULL
*************************** 2. row ***************************
     Id: 21
   User: root
   Host: localhost
     db: NULL
Command: Query
   Time: 0
  State: starting
   Info: show processlist
2 rows in set (0.03 sec)

ERROR:
No query specified

从服务状态

通过 show slave status;可查看从服务状态,从中可以看到主服务的信息以及 Slave_IO 和 Slave_SQL 线程的状态等。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.0.101
                  Master_User: root
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 1393
               Relay_Log_File: 192-relay-bin.000005
                Relay_Log_Pos: 1284
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 1393
              Relay_Log_Space: 1930
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 101
                  Master_UUID: 220919a2-9690-11e6-9c9b-9d406b577440
             Master_Info_File: /usr/local/var/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set: 
                Auto_Position: 0
         Replicate_Rewrite_DB: 
                 Channel_Name: 
           Master_TLS_Version: 
1 row in set (0.00 sec)

ERROR: 
No query specified

也可以通过 show processlist 查看从服务的线程情况。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql> show processlist\G;

*************************** 1. row ***************************
     Id: 1
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 84003
  State: Slave has read all relay log; waiting for more updates
   Info: NULL
*************************** 2. row ***************************
     Id: 2
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 123734
  State: Waiting for master to send event
   Info: NULL
*************************** 3. row ***************************
     Id: 9
   User: root
   Host: localhost
     db: NULL
Command: Query
   Time: 0
  State: starting
   Info: show processlist
3 rows in set (0.00 sec)

ERROR: 
No query specified

从库挂机了怎么恢复同步

哪儿有什么岁月静好,只不过是有人帮你顶住了锅而已。服务宕掉通常都在不经意间,一旦从库服务挂掉了怎么办。

在主服务的 binlog dump 线程将指定的 binlog 信息发给从服务时,除了日志内容,还包括本次发送内容在主服务端的 bin-log 日志文件名称以及位置信息。

从服务的 I/O 线程接收到信息后将日志内容写入realy-log 文件(mysql-relay-bin.xxxxxx)的末端,并将读取到的主服务端的 bin-log 的文件名和位置记录到 master-info 中(通过 show slave status 中的 Master_Info_File 字段可以看到 master.info 保存的位置),以便下一次读取时能告诉主服务从哪里开始同步。

从服务的 SQL 线程检测到 realy-log 新增了内容后,解析日志文件生成对应的 sql 语句,并应用这些 sql 到数据库,保证主从数据一致性

所以,及时从库挂掉了,因为有 master.info 记录了上一次同步的位置,只要同步服务再次启动,那就可以从上次同步的位置继续增量同步了。

那话说主库宕了怎么办,这就是另一个悲伤的故事了,就没有从库挂掉这么简单了,如果马上启动那就是最好的解决办法。如果由于硬件或者比较棘手的问题导致没办法立即重启,那就要选一个从库升级为主库,选择的标准是数据最接近主库的,也就是最后一次同步时间最晚的。如果有可能(比如主服务只是数据库无法启动,但机器还在)还要到主服务上拉取最新的 bin-log 进行同步。最后进行一系列设置将选中的从库变更为主库配置。(就不展开说了,因为再展开就露馅儿了,我也不会)

ShardingSphere-JDBC 实现读写分离

主从分离之后,就要做系统的读写分离了,写操作走主节点,读操作走从节点。这就需要数据库中间件来帮忙了,现在比较流行的中间件有Atlas、Cobar、Mycat、Sharding-Sphere,具体选择哪个或者自研,要看各个公司的标准了。

Sharding-Sphere 包括 ShardingSphere-JDBC 和 ShardingSphere-Proxy。

ShardingSphere-JDBC 定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库,以 jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。

  • 适用于任何基于 JDBC 的 ORM 框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC。
  • 支持任何第三方的数据库连接池,如:DBCP, C3P0, BoneCP, Druid, HikariCP 等。
  • 支持任意实现 JDBC 规范的数据库,目前支持 MySQL,Oracle,SQLServer,PostgreSQL 以及任何遵循 SQL92 标准的数据库。

ShardingSphere 当前版本是 4.x,官网地址:https://shardingsphere.apache.org/index_zh.html

接下来简单演示一下 ShardingSphere-JDBC + Spring Boot + MyBatis 实现简单的读写分离。

版本说明

创建 Spring Boot 项目

1、到 Spring Initializr(https://start.spring.io/) 上创建项目结构,选择 JDK 版本为 8,Spring Boot 为2.3.2(目前最新版本),并输入项目相关的信息。

2、引入 Spring Boot 相关依赖包,包括 spring-boot-starter-web、mybatis-spring-boot-starter、mysql-connector-java、lombok。

3、最后将创建完成后的目录结构直接下载下来导入到 IDEA,然后 maven 更新依赖包即可。

4、引入 ShardingSphere-JDBC 专门针对 Spring Boot 的依赖包。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<dependency>
  <groupId>org.apache.shardingsphere</groupId>
  <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
  <version>4.1.1</version>
</dependency>

5、配置主从数据库,保证读请求到从节点,写请求到主节点,使用的连接池是 Spirng Boot 2.x 默认的 hikari。注意,如果用的是其他连接池,比如 Druid 的话,jdbcUrl 属性要改成 url 。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
spring:
  shardingsphere:
    datasource:
      master:
        type: com.zaxxer.hikari.HikariDataSource
        driverClassName: com.mysql.cj.jdbc.Driver
        jdbcUrl: jdbc:mysql://localhost:3306/master-slave?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: root
        password: password
      slave0:
        type: com.zaxxer.hikari.HikariDataSource
        driverClassName: com.mysql.cj.jdbc.Driver
        jdbcUrl: jdbc:mysql://192.168.0.108:3306/master-slave?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: root
        password: password
      names: master,slave0


    props:
      sql.show: true
    masterslave:
      load-balance-algorithm-type: round_robin
    sharding:
      master-slave-rules:
        master:
          master-data-source-name: master
          slave-data-source-names: slave0

如果有多个从节点,可以继续在 spring.shardingsphere.datasource 下添加 slave1、slave2 等。

最后要配置上 master-slave-rules(主从规则),才能保证实现读写分离,如果不加这个配置,就会采用 round_robin 路由算法,将主从节点无差别对待。写请求可能会落到从节点,导致无法像主节点同步。

6、配置 MyBatis 相关的 mapper.xml 、dao 接口、实体等,不做过多介绍。

7、添加 Service、Controller,添加一个查询方法,对应数据库 select。添加一个新增方法,对应数据库 insert 。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
@RestController
@RequestMapping("user")
public class UserController {

    @Autowired
    private IUserService userService;

    @GetMapping(value = "list")
    public Object list() {
        List<User> users = userService.list();
        return users;
    }

    @PostMapping(value = "add")
    public Object add(@RequestBody UserDto userDto) {
        User user = new User();
        BeanUtils.copyProperties(userDto, user);
        return userService.addUser(user);
    }
}

8、最后通过分别请求 list 接口和 add 接口,然后通过日志可以看到,select 会路由到从节点,insert 会路由到主节点。

源码在 github 上,有需要的同学可以到 github 上获取。

仓库地址:https://github.com/huzhicheng/play ,其中的 sharding-jdbc-write-read-split 项目是本文的示例源码。

总结

主从配置+读写分离可以很大程度上保证系统高可用性和整体性能,而且也是互联网应用的基础入门配置。MySQL 可以利用 bin-log 实现主从同步,master 节点采用推方式向 slave 节点推送写入操作形成的日志,slave 节点会将日志先写到本地的 relay-log 中,然后再写入数据库中,此过程中还会更新 master.info 文件,记录本地同步的位置,以便下次增量同步。

数据库层配置完成,最后要在应用中进行读写配置,具体的配置可以公司内部自行开发或者采用比较稳定的开源框架,本文采用的是 ShardingSphere-JDBC,只是个代理客户端,其原理就是分析 SQL 语句判断是读还是写,从而分发到不同的节点。

如果需要更复杂的操作,比如跨库 join 等,那就需要代理中间件了,比如 ShardingSphere-Proxy 等。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-07-30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
[oeasy]python0125_汉字打印机_点阵式打字机_汉字字形码
汉字字形码 回忆上次内容 IBM 将 ASCII 扩展之后 规定了 一个字节的字符集并制作了 相应的字形库​添加图片注释,不超过 140 字(可选)这种显示模式和字符大小之下 中文该如何进入计算机世界呢?🤔从打印机开始 原来的打印头 字型定死​添加图片注释,不超过 140 字(可选)中文印刷 落后于英文中文打字机 就是一个梦中文打字机 ​添加图片注释,不超过 140 字(可选) 中文打字员 ​添加图片注释,不超过 140 字(可选) 针式打印机 通过字库数据来驱动针头​添加图片注
oeasy
2023/04/04
6890
[oeasy]python0125_汉字打印机_点阵式打字机_汉字字形码
[oeasy]python0111_字型码_字符字型编码_点阵字库_ascii演化
编码进化 回忆上次内容 上次回顾了 早期的英文字符点阵 最小的 3*5 通用的 5*7 点阵字库逐渐规范化 ​ 添加图片注释,不超过 140 字(可选) 这些点阵字符的字型 究竟是如何被存储的呢?🤔 1602 ​ 添加图片注释,不超过 140 字(可选) 1602 2行 x 16个字符 每个字符个 5x7 个像素 ​ 添加图片注释,不超过 140 字(可选) 绿色的风格 字形码 把字型 进行 编码 所谓 编码 就是把 字体的长相 弄到计算机的字节中去 可以设置 比一般
oeasy
2023/03/18
5900
[oeasy]python0111_字型码_字符字型编码_点阵字库_ascii演化
刨根究底字符编码之六——简体汉字编码中区位码、国标码、内码、外码、字形码的区别及关系
GB2312、GBK、GB18030等GB类汉字编码方案的具体实现方式是怎样的?区位码是什么?国标码是什么?内码、外码、字形码又是什么意思?它们是如何转换的,又为什么要这样转换?
笨笨阿林
2022/05/09
4.2K0
刨根究底字符编码之六——简体汉字编码中区位码、国标码、内码、外码、字形码的区别及关系
[oeasy]python0122_日韩字符_日文假名_JIS_Shift_韩国谚文
日文假名和韩国谚文 回忆上次内容 上次回顾了非ascii的拉丁字符编码的进化过程 0-127 是 ascii 的领域 世界各地编码分布 拉丁字符扩展 ascii 共 16 种 由iso组织制定 从iso-8859-1 到iso-8859-16 无法同时显示俄文和法文 此时中日韩的文字也需要进入计算机 象形文字的字符集超级巨大 日本、韩国也用汉字 数量2万起步 ​ 真能把 如此巨大的字符集 编码进入计算机吗?🤔 文字 日本汉字我们可以直接看懂 ​ 地铁里的 标记 ​
oeasy
2023/04/01
7860
[oeasy]python0122_日韩字符_日文假名_JIS_Shift_韩国谚文
[oeasy]python0128_unicode_字符集_character_set_八卦_星座
unicode 回忆上次内容 中国的简体和繁体汉字 字符数量都超级大彼此还认对方为乱码如果有一种编码所有的字符都能编进去就好了 中日韩(CJK)欧洲拼音梵文阿拉伯文卢恩字符等等等都包括进去​添加图片注释,不超过 140 字(可选)能有么?🤔回顾历史 计算机中只有 0 和 1 并且是存储在字节里的原来只能表示和处理数字字符无法处理后来某些二进制数固定下来代表某个字符 形成了字符集从博多码(5bits)到 BCDIC(6bits)再到 EBCDIC码(8bits) 最后统一于 ascii​添加图片
oeasy
2023/04/06
5670
[oeasy]python0128_unicode_字符集_character_set_八卦_星座
[oeasy]python0112_扩展ascii_Extended_ascii_法文字符
法文字符 回忆上次内容 上次回顾了 字型编码的进化过程 从 7-seg 到 点阵字库终于让字母、数字、标点 明确了字型小写字符 占据了位置 法文字符 没有地方放了​添加图片注释,不超过 140 字(可选)7-bit的ascii 已经被完全填满 再也没有 法文字符的位置法文字符的编码中 无法 编码@字符不同的语言 有不同的 特殊字符​添加图片注释,不超过 140 字(可选)在 不同字符集里 特殊字符 和 标点 占据 相同位置字符集 不同 则会将文档 显示为乱码这可怎么办呢?🤔后一半字
oeasy
2023/03/20
6650
[oeasy]python0112_扩展ascii_Extended_ascii_法文字符
[oeasy]python0086_ASCII_出现背景_1963年_DEC_PDP系列主机_VT系列终端
编码进化回忆上次内容上次 回顾了 字符编码的新陈代谢ibm 曾经的EBCDIC 由于 字符不连续导致 后续 出现无数问题随着 网络的发展 数据交换的 需要原来的小隐患现在 产生了 巨大问题Bemer 联合各方巨头 想要推出 字符连续的编码集这新编码集 具体长什么样 呢?🤔新编码集7-bit的编码长度 结构和 今天的ascii 基本一样空了 28个字符 今天小写字母的位置当时 还不敢放小写字母为什么呢?各语言各语言 都想进入 7-bit 日文假名拉丁字符西里尔字符都眼巴巴地等着地儿放新编码 比EBCDIC
oeasy
2023/02/18
3710
[oeasy]python0086_ASCII_出现背景_1963年_DEC_PDP系列主机_VT系列终端
[oeasy]python0109_tty_打字头_电传打字机_字模_点阵字库
点阵字库 回忆上次内容 上次回顾了 字符字型 的 进化过程 从 谷腾堡 活字 到 罗马正字 和 意大利斜体 罗马帝国战斗力的征服 和 基督教文化传播 使得 拉丁字符 在日耳曼语地区广泛传播 种葡萄 喝葡萄酒 的 拉丁文化 被 种小麦 喝啤酒的 日耳曼人 学习了 意大利面和披萨饼 也是很好吃的 ​ 两次工业革命 会给字体的字型 带来什么变化呢?🤔 电传打字机时代的字型 ASR-33作为一代机皇 某种程度创建并统一了英文字母的标准写法 ​ 相对于艺术风格 ASR-
oeasy
2023/03/16
6050
[oeasy]python0109_tty_打字头_电传打字机_字模_点阵字库
[oeasy]python0116_文字的起源_苏美尔文明_楔形文字_两河流域
文字起源 回忆上次内容 上次回顾了西里尔字符的编码过程 KOI-7 KOI-8 ISO-8859 系列进行总结 字符扩展 ascii 共 16 种 由iso组织制定 从 iso-8859-1 到 iso-8859-16 无法 同时显示 俄文和法文 世界上的字符 除了 拼音文字 之外 还有 象形文字 ​ 添加图片注释,不超过 140 字(可选) 这个 象形文字 怎么来的呢?🤔 如何编码呢?🤔 象形文字 说到象形文字 第一想到的就是我们的中文 每个字符其实都是一幅画
oeasy
2023/03/25
5000
[oeasy]python0116_文字的起源_苏美尔文明_楔形文字_两河流域
[oeasy]python0127_中文系统_gbk_BIG5_南极星_内码转化
中文系统bgk 回忆上次内容 汉字字形通过 点阵式打字机像素级寻址的屏幕进入了计算机的世界​添加图片注释,不超过 140 字(可选)在海峡对岸的台湾同胞 也进入了汉字时代他们会使用GB2312编码吗? 能互通吗?🤔中国台湾 BIG5 码 是由 5 个公司联合制作的收录次序 取决于 频率 然后是 笔画数然后是 康熙字典同时用 BIG5 编码和解码也是没有问题的 但如果用BIG5编码却用gb2312解码就会有问题​添加图片注释,不超过 140 字(可选)不过存储的内容在文件里 系统不知道用
oeasy
2023/04/05
5730
[oeasy]python0127_中文系统_gbk_BIG5_南极星_内码转化
刨根究底字符编码之五——简体汉字编码方案(GB2312、GBK、GB18030、GB13000)以及全角、半角、CJK
英文字母再加一些其他标点字符之类的也不会超过256个,用一个字节来表示一个字符就足够了(2^8 = 256)。但其他一些文字不止这么多字符,比如中文中的汉字就多达10多万个,一个字节只能表示256个字符,肯定是不够的,因此只能使用多个字节来表示一个字符。
笨笨阿林
2022/05/09
4.4K0
刨根究底字符编码之五——简体汉字编码方案(GB2312、GBK、GB18030、GB13000)以及全角、半角、CJK
[oeasy]python0132_[专业选修]utf-8_unicode_transformation_format_8_编码方式
utf-8 回忆上次内容 上次再次输出了大红心<span style="color:red">♥</span> 找到了红心对应的编码 黑红梅方都对应有编码 原来的编码叫做 ascii️ \
oeasy
2023/04/10
3540
[oeasy]python0132_[专业选修]utf-8_unicode_transformation_format_8_编码方式
[oeasy]python0083_十进制数如何存入计算机_八卦纪事_BCD编码_Binary_Coded_Decimal
编码进化 回忆上次内容 上次 研究了 视频终端的 演化 从VT05 到 VT100 从 黑底绿字 到 RGB 24位真彩色 形成了 VT100选项 从而 将颜色 数字化 了 生活中我们更常用
oeasy
2023/02/14
3430
[oeasy]python0083_十进制数如何存入计算机_八卦纪事_BCD编码_Binary_Coded_Decimal
[oeasy]python0132_[趣味拓展]emoji_表情符号_抽象话_由来_流汗黄豆
emoji表情符号 回忆上次内容 上次了解了unicode 和 utf-8 unicode是字符集 utf-8是一种可变长度的编码方式 utf-8是实现unicode的存储和传输的现实的方式 ​ 添加图片注释,不超过 140 字(可选) "拜"字 unicode编码是0x62dc utf-8字节形式是b"\xe6\x8b\x9c" 如果我想看看 b"\x62\xdc"用utf-8解码 会得到哪个汉字呢?🤔 尝试解码 b"\x62" 很容易能够解码出来 ​ 添加图片注释,不超过
oeasy
2023/04/13
1.3K0
[oeasy]python0132_[趣味拓展]emoji_表情符号_抽象话_由来_流汗黄豆
刨根究底字符编码之七——ANSI编码与代码页(Code Page)
如前所述,在全世界所有国家和民族的文字符号统一编码的Unicode编码方案问世之前,各个国家、民族为了用计算机记录并显示自己的字符,都在ASCII编码方案的基础上,设计了各自的编码方案。
笨笨阿林
2022/05/09
1.7K0
刨根究底字符编码之七——ANSI编码与代码页(Code Page)
[oeasy]python0 113_字符编码_VT100控制码_iso_8859_1_拉丁字符_latin
\033[0m // 关闭所有属性 \033[1m // 设置为高亮 \033[4m // 下划线 \033[5m // 闪烁 \033[7m // 反显 \033[8m // 消隐 \033[nA // 光标上移 n 行 \033[nB // 光标下移 n 行 \033[nC // 光标右移 n 行 \033[nD // 光标左移 n 行 \033[y;xH // 设置光标位置 \033[2J // 清屏
oeasy
2023/03/21
4760
[oeasy]python0 113_字符编码_VT100控制码_iso_8859_1_拉丁字符_latin
【STM32H7教程】第52章 STM32H7的LTDC应用之点阵字体和字符编码(重要)
完整教程下载地址:http://www.armbbs.cn/forum.php?mod=viewthread&tid=86980 第52章       STM32H7的LTDC应用之点阵字体和字符编码
Simon223
2020/02/20
7990
建议收藏,彻底搞懂字符编码问题,从此告别中文乱码
字符编码是计算机技术的基石,本文希望帮助大家彻底梳理清楚字符编码问题,不仅知其然,还知其所以然,摆脱被中文乱码支配的感觉。
业余草
2019/12/20
1.6K0
建议收藏,彻底搞懂字符编码问题,从此告别中文乱码
Python学习(3):理解计算机中编码三、认识常见的计算机编码
我们学习Python编程,经常对字符串这样的数据进行处理。我们也都知道计算机内部信息是采用二进制编码的,那么这其中的处理原理是什么呢?本篇就计算机中关于编码的知识进行总结。 一、为什么计算机内部信息采用二进制编码 计算机是由逻辑电路组成的,而逻辑电路只有接通与断开两个状态,正好可以对映二进制的“1”与“0”。这样的计算机设计在技术上会简单许多。 二、计算机编码的由来 计算机内部信息采用二进制编码,这决定了它只能直接识别0和1。我们所有各类型数据也都需要被转换为二进制0和1的序列存放在计算机中的。但是这样就产
梧雨北辰
2018/06/07
7870
从JavaScript看字符编码的前世今生!
导语 | 每个程序员都应该了解一下字符编码,有了基础概念之后我们对编程语言、字符处理能有更深入的理解。本文我花了大量时间进行资料查阅和考证,希望能够给大家带来一些帮助,多多交流! 一、起因 最近在研究Babel的源码,在看到Acorn词法解析源码中有这样一段逻辑: pp.fullCharCodeAtPos = function() { let code = this.input.charCodeAt(this.pos) if (code <= 0xd7ff || code >= 0xdc00
腾讯云开发者
2022/05/18
8670
从JavaScript看字符编码的前世今生!
推荐阅读
[oeasy]python0125_汉字打印机_点阵式打字机_汉字字形码
6890
[oeasy]python0111_字型码_字符字型编码_点阵字库_ascii演化
5900
刨根究底字符编码之六——简体汉字编码中区位码、国标码、内码、外码、字形码的区别及关系
4.2K0
[oeasy]python0122_日韩字符_日文假名_JIS_Shift_韩国谚文
7860
[oeasy]python0128_unicode_字符集_character_set_八卦_星座
5670
[oeasy]python0112_扩展ascii_Extended_ascii_法文字符
6650
[oeasy]python0086_ASCII_出现背景_1963年_DEC_PDP系列主机_VT系列终端
3710
[oeasy]python0109_tty_打字头_电传打字机_字模_点阵字库
6050
[oeasy]python0116_文字的起源_苏美尔文明_楔形文字_两河流域
5000
[oeasy]python0127_中文系统_gbk_BIG5_南极星_内码转化
5730
刨根究底字符编码之五——简体汉字编码方案(GB2312、GBK、GB18030、GB13000)以及全角、半角、CJK
4.4K0
[oeasy]python0132_[专业选修]utf-8_unicode_transformation_format_8_编码方式
3540
[oeasy]python0083_十进制数如何存入计算机_八卦纪事_BCD编码_Binary_Coded_Decimal
3430
[oeasy]python0132_[趣味拓展]emoji_表情符号_抽象话_由来_流汗黄豆
1.3K0
刨根究底字符编码之七——ANSI编码与代码页(Code Page)
1.7K0
[oeasy]python0 113_字符编码_VT100控制码_iso_8859_1_拉丁字符_latin
4760
【STM32H7教程】第52章 STM32H7的LTDC应用之点阵字体和字符编码(重要)
7990
建议收藏,彻底搞懂字符编码问题,从此告别中文乱码
1.6K0
Python学习(3):理解计算机中编码三、认识常见的计算机编码
7870
从JavaScript看字符编码的前世今生!
8670
相关推荐
[oeasy]python0125_汉字打印机_点阵式打字机_汉字字形码
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验