Java|Lexer分析报告

前言

Lexer词法分析器，是将原始字符串转换为有意义的标记的过程。

一、词法标记类型定义

通过定义types变量，定义了普通字符串、运算符、关键字、逻辑运算符等类型。

二、词法分析规则

详情参考rules.js分析报告。

三、实现任务

1.将匹配的元素，结尾的空白字符替换为空。

2.将整段字符串拆分成不同的标记类型，并存在到新的数组中。

四、运行流程图

图1 流程图

五、关键代码展示与解释

rules是一个数组，数组里面是单个对象，然后利用utils的some方法将rules数组里的每一项的regex放进去判断是否满足条件。

macth是一个正则表达式匹配数组，规范化的数组元素的位置由一个条件判断语句决定，如果rule.idx有结果，则将下标值为idx的规范化，如果没有，则将第一个元素规范化。规范化是将字符串的结束位置的空白字符替换为空。

下面的代码是对于repalce的判断，利用了三元运算（？：），必须要前面两个条件都为ture的情况下，才会是选择？后面的语句，其他情况都选择：后面的语句。

hasOwnProperty方法是用于判断对象是否包含括号中的属性，有则返回true，没有则返回false。

简而言之，只要rule里面没有repalce属性，或者rule的replace属性中没有normallized属性，都执行A的代码。如果都满足条件，则执行新的规范化。

原理是利用while循环，不断截取符合条件的代码，再将截取代码存放到新的数组中（tokens[]），再将已经存放的长度减去，直到offset<str.length的条件不再满足。循环结束。

offset的初始长度是0，该变量表示拆分好的字符串的总长度。str.length是字符串的原始长度。

substr表示新的字符串，substring() 方法用于提取字符串中介于两个指定下标之间的字符。

Match表示每次将新的字符串用reader（）函数，返回新的标记对象。

最后，tokens[]用于存放拆分后的字符串。

push() 方法可向数组的末尾添加一个或多个元素，并返回新的长度。

END