当前位置:

首页 > 编程开发 > C++ 实现脚本词法分析状态机跳转跳转逻辑 Token 分词实现【源码】

C++ 实现脚本词法分析状态机跳转跳转逻辑 Token 分词实现【源码】

通过定义TokenType与LexerState枚举,使用std::array构建状态转移表,按字符类别跳转;实现字符分类预处理函数将输入映射为有限类别码;主循环逐字符查表驱动状态跳转,进入终止状态时截取缓冲区构造Token;字符串与块注释引入子状态处理转义序列;标识符与关键字在状态外通过字符串比对后置识别。

本文目录
    需通过状态机驱动字符流识别Token,核心步骤包括:一、定义TokenType和LexerState枚举,用std::array构建状态转移表,按字符类别而非ASCII值跳转;二、实现字符分类预处理函数,将输入字符映射为有限类别码以提升查表效率。

    C++ 实现脚本词法分析状态机跳转跳转逻辑 Token 分词实现【源码】

    如果你正在实现 C++ 脚本的词法分析器,需要靠状态机驱动字符流来识别各种 Token(标识符、数字、字符串、运算符等等),那么状态跳转逻辑的精确度直接决定了分词结果的对错。下面拆解实现的几个关键环节。

    一、定义状态枚举与转移表结构

    状态机首先要预设所有合法的状态——比如初始态、正在识别标识符、正在识别数字、字符串刚开头、注释内部等。然后通过一个二维数组(或者 map)来建立“当前状态 + 当前字符类型 → 下一状态”的跳转规则。字符类型按语义归类,比如字母、数字、引号、斜杠、空白、运算符符号等,这样就不需要针对每个 ASCII 值单独写一条规则了。

    具体来说:

    1. 声明 enum class TokenType { IDENTIFIER, NUMBER, STRING, PLUS, MINUS, ASSIGN, COMMENT, WHITESPACE, UNKNOWN };

    2. 声明 enum class LexerState { START, IN_IDENTIFIER, IN_NUMBER, IN_STRING, IN_COMMENT, AFTER_SLASH, ERROR };

    3. 使用 std::array, 7> 构建转移表,行索引是当前状态,列索引是 static_cast(ch)。

    4. 对每一组(状态,字符类别)调用初始化函数填充转移表,例如:table[START]['a'] = IN_IDENTIFIER;table[IN_IDENTIFIER]['0'] = IN_IDENTIFIER。

    二、字符分类预处理函数

    为了提升跳转效率,需要把输入字符映射成有限的类别码(0–9),而不是直接用 ASCII 值查表。这个映射可以屏蔽大小写差异、合并数字范围、统一符号组,同时把不可见字符归为 WHITESPACE 或 INVALID 类别。

    实现方式:

    1. 定义 constexpr std::array CHAR_CLASS,用 lambda 初始化:遍历所有可能的字符值,按规则分组赋值(比如字母映射到 1,数字映射到 2,等等)。

    2. 每次读取字符后,执行 uint8_t cls = CHAR_CLASS[static_cast(ch)]。

    3. 用 cls 作为转移表第二维的索引,替代原始字符值,这样表体积更小,访问也更快。

    三、主状态机循环与 Token 提取逻辑

    主循环逐字符消费输入流,根据当前状态和字符类别查表跳转;当进入终止状态(比如从 IN_NUMBER 跳回 START)时,立即截取已缓冲的字符序列构造 Token,并重置缓冲区。关键在于区分“接受状态”和“中间状态”,只有在明确可以结束的位置才触发 Token 输出。

    流程大致如下:

    1. 初始化 state = LexerState::START,pos = 0,buffer.clear()。

    2. 进入循环:while (pos < input.length()),读取当前字符,获取类别码,然后查表得到下一状态。

    3. 如果下一状态是 ERROR,直接抛出词法错误(throw std::runtime_error)。

    4. 如果当前状态不是 START 且下一状态变成了 START,说明一个 Token 结束了,调用 emitToken(buffer, state) 输出 Token,然后清空缓冲区。

    5. 如果下一状态既不是 START 也不是 ERROR,就把当前字符追加到缓冲区中。

    6. 更新状态为下一状态,位置加 1,继续循环。

    四、特殊 Token 的嵌套状态处理

    字符串字面量和块注释需要支持跨行以及转义序列,不能只靠单层状态跳转就能搞定。必须引入子状态栈或者递进式子状态,比如 IN_STRING → ESCAPE_SEQUENCE → IN_STRING,并在遇到结束符之前禁止退出该主状态分支。

    具体做法:

    1. 当状态是 IN_STRING 且当前字符是反斜杠 \ 时,设置一个临时子状态 ESCAPE_NEXT,并且直接跳转到 ESCAPE_NEXT。

    2. 在 ESCAPE_NEXT 状态下,不把反斜杠加入缓冲区,而是读取下一个字符,根据其值决定如何转义(例如 'n' → '\n','"' → '"'),然后强制跳回 IN_STRING。

    3. 如果 ESCAPE_NEXT 遇到换行或 EOF,则跳转至 ERROR。

    4. 当状态是 IN_STRING 且遇到双引号 " 且前一个字符不是反斜杠时,跳转至 START 并发射 STRING Token。

    五、关键字与标识符的后置识别机制

    标识符和关键字共享同一条状态路径(IN_IDENTIFIER),所以必须在状态退出之后进行字符串比对。如果缓冲内容匹配预定义的关键字集合(比如 "if"、"while"、"return"),就生成对应的关键字 Token;否则生成 IDENTIFIER Token。这个判断不能放到状态机内部去做,否则会破坏状态的正交性。

    实现要点:

    1. 定义 const std::unordered_set KEYWORDS = {"if", "else", "for", "while", "return", "int", "char", "void"};。

    2. 在 emitToken(buffer, state) 函数中,当状态是 IN_IDENTIFIER 时,检查缓冲区内容是否在关键字集合里:如果在,返回 Token{TokenType::KEYWORD, buffer};否则返回 Token{TokenType::IDENTIFIER, buffer}。

    3. 注意:关键字匹配必须区分大小写,而且缓冲区内容不能包含首尾空格或控制字符。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 C++
    相关文章 更多
    C++动态数组初始化怎么写?常用语句与代码示例
    C++动态数组初始化怎么写?常用语句与代码示例

    深入解析C++中动态数组的初始化机制,涵盖new操作符的不同用法、基本类型与类对象的初始化差异,以及为何在现代C++开发中应优先使用std::vector。

    C++类构造与析构函数详解
    C++类构造与析构函数详解

    C++类构造与析构函数详解 C++这门语言,可以说是从C语言这棵大树上衍生出的高级果实,如今的应用普及度有目共睹。作为一种静态类型的通用编程语言,它厉害的地方在于融合了多种编程哲学——无论是传统的面向过程,还是主流的面向对象,乃至数据抽象、泛型编程这些高级概念,它都能很好地支持。正因为这份卓越的扩展

    C++中std::upper
    C++中std::upper

    C++中std::upper_bound用法解析 在C++标准模板库(STL)的算法工具箱里,upper_bound() 绝对算得上是一把精准的“探针”。它的核心任务很明确:在一个已经排好序的区间 [first, last) 内,帮你快速定位到第一个**严格大于**指定值 value 的那个元素。这

    C++常对象与成员解析
    C++常对象与成员解析

    C++中“常”概念全景解析:从对象、成员到指针与引用 在C++的世界里,“常量性”是一个强大的保障机制。它不仅仅是一个const关键字那么简单,而是构建健壮、安全程序的重要基石。今天,我们就来系统梳理一下围绕“常”的一系列概念:常成员、常对象、常指针与常引用。理解它们,是写出高质量C++代码的关键一

    c++如何将结构体写入SQLite数据库_对象关系映射方案【进阶】
    c++如何将结构体写入SQLite数据库_对象关系映射方案【进阶】

    直接用SQLiteCAPI绑定结构体需要手动处理字段展平与顺序对齐,ORM库虽省代码但存在隐式行为风险。小项目建议原生绑定,中大型项目可搭配编译期校验使用轻量ORM。绑定std::string需传指针与长度,注意生命周期;浮点字段比较需设误差范围。

    什么是编程,学习编程的意义是?
    什么是编程,学习编程的意义是?

    编程是编写程序指令,让设备按意图运行,常用Python、C等语言或Scratch图形化编程。学习编程能跟上科技时代,锻炼自学与解决问题能力,提升逻辑思维,代表行动力,推动事物前进。各司其职,编程者尽本分。

    编程是门艺术_是编程艺术吗?
    编程是门艺术_是编程艺术吗?

    编程被争论是否为艺术。从定义看,编程是技能表达,但并非所有编程都是应用开发。写代码如音乐、文章,有独特风格。好代码需耐心与逻辑能力。编程是艺术,但应用开发不等同于编程艺术。

    【编程的感受】
    【编程的感受】

    很多人提起编程,总觉得这是一门“不起眼”的学问——不就是写写代码嘛,能有多深?但真走进去了才会发现,编程里头的门道,远比表面看上去要丰富得多。 学习编程的过程中,最容易卡住的往往是那些基础语法。就拿那个常见的 for 循环来说吧,刚开始时怎么都绕不过弯来:为什么这么写能循环?循环条件到底怎么控制?一

    对于懂得编程的人来说,编程对你来说有什么乐趣?编程大概是什么感觉?
    对于懂得编程的人来说,编程对你来说有什么乐趣?编程大概是什么感觉?

    解决编程问题后的痛快、完成作品的成就感、获取知识的满足感,以及用代码实现简化生活的惊喜与踏实,这些是编程独有的乐趣,只有真正写代码的人才能体会其中的酸甜苦辣、惊喜与满足,令人回味无穷。

    趣味编程:少儿编程思维的启蒙之旅
    趣味编程:少儿编程思维的启蒙之旅

    Scratch图形化编程以拖拽积木块方式启蒙少儿编程思维,无需记忆代码语法。通过素材库、即时反馈和社区协作,帮助孩子在创作中理解顺序执行、条件判断等核心概念,锻炼逻辑、创造力和问题解决能力。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。