Matt Fenwick
2013-05-29 10:03
基于阅读@ sm4链接的代码，该策略看起来像是：
通常将输入标记化。因此
A<B<C>> i;将被标记为A, <, B, <, C, >>, i, ;-8个令牌，而不是9个。层次分析过程中，对仿制药的解析工作和时
>是必要的，如果与记号开始>- ，>>，>>>，>=，>>=或>>>=-只敲>断，推动缩短令牌返回到令牌流。例如：当解析器到达>>, i, ;，而在typeArguments工作规则，它成功地解析typeArguments，剩下的记号流是现在的略有不同>, i, ;，因为第一>的>>是被拉断，以匹配typeArguments。
因此，尽管令牌化确实会正常发生，但是如果需要，在层次分析阶段会发生一些重新令牌化。
热门帖子
相关问题
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13
为什么编译器不重新标记诸如之类的东西
a--b？@ johnchen902为什么要这样？重新标记不是挽救失败的解析的通用策略，它仅在一种特殊情况下使用，因此您不必编写
A<B<C> >。