令牌在ANTLR 3 C中返回值
我是ANTLR的新手，我正在尝试使用C语言目标（antler3C）编写一个简单的解析器。 语法很简单，我想让每个规则返回一个值，例如：
number returns [long value] : ( INT {$value = $INT.ivalue;} | HEX {$value = $HEX.hvalue;} ) ; HEX returns [long hvalue] : '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F')+ {$hvalue = strtol((char*)$text->chars,NULL,16);} ; INT returns [long ivalue] : '0'..'9'+ {$ivalue = strtol((char*)$text->chars,NULL,10);} ; 每个规则收集它的子规则的返回值，直到最顶层的规则返回一个充满我的数据的漂亮结构。
据我所知，ANTLR允许词法分析器规则（令牌，例如’INT’和’HEX’）返回值，就像解析器规则（例如’number’）一样。 但是，生成的C代码将无法编译：
error C2228: left of '.ivalue' must have class/struct/union error C2228: left of '.hvalue' must have class/struct/union
我做了一些探讨，错误是有道理的 – 令牌最终成为通用的ANTLR3_COMMON_TOKEN_struct，它不允许返回值。 所以也许C目标不支持这个function。 但就像我说的那样，我是新手，在我开始寻找另一种方法之前，我想确认一下我不能这样做。
所以问题是：’antler3C是否支持lexer规则的返回值，如果是，那么使用它们的正确方法是什么？
没有任何新的信息，只是关于@bemace已经提到的一些细节。
不，词法分析器规则不能有返回值。 请参阅最终ANTLR参考中的 4.3规则 ：
规则参数和返回值
就像函数调用一样，ANTLR解析器和树解析器规则可以有参数和返回值。 ANTLR词法分析器规则不能有返回值[…]
有两种选择：
选项1
您可以在解析器规则number中将转换为long ：
number returns [long value] : INT {$value = Long.parseLong($INT.text);} | HEX {$value = Long.parseLong($HEX.text.substring(2), 16);} ;
选项2
或者创建自己的令牌，例如，一个toLong(): long方法：
import org.antlr.runtime.*; public class YourToken extends CommonToken { public YourToken(CharStream input, int type, int channel, int start, int stop) { super(input, type, channel, start, stop); } // your custom method public long toLong() { String text = super.getText(); int radix = text.startsWith("0x") ? 16 : 10; if(radix == 16) text = text.substring(2); return Long.parseLong(text, radix); } }
并在语法中的options {...}标头中定义以使用此标记并覆盖lexer类中的emit(): Token方法：
grammar Foo; options{ TokenLabelType=YourToken; } @lexer::members { public Token emit() { YourToken t = new YourToken(input, state.type, state.channel, state.tokenStartCharIndex, getCharIndex()-1); t.setLine(state.tokenStartLine); t.setText(state.text); t.setCharPositionInLine(state.tokenStartCharPositionInLine); emit(t); return t; } } parse : number {System.out.println("parsed: "+$number.value);} EOF ; number returns [long value] : INT {$value = $INT.toLong();} | HEX {$value = $HEX.toLong();} ; HEX : '0' 'x' ('0'..'9'|'a'..'f'|'A'..'F')+ ; INT : '0'..'9'+ ;
生成解析器和词法分析器时，运行此测试类：
import org.antlr.runtime.*; import java.io.*; public class Main { public static void main(String[] args) throws Exception { ANTLRStringStream in = new ANTLRStringStream("0xCafE"); FooLexer lexer = new FooLexer(in); CommonTokenStream tokens = new CommonTokenStream(lexer); FooParser parser = new FooParser(tokens); parser.parse(); } }
它将产生以下输出：
parsed: 51966
在您的情况下，第一个选项似乎更实用。
请注意，正如您所看到的，给出的示例是Java。 我不知道C目标/运行时是否支持选项2。 我决定发布它，以便能够将其作为SO的未来参考。
Lexer规则必须返回Token对象，因为这是Parser期望使用的。 可能有一种方法可以自定义所使用的令牌对象的类型，但是将标记转换为最低级别解析器规则中的值会更容易。
social_title returns [Name.Title title] : SIR { title = Name.Title.SIR; } | 'Dame' { title = Name.Title.DAME; } | MR { title = Name.Title.MR; } | MS { title = Name.Title.MS; } | 'Miss' { title = Name.Title.MISS; } | MRS { title = Name.Title.MRS; };
还有第三种选择：您可以将对象作为参数传递给词法分析器规则。 该对象包含表示词法分析器返回值的成员。 在词法分析器规则中，您可以设置该成员。 在词法分析规则之外，在您调用它的时候，您可以获得该成员并使用此“返回值”执行任何操作。 这种参数传递方式对应于Pascal中的’var’参数或C ++和其他编程语言中的’out’参数。