En la construcción del compilador, ¿un símbolo es lo mismo que un token?

Question

En la construcción de compiladores, cuando se habla de tokens, ¿es una ficha lo mismo que un símbolo/simplemente otro término para un símbolo? Después de algunas investigaciones, creo que para entender, que un token es un símbolo con una referencia a la tabla de símbolos, por lo tanto, algún tipo de símbolo/símbolo atribuido con algunas informaciones adicionales? Gracias por cualquier aclaración :-)

Answer 1

Un token no es necesariamente un símbolo en la tabla de símbolos. Por ejemplo, si un token es una palabra reservada, entonces no se ingresa en la tabla de símbolos. Si un token es un identificador, es probable que se ingrese en la tabla de símbolos.

Tomemos por ejemplo la siguiente declaración:

char s[100]; 

Un analizador léxico podría salida de los siguientes símbolos:

<"char", IDENTIFIER> 

dependiendo de la aplicación que podría ser reconocida como una palabra reservada o introducirse en la tabla de símbolos como un nombre de tipo predefinido (no estoy 100% seguro aquí),

<"s", IDENTIFIER> 

"s" se consignan en la tabla de símbolos como un identificador de variables,

<"[", OPEN_SQUARE_BRACKET> 

no aceptado en la tabla de símbolos,

<"100", INTEGER_LITERAL> 

no aceptado en la tabla de símbolos,

<"]", CLOSE_SQUARE_BRACKET> 

no aceptado en la tabla de símbolos,

<";", SEMI_COLON> 

no ingresado en la tabla de símbolos.

Por lo tanto, básicamente ingrese en la tabla de símbolos solo aquellos tokens que necesita referenciar más adelante durante el proceso de compilación. Por ejemplo, más adelante en el cuerpo de la función, cuando se encuentra

strcpy(s, "Hello, world\n"); 

que reconocen de nuevo el token < "s", identifier> y mirar hacia arriba en la tabla de símbolos. La tabla de símbolos dirá que "s" ha sido declarada como una variable de tipo char [].

Por lo tanto, yo diría que un token de es cualquier pedazo de entrada que es reconocido por el analizador léxico, y que sólo se han registrado ciertos símbolos con un significado especial como símbolos en la tabla de símbolos.

Answer 2

Un símbolo es la constante ENTREGADA EN ESA LLAVE como en S = S en esa tabla, o Pi = Pi en esa ecuación, mientras que una ficha representa lo dado como el medio de intercambio en esa condición.