Catégories de jetons

Différents langages auront différentes catégories de jetons. On va prendre ici un modèle fictif et simplifié (quoique extrêmement proche de celui de Python [1] par exemple) :

• identifier (identificateur) : des noms déterminés par le langage ou par le programmeur.

  • keyword ou reserved keyword (mot-clé ou mot-clé réservé) : les noms définis par le langage sont dits réservés, ils ne peuvent pas être utilisés pour un autre usage que celui défini par le langage.

• operator (opérateur) : des symboles qui opèrent sur des arguments et produisent une valeur.

• delimiter ou punctuator (séparateur ou délimitateur) : caractères permettant de délimiter différentes parties indépendantes d’un flux de données.

• literal (littéral) : une représentation d’une valeur directement dans le code source.

• comment (commentaire) : il s’agit d’indications, de documentation à l’intention du lecteur humain de programme (qui peut être le programmeur lui-même).

Catégories de jetons:

• Les identificateurs, ou identifiants (identifiers)
• Les opérateurs (operators)
• Les séparateurs ou délimitateurs (delimiters ou punctuators)
• Les littéraux (literals)
• Les commentaires (comments)

[1]	The Python Language Reference, chapitre 2 : analyse lexicale, sous-chapitre 2.2 : autres jetons