Nos exemplos, os resultados para números aparecem diferentes do meu código.
Abaixo, meu código rodando:
>>> ================================ RESTART ================================
>>>
>>> lista = tokeniza("123")
>>> imprima_tokens(lista)
[N(123.00)] # onde o exemplo retorna [N(123)]
>>> lista = tokeniza(".5")
>>> imprima_tokens(lista)
[N(0.50)] # onde o exemplo retorna [N(0.5)]
>>> lista = tokeniza("12.5")
>>> imprima_tokens(lista)
[N(12.50)] # onde o exemplo retorna [N(12.5)]
>>> lista = tokeniza("2")
>>> imprima_tokens(lista)
[N(2.00)] # onde o exemplo retorna [N(2)]
>>>
>>> #========================================================================
Devo alterar o programa para bater exatamente com os exemplos?