Olá, Matheus!
De fato havia um pequeno problema na normalização do equalizador, pois o fator beta[k] não estava considerando o pico do filtro de 2 zeros, que ocorre na frequência pi/2 (e não omega[k]), e tem ganho 2. Colocando 0.5 na frente de cada beta[k] deve resolver isso (a saída do equalizador vai tirar um pouco da energia do sinal, pois a resposta em frequência conjunta estará sempre abaixo de 1, justamente para evitar estouros). Já atualizei o pdf no PACA.
O fator de 0.1 que o Guilherme sugeriu é exagerado, pois o ganho de cada filtro só é máximo próximo da sua respectiva frequência central, e nenhuma componente isolada do sinal da entrada estaria ao mesmo tempo no centro de cada filtro.
Abraços,
Marcelo