Eu estava usando um tal [rsqrt~] em vez de [sqrt~]. Este tal [rsqrt~] é usado pelo Phase Vocoder do PD e não sei exatamente o que esta função faz. Usando [sqrt~] cheguei em resultados mais coerentes.
Eu tinha visto no enunciado que era para usar 2/N mas acabei seguindo as possibilidades que foram passadas em aula, ou seja, /N /N^0.5 e sem multiplicar. Ajustado e agora os resultados estão mais coerentes.