Oi Marcus,
Essa notação de [ ou ( não é relacionada com a notação de intervalo aberto/fechado da matemática.
Ao retornar [x, y] você está retornando uma lista contendo x na primeira posição e y na segunda.
Ao invés disso, esta função pede para que você retorne um par de inteiros, no formato 'return (x, y)'