Quando x é irracional, m!x será sempre irracional. Logo 0≤cos2(m!πx)<1, pois m!πx não é um multiplo inteiro de π. Assim limn→∞cos2n(m!πx)=0, independentemente do valor de m. Nesse caso, o limite externo é trivialmente 0.
Quando x é racional, a demonstração é mais interessante. Podemos escrever x comop/q, com p e q inteiros e q>0. Se m=q, o termo m!x=q!p/q=(q−1)!p é um número inteiro. Se m!x for inteiro para algum m, então será inteiro também para qualquer m′>m. Juntando os dois fatos, podemos concluir que existe m0 tal que m!x é inteiro para todo m≥m0, e racional para m<m0 ($m_0$ pode ser menor que $q$ e pode ser 0). Se m≤m0, o limite interno é semelhante ao dos números irracionais (o limite é 0). Por outro lado, quando m>m0, cos2(m!πx)=1. Assim, o limite externo é 1.
É interessante notar que se os limites estivessem invertidos, a expressão não funcionaria sempre. Você consegue entender o que acontece e por quê?
Calculando essa fórmula podemos provar que um número é racional ou irracional. Entretando sabe-se que responder essa pergunta é difícil. Por exemplo, provar que π e esão irracionais não é fácil, e não se sabe se π+e, π⋅e ou π/e são racionais ou irracionais.
Realmente é difícil calcular esse limite para um determinado x sem se saber de antemão se x é racional ou irracional. Acho que essa fórmula pode ajudar em alguns casos, pois a manipulação de cos2n(m!πx) pode trazer novos insights. Tentei alguns exemplos, mas o melhor que consegui foi apenas uma versão disfarçada e desnecessariamente complicada de uma prova de que (√2) é irracional.
