Lemma 1: $ f(1)=1 $
Dimostrazione
Valutiamo l'equazione per $ x,y=1 $. Otteniamo $ f(1)+[f(1)]^2 + 2f(1)=a^2 $, per qualche intero positivo $ a $. Da questa si ottiene: $ f(1)[3+f(1)]=a^2 $. Se $ f(1) $ è un quadrato allora lo è anche $ f(1)+3 $ e quindi $ f(1)=1 $. Supponiamo che $ f(1) $ nom sia un quadrato, sfruttando il fatto che $ MCD(f(1),f(1)+3)=MCD(f(1),3) $, si ha che il massimo comune divisore non può essere 1 perchè altrimenti $ f(1) $ dovrebbe essere un quadrato. Quindi esso e uguale a tre e dunque $ f(1) $ è della forma $ 3t^2 $ per qualche intero $ t $. Quindi $ 3t^2(3t^2+3) $ è un quadrato. Ma $ 1+6t^2+9t^4=(3t^2+1)^2<3t^2(3t^2+3)<4+(12*t^2)+(9*t^4)=(3t^2+2)^2 $, assurdo. Quindi $ f(1)=1 $.
Lemma 2: $ f(p) $ è arbitrariamente grande al crescere di $ p $, con $ p $ numero primo.
Dimostrazione
Ponendo $ x=p,y=1 $, si ottiene $ pf(p) + [f(1)]^2 + 2pf(1)= a^2 \implies pf(p) +1 +2p=a^2 \implies f(p) =\frac{(a-1)(a+1)}{p}-2 $. Dato che $ f(p) $ è intero $ p|(x-1)(x+1) $ e usando che $ f(p)>0 $ si ha che $ x \ge p-1 $. Quindi $ f(p) \ge \frac{(p-2)(p)}{p}-2=p-4 $. Quindi si ha la tesi ($ f(p) $ cresce arbitrariamente al crescere di $ p $).
Supponiamo esista un intero positivo k tale che $ f(k) \neq k $. Per il lemma 2 esiste un primo $ p $ tale che $ f(k) $ e k sono "molto più piccoli" di $ f(p) $. Dimostriamo che $ kf(k) + [f(p)]^2 + 2kf(p)=(f(p)+k)^2 $. Usando la nostra assunzione su p si ha : $ (k+f(p)-1)^2=1-2k+k^2-2f(p)+2kf(p)+[f(p)]^2 \sim -2f(p)+2kf(p)+[f(p)]^2 <kf(k) + [f(p)]^2 + 2kf(p)<+2f(p)+2kf(p)+[f(p)]^2< 1+2k+k^2+2f(p)+2kf(p)+[f(p)]^2 =(k+f(p)+1)^2 $. In queste stime abbiamo usato il fatto che i monomi in cui non compare $ f(p) $ sono molto più piccoli (di una quantità arbitrariamente grande), di quelli in cui compare.
Quindi abbiamo ottenuto che $ (k+f(p)-1)^2<kf(k) + [f(p)]^2 + 2kf(p)<(k+f(p)+1)^2 $, quindi se $ kf(k) + [f(p)]^2 + 2kf(p) $ è un quadrato allora è $ (f(p)+k)^2= k^2 + [f(p)]^2 + 2kf(p) $ e quindi $ f(k)=k $ (contraddicendo il fatto che che esiste un $ k $ tale che $ f(k) \neq k) $. Di conseguenza se esiste una tale funzione deve essere $ f(x)=x $ per ogni x intero positivo. Sostituendo si verifica che funziona, si ottiene infatti:
$ xf(x) + [f(y)]^2 + 2xf(y)=x^2+y^2+2xy=(x+y)^2 $.
