voglio provare, sperando di non aver sbagliato nulla.
Intanto mettendo x=y=1 troviamo che $ f(1)^2-f(1)+a\le 0 $, da cui $ a\le\frac 1 4 $.
Se $ a<\frac 1 4 $ una funzione esiste, ad esempio mi basta prendere una funzione "quasi costante": $ f(x)=\frac 1 2 $ se x diverso da 1 e $ f(1)=\frac 1 2+\epsilon $ con $ \epsilon $ abbastanza piccolo e dovrebbe funzionare tutto.
Se $ a=\frac 1 4 $ iniziano i problemi
-Ponendo x=y=1 ho che f(1)=1/2.
-Ponendo y=1 ho che $ f(x)\ge\frac 1 2 $
-Pongo x=y e ho che $ f(2x-x^2)+\frac 1 4+f(x)^2-2f(x)\le 0 $.
Chiaramente $ f(x)^2-2f(x)\ge -1 $, da cui $ f(2x-x^2)\le\frac 3 4 $. Ma $ 2x-x^2 $ è bigettiva in $ (0,1] $, quindi $ f(x)\le\frac 3 4 $.
Ora con la limitazione $ f(x)\le\frac 3 4 $ il minimo di $ f(x)^2-2f(x) $ diventa $ -\frac{15}{16} $ e analogamente a prima si conclude che $ f(x)\le\frac{11}{16} $.
Iterando questo procedimento trovo che $ f(x)\le a_n $ per ogni n, dove $ a_n $ è l'n-esimo elemento della successione cosi definita:
$ a_1=\frac 3 4 $
$ a_{n+1}=-(a_n^2-2a_n+\frac 1 4) $
Si può verificare che questa successione è limitata inferiormente (a_n è sempre >1/2) ed è strettamente decrescente, quindi converge ad un limite finito $ l $.
Ora voglio calcolare questo limite:
$ l=\lim_{n\rightarrow\infty}a_n=\lim_{n\rightarrow\infty}a_{n+1}=\lim_{n\rightarrow\infty}-(a_n^2-2a_n+\frac 1 4)=-l^2+2l-\frac 1 4 $, quindi $ l=\frac 1 2 $.
Segue da tutto ciò che $ f(x)\le\frac 1 2 $.
Quindi concludendo $ a=\frac 1 4 $ implica $ f(x)=\frac 1 2 $ per ogni x. Ma allora f è costante e pertanto questo caso non è da includere.
Spero vada più o meno bene