@LucaMac: ottimo, quel metodo funziona ed è anche veloce!
@scambret: non sono sicuro al 100% di cosa tu stia chiedendo. Se il tuo statement è: "siccome <<$a^{-2}=b$>>, allora moltiplicando $a^2b-1 | a+b^2$ da entrambi i lati per $a^4$ ottengo $a^4(a^2b-1) \bigm\vert a^4(a+a^{-4})=a^5+1$", allora no, questo è molto falso (prendi per esempio la soluzione $(a,b)=(2,3)$: allora la divisibilità $a^2b-1 | a+b^2$ è vera ma $a^4(a^2b-1) | a^5+1$ è falsa). Il punto è che "i primi, o anche le potenze di primi, che dividono $a^2b-1$ sono d'accordo con te sul fatto che $b=a^{-2}$, ma gli altri primi non ci credono". Tra l'altro, nemmeno il valore assoluto "crede" alla tua uguaglianza, perché nell'esempio di sopra abbiamo $a^4(a^2b-1) > a^5+1$ (in altri termini: se rimpiazzi $b$ con $a^{-2}$ ottieni una cosa che non solo non è una divisibilità, ma non rispetta nemmeno la disuguaglianza ovvia divisore $\leq$ dividendo. In questo senso "il valore assoluto si accorge" del fatto che stai imbrogliando, quando sostituisci $b$ con $a^{-2}$). Ok, sto cercando di dire una cosa che sarebbe anche abbastanza importante, ma mi rendo conto che questo discorso che ho appena fatto potrebbe non avere senso per voi... se non ci capite niente saltatelo a piè pari

e riprendete dalla prossima frase.
Quello che è certamente vero è che $a+b^2 \equiv 0 \pmod{a^2b-1} \Longleftrightarrow a^4(a+b^2) \equiv 0 \pmod {a^2b-1}$, e d'altra parte $a^4(a+b^2) \equiv a^5+1 \pmod{a^2b-1}$, ma questo ti dà solo $a^2b-1 \bigm\vert a^5+1$, senza il fattore $a^4$ sulla sinistra.
@scambret, Drago96: lavorare con $a^5+1$ è la prima cosa che ho provato anch'io, ma in effetti non sembra portare in fondo...
@gpzes: mi sembra che quello che stai dicendo sia semplicemente che deve valere $\left( 1+ \frac{1}{a^2b-1} \right) \left( \frac{1}{ab}+ \frac{b}{a^2} \right) \geq 1$; questo è certamente vero e ti dà in effetti delle disuguaglianze, più o meno del tipo $b \geq a^2-2$ (questa che ho appena scritto è un po' più debole della tua, ma almeno si scrive facilmente). Nel tuo linguaggio: se ci limitiamo a considerare gli $a,b$ che rispettano $b < a^2-2$, allora non ci sono soluzioni. Questo fatto chiaramente da solo non porta a dire che il numero totale di soluzioni è finito; quello che vorremmo fare adesso è trovare una disuguaglianza nell'altro verso. Altra osservazione (che poi è la stessa osservazione, solo detta in un altro modo): come vedi anche tu stesso dalle ultime cose che hai scritto, se $b<a$ il problema lo sai risolvere: quindi ora vuoi trovare una disuguaglianza che ti dica esattamente che se $a,b$ è una soluzione, allora $b$ non è molto più grande di $a$!