Più che una bella soluzione cercherò di scrivere come sono arrivato alla formula passo per passo.
Ragionamento iniziale: i quadrati più piccoli che si possono formare sono, ovviamente, quelli unitari; i più grandi saranno invece quelli di lato a. Dovrò quindi contare tutti i quadrati con i lati compresi tra 1 ed $ a $ (estremi inclusi!).
Conteggio quadrati: banalmente i quadrati unitari saranno $ a\cdot b
$; noto inoltre che i quadrati di lato 2 sono esattamente 1 in meno per ogni colonna e per ogni riga, cioè in tutto $ (a-1)\cdot (b-1)
$; stesso ragionamento applico per i quadrati di lato 3,4,..,$ a $ : si avranno cosi $ (a-2)\cdot (b-2) $ quadrati di lato 3...$ [a-(a-1)]\cdot [b-(a-1)] $ quadrati di lato $ a $. Ora non mi resta che sommare tutti i quadrati e avremo la nostra formula
Scrivo la formula: noto che probabilmente si potrebbe scrivere il tutto come una sommatoria e con alcuni semplici passaggi trovare la formula che cerchiamo, noto anche che purtroppo questo non lo so fare (

) quindi cerchiamo un altro metodo. Riscrivendo la formula dal numero di quadrati di lato maggiore e sostituendo a $ [a-(a-1)] $ 1, a $ [a-(a-2)] $ 2 e cosi via, avremo:
$ 1\cdot (b-a+1) + 2\cdot (b-a+2) +...+a\cdot (b-a+a) $.
Resta comunque una sommatoria mentre noi dobbiamo avere una formula chiusa, cosa fare?
Provo a moltiplicare i vari fattori e poi li separo in maniera furba, vediamo che succede: $ [b+2b+3b+...+ab] - [a+2a+3a+...+a^2] + [1^2+2^2+3^2+...+a^2] $. Sono ancora 3 sommatorie ma queste sappiamo trasformarle in formule chiuse: $ \frac{ab(a+1)}{2} - \frac{a^2(a+1)}{2} + \frac{a(a+1)(2a+1)}{6} $ da cui trovo finalmente la formula cercata:
$ \frac{-a^3+3a^2b+3ab+a}{6} $.
Bonus question: se a=b i primi due termini della penultima sommatoria si annullano quindi non a caso la formula è uguale a quella per trovare la somma dei primi $ a $ quadrati.
P.S scritta cosi la soluzione fa veramente schifo, spero però serva a far capire come in alcuni casi si riescano a superare "ostacoli" dovuti alle scarse conoscenze.