
Dire quadrato di vertici $ A=(0,1) $ , $ B=(1,1) $ , $ C=(1,0) $ e $ O=(0,0) $ corrisponde ad impostare il seguente sistema:
$ \left \{ \begin{array}{llll}x \geq 0 \\ y \geq 0 \\ x-1 \leq 0 \\ y-1 \leq 0 \end {array}\right. $
Che corrisponde al vincolo.
Poi si prosegue determinando eventuali punti critici liberi di $ f(x,y) = 5y(x^2-1) + 2y^2 - 1 $ proprio come hai fatto tu, ossia, mettendo a sistema le derivate prime parziali:
otteniamo quindi i punti $ (0, \frac{5}{4}) $ , $ (-1,0) $ , $ (1,0) $
I primi due punti poiché non appartengono alla regione di piano che ci interessa($ \not \in ABCO $) li trascuriamo. L'unico punto interessante è $ (1,0) $ che sta sulla frontiera(corrisponde al vertice C del quadrato) quindi ora il problema consiste nel calcolare questo max o min vincolato.
Per prima cosa esplicitiamo una funzione del vincolo: $ x-1=0 \rightarrow x=1 $ e questo valore lo sostiuiamo nella funzione ottenendo:
$ z=2y^2-1 $ la sua derivata prima è $ z'=4y $che si annulla per $ y=0 \in ABCO $ ed è quindi un estremante poi $ z''=4>0 $ quindi questo estremante è un punto di minimo.Quindi per $ f(x,y) $ si ha un minimo $ z=-1 $ in $ (1, 0) $
Ripeto ci ho solo provato.... non garantisco la correttezza dello svolgimento se ho solo scritto un mucchio di fesserie potete cancellare questa risposta o non considerarla!!!e poi non ero molto bravo con le funzioni di due variabili, ho solo detto la mia, se ho sbagliato(al 90%

