Bài toán: Giải hệ phương trình sau: $$\begin{cases} x^2+y^2+\dfrac{8xy}{x+y}=16\\\dfrac{x^2}{8y}+\dfrac{2x}{3}=\sqrt{\dfrac{x^3}{8y}+\dfrac{x^2}{4}}-\dfrac{y}{2}\end{cases}$$ Lời giải:
Điều kiện: $x+y\neq 0, y\neq 0, x\ge \dfrac{3}{4}$. Đặt $y=ax$, từ phương trình thứ hai của hệ, ta có: $$\dfrac{x^2}{8ax}+\dfrac{2x}{3}=\sqrt{\dfrac{x^3}{3ax}+\dfrac{x^2}{4}}-\dfrac{ax}{2}$$ Với $x\neq 0$, ta suy ra: $$\dfrac{1}{8a}+\dfrac{2}{3}=\sqrt{\dfrac{1}{3a}+\dfrac{1}{4}}-\dfrac{a}{2}$$ $$\Leftrightarrow 12a^2+16a-3=4\sqrt{9a^2+12a}$$
                                                                     $\Leftrightarrow 12a^2+16a-3-\dfrac{12(12a^2+16a-3)}{6+4\sqrt{9a^2+12a}}=0$
                                                                     $\Leftrightarrow (12a^2+16a-3)\left(1-\dfrac{12}{6+4\sqrt{9a^2+12a}}\right)=0$
Như vậy, ta có $12a^2+16a-3=0$ hoặc $1-\dfrac{12}{6+4\sqrt{9a^2+12a}}=0$. Cả hai trường hợp này đều dẫn đến: $$12a^2+16a-3=0$$ Tức là $a=\dfrac{1}{6}$ hoặc $a=-\dfrac{3}{2}$
$\bullet$  Trường hợp 1:  $a=\dfrac{1}{6}\Rightarrow x=6y$, thay vào phương trình đầu của hệ ta được: $$36y^2+y^2+\dfrac{48y^2}{6y+y}=16$$ $$\Leftrightarrow 37y^2+\dfrac{48}{7}y-16=0$$ $$\Rightarrow \begin{cases} y_1=\dfrac{4}{7}\\y_2=-\dfrac{28}{37}\end{cases}\Rightarrow \begin{cases}x_1=\dfrac{24}{7}\\x_2=-\dfrac{168}{37}\end{cases}$$ $\bullet$  Trường hợp 2: $a=-\dfrac{3}{2}\Rightarrow y=-\dfrac{3}{2}x$, tiếp tục thay vào phương trình đầu, ta được: $$\dfrac{13}{4}x^2+24x-16=0$$ $$\Rightarrow \begin{cases}x_1=-8 (l)\\x_2=\dfrac{8}{13}\Rightarrow y_2=-\dfrac{12}{13}\end{cases}$$ Thử lại, ta thu được: $$(x, y)=\left(\dfrac{4}{7}, \dfrac{24}{7}\right); \left(\dfrac{8}{13}, -\dfrac{12}{13}\right)$$