Bài toán: (Mathlink.vn) Giải hệ phương trình: $$\begin{cases}\dfrac{1}{(\sqrt{x}+1)(\sqrt{y}+1)}=\dfrac{1+\sqrt{2-x^2-y^2}}{\sqrt{xy(2-x^2-y^2)}+4}\;\;\;\;\;\;\;\;\;\;\;\;\;(1)\\\\\sqrt{x}+\sqrt{y}+\sqrt{2-x^2-y^2}(\sqrt{xy}+1)=2\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(2)\end{cases}$$ 
Lời giải:
Điều kiện: $\begin{cases}x, y\ge 0\\2-x^2-y^2\ge 0\end{cases}\Rightarrow 0\le x,y\le \sqrt{2}$ Phương trình $(2)$ tương đương với: $$(\sqrt{x}+1)(\sqrt{y}+1)=3+\sqrt{xy}-\sqrt{2-x^2-y^2}(\sqrt{xy}+1)$$ Đặt $a=\sqrt{2-x^2-y^2}, b=\sqrt{xy},\;(0\le a,b;\; b\le 2,\;a\le \sqrt{2})$  Kết hợp với $(1)$ ta có: $$\begin{aligned}&\;\;\;\;\;\;\dfrac{1+a}{ab+4}=\dfrac{1}{3+b-a(b+1)}\\&\Leftrightarrow (a+1)[3+b-a(b+1)]=ab+4\\&\Leftrightarrow b=\dfrac{(a-1)^2}{1-a-a^2}\end{aligned}$$ Ngoài ra: 
 +) Phương trình $(1)$ cho ta: $$\begin{aligned}&\;\;\;\;\;\;\; (\sqrt{x}+1)(\sqrt{y}+1)=\dfrac{\sqrt{xy(2-x^2-y^2)}+4}{1+\sqrt{2-x^2-y^2}}\\&\Leftrightarrow \sqrt{xy}+\sqrt{x}+\sqrt{y}+1=\dfrac{\sqrt{xy(2-x^2-y^2)}+4}{1+\sqrt{2-x^2-y^2}}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(3)\end{aligned}$$
 +) Phương trình $(2)$ cho ta: $$\sqrt{x}+\sqrt{y}=2-\sqrt{2-x^2-y^2}(\sqrt{xy}+1)\;\;\;\;\;\;\;\;\;\;\;\;\;(4)$$ Lấy $(3)-(4)$, ta được: $$\sqrt{xy}+1=\sqrt{2-x^2-y^2}(\sqrt{xy}+1)+\dfrac{\sqrt{xy(2-x^2-y^2)}+4}{1+\sqrt{2-x^2-y^2}}-2$$ hay: $$\begin{aligned}&\;\;\;\;\;\;b+1=a(b+1)+\dfrac{ab+4}{a+1}-2\\&\Leftrightarrow b=ab+a+\dfrac{ab+4}{a+1}-3\\&\Rightarrow \dfrac{(a-1)^2}{1-a-a^2}=\dfrac{a(a-1)^2}{1-a-a^2}+a+\dfrac{\dfrac{a(a-1)^2}{1-a-a^2}+4}{a+1}-3\\&\Leftrightarrow \dfrac{a^3-2a^2+a}{1-a-a^2}=0\Leftrightarrow a=0\vee a=1\end{aligned}$$

Trường hợp 1: $a=0\Rightarrow b=1$ Lúc này ta thu được; $$\begin{cases}x^2+y^2=2\\xy=1\end{cases}\Leftrightarrow x=y=1\;(x,y \ge 0)$$
Trường hợp 2: $a=1\Rightarrow b=0$ Lúc này ta được; $$\begin{cases}x^2+y^2=1\\xy=0\end{cases}\Leftrightarrow \begin{cases}x=0\\y=1\end{cases}\vee\begin{cases}x=1\\y=0\end{cases}$$ Thử lại thấy thỏa. Kết luận $$(x,y)=(1,1)\vee (0,1)\vee (1,0)$$