Bài toán: (Chọn đội tuyển VMO tỉnh Bắc Giang, năm học 2014-2015)
    Giải hệ phương trình: $$\begin{cases}3x^2-8x+2(x-1)\sqrt{x^2-2x+2}=2(y+2)\sqrt{y^2+4y+5}\\x^2+2y^2=4x-8y-6\end{cases}$$Lời giải:
Hệ đã cho viết lại thành: $$\begin{cases}(x-1)^2-2(x-1)-5+2(x-1)\sqrt{(x-1)^2+1}=2(y+2)\sqrt{(y+2)^2+1}\\(x-1)^2+2(y+2)^22(x-1)+5\end{cases}$$ Đặt: $a=x-1, b=y+2$ Khi đó, hệ đã cho trở thành: $$\begin{cases}3a^2-2a-5+2a\sqrt{a^2+1}=2b\sqrt{b^2+1}\\a^2+2b^2=2a+5\end{cases}$$ Thay $2a+5=a^2+2b^2$ vào phương trình trên, ta thu được: $$a^2-2b^2+2a\sqrt{a^2+1}=2b\sqrt{b^2+1}$$ $$\Leftrightarrow (a+\sqrt{a^2+1})^2=(b+\sqrt{b^2+1})^2$$ Trường hợp 1:  $a+\sqrt{a^2+1}=b+\sqrt{b^2+1}$
 Xét hàm số  $f(t)=t+\sqrt{t^2+1}, \forall t\in \mathbb{R}$. Ta có: $$f'(t)=1+\dfrac{t}{\sqrt{t^2+1}}\ge0, \forall t\in\mathbb{R}$$ Do đó, $f(t)$ đồng biến trên $\mathbb{R}$, và như vậy, ta có: $a=b$, thay vào phương trình thứ hai ta dễ dàng tính được $a=b=-1$ hoặc $a=b=\dfrac{5}{3}$ từ đó ta thu được nghiệm là $\left(x, y\right)=\left(0,-3\right), \left(\dfrac{8}{3},-\dfrac{1}{3}\right)$
Trường hợp 2:   $$a+\sqrt{a^2+1}=-b-\sqrt{b^2+1}$$ $$\Leftrightarrow a+b+\frac{a^2-b^2}{\sqrt{a^2+1}+\sqrt{b^2+1}}=0$$ $$\Leftrightarrow (a+b)\left(1+\dfrac{a-b}{\sqrt{a^2+1}+\sqrt{b^2+1}}\right)=0$$ Do $a\neq b$ nên dễ dàng thấy được: $\dfrac{a-b}{\sqrt{a^2+1}+\sqrt{b^2+1}}\neq 0$
Và như vậy, ta có $a=-b$ thay vào hệ ta tính được $(a, b)=\left(1, -\dfrac{5}{3}\right)\vee \left(-1;\dfrac{5}{3}\right)$ Từ đó suy ra $(x, y)=\left(2,-\dfrac{11}{3}\right)\vee \left(0, \dfrac{-1}{3}\right)$ Thử lại, ta tính được nghiệm của bài toán là: $$(x; y)=(0, -3)\vee \left(\dfrac{8}{3}, -\dfrac{1}{3}\right)$$