Essa sai pelo método da substituição. Pela segunda equação tu tem que y = x-2. Substituindo esse valor na primeira equação temos:
[tex]x-2+x^{2}-5x=3 => x^{2}-4x-5=0[/tex]
Aqui você resolve a equação do segundo grau da forma que achar mais conveniente (sim, existe mais de um jeito :P), mas vamos por Bháskara (vou chamar o delta de alfa, num sei como coloca o delta aqui não :P)
[tex] \alpha = b^{2}-4ac => \alpha = (-4)^{2}-4.1.(-5) = 16+20 => \alpha =36[/tex]
[tex]x= \frac{-b+/-\sqrt{\alpha}}{2a} => x= \frac{4+/-6}{2} => x=5 ou x=-1[/tex]
Daí, substituindo os valores de x na segunda equação, tu encontra que y=3 ou y= -3.
S={(5, 3); (-1, -3)}