Bom, inicialmente parece que dois termos tem algo em comum e o outro fica sobrando. Para resolver isso, podemos escrever essa expressão de outra forma:
-8a^2-12ab+2ab+3b^2
-4a(2a+3b)+b(2a+3b)
Dá para juntar:
(2a+3b)(-4a+b)
Para fazer isso você precisa ter bem claro o conceito da propriedade distributiva da fatoração, também conhecida como "chuveirinho".
É importante também saber bem o conceito de fatoração. Caso você ache que o seu professor(a) não explica muito bem, que tal procurar umas video aulas? Há algumas realmente ótimas no youtube, se precisar posso te ajudar a achar, me avise.
