Para fazer um quadrilátero você pode:
I) escolher 4 vértices que não estejam na reta
II) escolher 1 vértice da reta e 3 que não estejam na reta
III) escolher 2 vértices na reta e 2 que não estejam na reta
I) Cn-k, 4 = (n-k)!/4!(n-k-4)! = (n-k)(n-k-1)(n-k-2)(n-k-3)/24
II) k.Cn-k,3 = k.(n-k)!/3!(n-k-3)! = k(n-k)(n-k-1)(n-k-2)/6
III) Ck,2 x Cn-k,2 = k(k-1)/2 x (n-k)(n-k-1)/2 = k(k-1)(n-k)(n-k-1)/4
Total será a soma desses três casos.