Если даны координаты вершин треугольника, сначала можете воспользоваться формулой нахождения длины отрезка по координатам его концов, и только после этого - формулой Герона.
По второй части - разбивайте многоугольник на конечное число треугольников и вычисляйте площадь каждого треугольника отдельно, затем полученные площади суммируйте.