К сожалению, в СИ я не программирую, но общий ход решения, мне кажется, Вы нашли верно. На всякий случай: если α - угол выстрела по отношению к горизонту, а v0 - начальная скорость, то уравнение траектории птички должно выглядеть так (надеюсь, не наврал):
y = x*tg(α)-(g*x²)/(2*(v0)²*cos²(α))
Остаётся выразить α и v0 через x и y, а затем, подставляя все возможные комбинации пар (их 10 штук) найти "кратные" выстрелы, причем включая возможность поражения одним выстрелом не только двух, но и трёх, четырех и даже всех пяти обезьянок. Соответственно, если таковые найдутся, то на их количество следует уменьшить исходное значение (5 выстрелов).
Как-то так.