Остальное - неправильно сделано, листинг не подходит к заданию.
1) Условие нужно составлять, исходя из значений переменных. Выражение 3<=x неверно, так как нельзя сравнивать число с переменной, можно только обратно, переменную с числом, вот так правильно: if x>=3 ...
Совершенно непонятно, откуда вы взяли числа 3 и 9, если у вас по заданию Х должен быть >=0 но <=5 для первого варианта и >5 для второго варианта уравнения y1 системы.
2) Функции совершенно не подходят для вашего задания.
3) Нет изменения значения переменной X от начального до конечного с указанным приращением. Нет вывода вычисленного значения Z.
4) IMHO, легче написать программу с нуля, чем пытаться исправить предложенный листинг.
Судя по всему, вы совершенно не представляете себе сути задания и не видите способов решения.