Ничего не перепутали? Получается что на 12 В мощность реле 3 Вт, а на 5 В 0,36 Вт... Правильно?
Если так то я бы при питании реле 12 В от шинки +17 В или поставил бы резистор на 20 Ом что-бы на нём упало 5 В при токе 260 мА (если предоставленные данные верны). Можно для питания реле поставить КРЕНку на 12 В. Но такое ощущение что не хватает тока для отпирания транзистора. При включенном реле на коллекторе какое напряжение? В режиме ключа должно быть 1,2-1,5 В.
И пора бы рисовать схемки. Лично я в ваших рисунках, по плате бегать не собираюсь. Принимаю к рассмотрению принципиальную (ну в худшем случае структурную схему). Вы же выложили ПДФ файл. Сделайте скрин и на нём рисуйте изменения.