Основных причин нагрева не так уж и много.
Замерьте напряжение, падающее на стабилизаторе, умножьте на ток и получите рассеиваемую мощность. Если она укладывается расчётно в допустимые пределы, проверяйте теплоотвод: термоинтерфейс и размеры. Если и тут всё в норме - чаще всего что-то связанное с ВЧ. Ставьте фильтры на входе и выходе. Простейшие дроссели и слюдяные конденсаторы если не приведут в норму всё полностью, то значительно уменьшат паразитные потери именно на микросхеме. И тогда станет ясно, что нагрев связан именно с этим, а дальше уже придётся искать причину возникновения ВЧ-колебаний в системе.