Возьмите абсолютно любой блок питания, от смартфона вполне подойдёт.
Каждый светодиод подключите через отдельный токоограничивающий резистор, рассчитав его по закону Ома.
Если не знаете номинальный ток светодиодов - примите его 20 мА.
Точно так же и от батарейки. Я бы взял литиевый аккумулятор от телефона и заряжал его "лягушкой".