Для таких динамиков нужно брать другую усилитель-микросхему (помощнее) - например TDA2003. Вот в
теме рассматривается усилительна ней - схема весьма проста в повторе, все вопросы по непоняткам вроде в теме разжеваны - напряжение питания от 6 Вольт, что тоже подходит для переносной системы.