Сегодня не поленился, перенёс девайс с обкатки на рабочий стол и просмотрел всё осциллом.
На этих фотках вход (12 В) и выход (5 В) без постоянной составляющей:
На входе размах пульсаций достигает 0,8 В, на выходе 150 мВ.
Мне показалось это многовато и я прилепил керамику 4,7 мкФ на 25 В прямо на ножки ИМС.
Теперь размах пульсаций на входе составил 0,2 В, а на выходе 100 мВ и пропали резкие всплески, которые дают основной шум.
Правда, кроме шума (пропали стримы), ничего больше не изменилось. Так что в моем случае доработка не нужна, а вот если питать чувствительную к импульсным помехам технику, то конденсатор добавлять необходимо.