Se você realmente quer se ater ao Ubuntu para isso, eu recomendo que você use apenas a versão LTS como @Warren Hill mencionado em seu comentário. Você pode usar a instalação mínima e despejar todas as coisas pesadas ao longo do caminho (a instalação mínima contém apenas o sistema principal e faz o download de pacotes adicionais em trânsito por solicitação do usuário), mantendo-a pequena e rápida.
OpenWRT é realmente uma grande paz de software e você deve pelo menos tentar.