Esta é realmente uma questão de preferência pessoal.
Os lançamentos não-LTS, que também consistem em alguns lançamentos de .04, têm períodos de suporte mais curtos, mas freqüentemente têm recursos 'novos' que os lançamentos LTS não oferecem.
Para mim, costumo atualizar-me para o mais recente no meu laptop principal pessoal, ir para o teste no meu laptop de teste e, dependendo dos recursos, ficar no LTS para servidores. Para o meu laptop de trabalho, costumo atualizar para o mais recente, mas nem sempre tenho tempo para fazê-lo imediatamente após o lançamento.
Em resumo:
Se você quer estabilidade e quer suporte de longo prazo, então vá com um LTS
Se você quiser inovar, mas ainda assim estável, use a versão mais recente