Existem várias opções que você deseja analisar:
:help 'autoindent'
:help 'smartindent'
:help 'cindent'
:help :filetype-indent-on
(Esses comandos são digitados exatamente como você os vê acima.)
A opção 'autoindent' fará o que você descreve, mas o Vim pode ser mais inteligente quanto ao recuo, daí os outros. Normalmente, é suficiente usar o último somente em seu vimrc e deixar que o Vim detecte seu tipo de arquivo e a (s) opção (ões) de recuo apropriada (s) para usar para esse tipo de arquivo.