Para o primeiro erro, você precisa:
set backspace=2
O segundo que eu só posso supor ocorreu porque você não está usando o vim padrão que vem com o Ubuntu, ou seu ambiente foi quebrado de alguma forma. O que você provavelmente precisa fazer é realmente encontrar o arquivo de sintaxe com algo como:
find / -name syntax.vim 2>/dev/null
e, em seguida, certifique-se de que a variável de ambiente VIMRUNTIME
esteja configurada corretamente para isso (por exemplo, se o arquivo estava em /xyzzy/plugh/syntax/syntax.vim
, você configuraria a variável como /xyzzy/plugh
).