Ele está esperando por qualquer outra entrada, pois há mapeamentos de teclas que começam com uma fuga. O Vim precisa distinguir um escape solitário de um escape seguido pelo resto de uma tecla de função, etc.
Você pode alterar o tempo limite com, por exemplo, %código%. Veja :set ttimeoutlen=10
para mais informações.