Você provavelmente tem mapeamentos de modo de inserção. Isto é provavelmente de algum plugin que você instalou ou do seu vimrc. O mapeamento provavelmente usou <leader> como o início do mapeamento.
Para encontrar os mapeamentos, use verbose imap \ . Isso exibirá todos os mapeamentos do modo de inserção que começam com \ e onde a configuração foi definida.
Para parar, você pode remover os mapeamentos (recomendado) ou alterar timeoutlen para algo menor. (No entanto, isso pode dificultar a digitação dos mapeamentos multi-chave no modo normal). timeoutlen é o tempo que o vim demora para decidir que você realmente deseja o caractere em vez do início de algum mapeamento. É por isso que há uma pausa.