Não tenho certeza do que você deseja realizar, mas recomendo enfaticamente que você não tente alterar os mapeamentos padrão como um iniciante muito cedo.
Por exemplo, você deseja remapear " para um número. Isso é uma má ideia, porque você não pode mais usar coisas realmente importantes como ci" (altera texto entre aspas duplas), dt" (exclui tudo do cursor para o primeiro " em uma linha) e assim por diante. Você perderá muita funcionalidade se você remapear essas chaves, e eu não vejo nenhuma coisa positiva que você conseguir com isso.
É claro que há uma maneira de remapear as chaves se você realmente quiser, colocar o seguinte no seu .vimrc e fonte (por exemplo, inserindo :so % quando o .vimrc estiver aberto):
" map & to 1 in normal mode
nnoremap & 1
editar :
Ok, acho que entendi seu problema agora, depois de dar uma olhada nos teclados AZERTY .
Basta alterar o mapeamento de cada chave assim:
" map & to 1 in normal mode
nnoremap & 1
" map 1 to & in normal mode
nnoremap 1 &
Faça o mesmo para todas as outras chaves também.