Acho que depende da saída do comando "diff".
Se você executar ": help diff-options", você pode ver um exemplo do formato do diff que o Vim espera:
1a2
> bbb
4d4
< 111
7c7
< GGG
---
> ggg
The "1a2" item appends the line "bbb".
The "4d4" item deletes the line "111".
The '7c7" item replaces the line "GGG" with "ggg".
Para substituir (por exemplo, 7c7), acho que o vimdiff irá colocá-los lado a lado e colori-lo hl-DiffChange (por exemplo, roxo em minha configuração padrão) e, em seguida, destacar o texto diferente na linha por hl- DiffText (por exemplo, vermelho na minha configuração padrão).
Por exemplo, se eu validar esses dois arquivos:
Arquivo 1:
This is common1
This is common2
11111111111111122222222222222222222222222222222222222
This is common4
This is common5
Arquivo 2:
This is common1
This is common2
This is a completely different line
This is common4
This is common5
Embora a terceira linha de dois arquivos seja completamente diferente, o vimdiff ainda os coloca lado a lado.
Uma solução hacky pode estar usando um programa modify diff externo que produz o formato que você deseja.