Adicione ao seu .vimrc :
set diffopt=filler,context:0
Isso dirá vimdiff (ou, se preferir, vim -d ) para não fornecer o contexto completo para as linhas nas quais as diferenças foram encontradas. Linhas consecutivas sem alterações serão "dobradas".