Selecione as células que contêm essa borda , em seguida, vá para a formatação da célula e vá para Limites.
Lá, você será apresentado um rascunho sobre como as bordas das células são feitas. No seu caso, basta clicar uma vez na borda do meio para desativá-lo.