É chamado de "exibição de quebra de página" no Excel. Você pode ir para visualizar o menu na faixa de opções e selecionar uma das três opções ....
- Visualização normal
- Visualização do layout da página
- Exibição de quebra de página.
Selecione a vista de quebra de página e você terá a borda azul grossa com outras células acinzentadas como você mencionou.