Clique com o botão direito e selecione Remove Hyperlink
. Isso funcionará em mais de uma célula por vez, se selecionado.
Se você quiser evitar que o Excel insira automaticamente quaisquer hyperlinks, você poderá desativá-lo nas opções de AutoFormatação ao Digitar. No Excel 2016, eles são encontrados em Arquivo > Opções > Prova > Opções de AutoCorreção. Selecione a guia AutoFormatação ao digitar e desmarque a caixa "Internet e caminhos de rede com hiperlinks".