Eu acho que você vai ter que 'fingir', já que a formatação no Excel é aplicada no nível da célula e não pode ir mais abaixo.
A maneira mais fácil de falsificar marcadores no Windows é manter pressionada a tecla ALT e pressionar 7 no teclado numérico para inserir um caractere de marcador como este: •
Após preceder cada linha com um caractere marcador e um espaço, você terá algo parecido com:
Uma ressalva que você verá aqui é que você não será capaz de ter linhas onduladas devidamente recuadas dessa maneira, mas espero que isso seja bom o suficiente.
Observe que copiar texto com marcadores do Word para o Excel produz o mesmo resultado. O Excel sabe que não pode usar a representação rich text do Word nesse caso e usa a representação de texto simples, que inclui caracteres falsos e espaços adicionais.