Solução mais simples: adicione uma coluna auxiliar à esquerda da sua coluna de tempo. Se a sua coluna de tempo começar em C2, use esta fórmula:
=$C2/60
Isso irá converter o tempo em minutos segundos. Em seguida, basta copiar e colar como valores.
Basta arrastar para baixo sua coluna. Você também pode precisar alterar o formato numérico da coluna para hh: mm: ss, já que provavelmente será exibido como hh: mm (horas e minutos)
OBSERVAÇÃO
Se você estiver usando uma tabela, poderá fazer referência ao nome da coluna: se sua coluna de horário foi chamada Duração e você adicionar a coluna auxiliar como uma coluna dentro da tabela, a fórmula será escrita assim:
=[@[Duration]]/60