Supondo que os horários estejam em A1 e F1, você poderia usar essa fórmula na célula de resultados:
=IF(ABS(A1-F1)*1440>5,MAX(A1,F1),MIN(A1,F1))
Isso leva o valor absoluto da diferença em horas, portanto, não faz diferença qual célula é anterior. Os tempos são armazenados como frações de um dia e há 1440 minutos em um dia, então a diferença é convertida em minutos. Se essa diferença for maior que 5, ela gerará o maior dos dois valores. Caso contrário, gera o valor mais baixo.
Observe que, se obtiver resultados de aparência estranha, provavelmente a saída será formatada como um número, para que você veja a hora interna ou a representação de data / hora. Apenas formate a saída como um tempo.