Primeiro, criaria uma nova coluna (que poderia ser ocultada, se necessário), com a seguinte função:
=(A2-INT(A2))*24*60
Que dá o tempo em minutos (não excederá 24 horas). Então você pode criar o gráfico usando minutos. Você também pode usar =(A2-INT(A2))*24
para horas ou =(A2-INT(A2))
para usar dias.