O problema é que o Excel suportou dois calendários diferentes, um com a época coincidindo com 31.12.1899 e outro com 1.1.1904. A diferença em dias (incluindo um dia bissexto) é 1462, que é também o valor que cria o seu problema.
Você pode ler mais sobre as diferenças entre os sistemas de data 1900 e 1904 neste documento
Se os registros de tempo no arquivo csv indicarem intervalos de tempo puros (número de horas e minutos) e nunca incluírem qualquer parte de data, você poderá simplesmente subtrair a parte inteira do valor e basear seus cálculos apenas na parte desimal. f.ex .:
=(D15-INT(D15))*24*HourlyRate