Você não precisa das funções ano, mês ou dia dentro das Funções DateSerial e precisa alternar a ordem dos argumentos para a função DateDiff
Tente isto:
Sub test()
Dim YearStart As Date
YearStart = DateSerial(2016, 1, 1)
DayValue = DateSerial(2016, 1, 8)
MsgBox DateDiff("d", YearStart, DayValue)
End Sub