Não. O SSH não se importa com o tempo.
Apenas o serviço que sei sobre o tempo é o kerberos (também se você estiver usando a autenticação do kerberos no SSH, ou algum tipo de IDM - IPA, ou algo assim). Mas alguém pode apontar algo mais problemático.
Outra desvantagem seria nos arquivos de log. Eu sei que o rsyslog teve alguns problemas ao jogar com o tempo, mas provavelmente não é grave.