Sim, deve ser seguro.
O motivo normal para desmontar é porque o sistema operacional nem sempre escreve tudo na unidade imediatamente quando o software faz alterações. Ele armazena alguns dados na memória e os grava no disco no momento mais oportuno. Se você desconectar um disco antes que tudo tenha sido gravado, você perderá essas alterações. Parte do processo de desmontagem de um disco é garantir que tudo foi escrito.
Se você ainda não usou a unidade para nada, não há nada que precise ser escrito. Desconectar a unidade não pode perder nada.