A diferença é simples. Um servidor dedicado normalmente significa que seu servidor está sendo executado diretamente no hardware físico. Um VPS significa que seu servidor é uma instância virtual em execução no hardware físico. Esse mesmo conjunto de hardware físico pode estar executando outras instâncias virtuais ao mesmo tempo, dependendo das alocações do provedor.
Quanto à forma como eles executam ... um servidor dedicado sempre será uma quantidade constante de desempenho ... onde uma instância virtual pode variar muito dependendo do provedor e de outros usuários que compartilham o hardware físico.