Como regra geral, o acesso físico à máquina é tudo o que é necessário para comprometê-la. Afinal, você está confiando que o que a máquina lhe diz é verdade; uma pessoa com acesso físico pode anular essa confiança. Considere que um invasor com acesso físico pode, teoricamente, fazer qualquer coisa (incluindo a instalação de rootkits de hardware / firmware, etc.).
Se os dados são criptografados, esse é um bom primeiro passo, mas a cada passo (quando você está digitando sua autenticação para descriptografar o volume, etc) você está confiando que o computador não minta para você. Isso é muito mais difícil quando você não tem controle pessoal sobre a máquina física.
Quanto a algumas de suas consultas específicas:
If another user with no permission is logged in can the user do something to access the ram and dump sensitive data?
Em geral, não. O acesso à memória bruta é uma operação privilegiada.
can the vps host easily read the contents of my ram?
Sim. O isolamento em um ambiente virtual significa que você não tem controle sobre o ambiente operacional externo em que o VPS está sendo executado. Esse ambiente operacional poderia de fato fazer isso.