Se você tem dados que valem a pena fazer backup, então os $ 4 / mês parecem muito baratos para mim. Qual é o valor desses dados?
Does that make sense in terms of the technological side? (is it more of a trouble for them to backup a VPS then a shared hosting?)
Você realmente teria que falar com o site5 - é a decisão de negócios deles.
Is there an easy automatic way for me to backup my sites (files+databases) without relying on them?
Você nem nos diz qual SO, DBS etc. seu VPS está executando, por isso é difícil aconselhá-lo. Se você tem que fazer essa pergunta, então as chances são que você vai se esforçar para obter algo configurado e funcionando corretamente. Se você colocar algum valor do seu tempo, vai custar mais de US $ 4 / mês para fazer isso.
Who do you suggest for VPS hosting?
Esta é uma questão de compras que está fora do tópico para o ServerFault.