Se você quiser usar o DNS da DigitalOcean, precisará de registros NS em vez de registros A no dreamhost. Se você quer apenas manter todo o DNS no dreamhost, mas ainda hospedar o website do subdomínio no oceano digital, então criar o registro A no dreamhost é tudo o que você precisa fazer em termos de DNS.
Além disso, o fato de seu subdomínio parecer estar hospedado no Dreamhost implica que você tem uma configuração de registro A ou, pior, outro registro A para esse subdomínio apontando para o servidor da web do dreamhost.
Se houver um registro A ou CNAME preexistente para o seu subdomínio, exclua-o. Se houver um registro curinga A, o registro "personalizado" A substituirá.
Independentemente disso, sim, você precisará deixá-lo se propagar.