Correto. Você pode excluir todos os recursos restantes. O Azure não o exclui automaticamente porque você pode querer usá-lo para novas implantações, por exemplo, manter a configuração de rede existente e o endereço IP público em vez de criar um novo para a nova VM.
Apenas certifique-se de não excluir a imagem.