Para remover pacotes rpm, você pode usar o sinalizador -e do rpm. Em primeiro lugar, encontre o nome do rpm que você instalou;
rpm -qa | egrep -i "webmin|virtualmin"
Em seguida, remova o pacote do nome que você vê acima:
rpm -e $packagename