Está bem aí, na documentação que você vinculou:
- name: remove the Apache package
yum: name=httpd state=absent
Note que ele também pode ser aplicado a grupos:
- name: install the 'Development tools' package group
yum: name="@Development tools" state=absent
No entanto, se sua exigência for garantir que qualquer pacote que não esteja na sua lista não esteja instalado, você deve começar a revisar seu procedimento de provisão, ou seja, se uma máquina estiver sob controle desde seu início, fique fora de seu controle para que um pacote seja instalado.