Pelo menos versões mais recentes do yum (testadas no Fedora 20 com o yum 3.4.3) são capazes de distinguir entre pacotes instalados manualmente e pacotes instalados como dependências. Esta informação é armazenada no yumdb usando a chave "reason" que pode ser configurada para "user" ou "dep".
# yumdb set reason dep [package name or wildcard]
deve ser o equivalente a "aptitude markauto". Se você não fornecer um nome de pacote, a alteração será aplicada a todos os pacotes. Eu não faria isso, a maneira menos radical é usar
# yumdb search reason user
e remova manualmente os pacotes que você não deseja.
Se você correr
# yum autoremove
todos os pacotes marcados como "dep" serão removidos se não forem mais referenciados por outros pacotes. Deve ser equivalente a "aptitude autoremove".
Os pacotes instalados que não usam o yum (por exemplo, rpm -i) podem não ter a chave "reason", suponho que o comportamento padrão do autoremove seja tratá-los como pacotes "user", mas eles não são listados usando a "pesquisa yumdb "comando.