rsautl que é antigo, não. pkeyutl que deveria substituir rsautl em 2010, sim. -pkeyopt rsa_oaep_md:name ou rsa_mgf1_md:name em que name é um hash como no seu Q no PSS .
Observação para pkeyutl da ordem das opções ; você deve fazer -encrypt then -inkey rsaprivate então -pkeyopt (não documentado atualmente AFAICS, embora os casos análogos em genpkey sejam) e você precisa fazer rsa_padding_mode:oaep antes de rsa_{oaep,mgf1}_md:hash .
O mesmo problema possível com o modo FIPS.