rsautl
que é antigo, não. pkeyutl
que deveria substituir rsautl
em 2010, sim. -pkeyopt rsa_oaep_md:name
ou rsa_mgf1_md:name
em que name
é um hash como no seu Q no PSS .
Observação para pkeyutl
da ordem das opções ; você deve fazer -encrypt
then -inkey rsaprivate
então -pkeyopt
(não documentado atualmente AFAICS, embora os casos análogos em genpkey
sejam) e você precisa fazer rsa_padding_mode:oaep
antes de rsa_{oaep,mgf1}_md:hash
.
O mesmo problema possível com o modo FIPS.