Ambos são usados e suportam diferentes conjuntos de codecs. Ainda mais alguns drivers va-api executam interfaces nvdpau e vice-versa.
O wiki do Archlinux é bom para explicar algumas coisas básicas com suas tabelas, mesmo coisas não específicas de distribuição, que são aplicadas a muitas distros: link link