O Nginx, como o Apache, sempre usará seu primeiro domínio na lista de configuração como padrão. No seu caso, isso significa que, para qualquer domínio que não tenha sua própria configuração, ele escolherá a configuração de domain.com, já que é a primeira.
Portanto, a solução é simplesmente configurar outro domínio que contenha apenas uma página 404 e que seja o primeiro domínio listado. Você pode adicionar quantos domínios específicos desejar; o primeiro só será usado quando não houver outro nome de domínio correspondente no arquivo de configuração.