Como mencionado nos comentários, você não pode especificar um errorfile para 404, já que o HAProxy nunca gerará um 404. Você deve usar algo como 503, que o HAProxy realmente emite e possui um arquivo de erro configurável. Seu arquivo 204 pode ser usado como está, apenas substitua 503 por 204 em sua configuração.