Eu não acho que seja possível. O Heroku desencoraja strongmente os domínios baseados em IP atualmente, o addon SSL baseado em IP está obsoleto agora, mas o endpoint SSL não funciona com o IP, então parece que eles estão se afastando do suporte a ele.
A opção simples é ter um redirecionamento do domínio nu para o www. domain - mas isso funcionaria em http: // mas se um usuário tentasse fazer isso com https: //, provavelmente mostraria a mensagem de erro do certificado. Não é ideal, mas funciona.