Se o seu servidor for somente IPv4, os clientes somente IPv6 não poderão acessá-lo. Um dos lados tem que ter algo compatível com o outro lado. A maioria das redes somente IPv6 ainda tem acesso aos servidores IPv4 por meio do NAT64, mas vamos supor que eles não têm (porque você não quer depender de alguns hacks de DNS e NAT no lado do cliente). Você terá que tornar seu servidor acessível através do IPv6. Nos comentários, a melhor solução para isso já foi dada: chutar seu provedor de hospedagem para fazê-lo agir em conjunto ou mudar para um que já tenha. Até que isso tenha sido corrigido, você pode usar, por exemplo, Tunnelbroker.net para obter conectividade IPv6 para o seu servidor.