Não, os clientes somente IPv4 não podem acessar um site somente IPv6.
No entanto, a maioria dos navegadores (se não todos) hoje suportam SNI, portanto, não deve ser um problema usar o SNI, a menos que você esteja suportando equipamentos legados.
Provavelmente, você poderia usar um serviço como o Cloudflare para fazer proxy de solicitações para você, mas não tenho certeza se ele realmente pode ou não ser traduzido entre IPv4 e IPv6, mas acho que sim.
Mas eles provavelmente também estão usando o SNI, então você teria o mesmo problema lá.