Eu não me incomodaria. A maioria dos sites não está pronta para IPV6, mas se você procura por IPV6 é uma coisa de nível de sistema, não uma coisa de nível de navegador.
Em geral, desligar o IPV6 não mostrou uma diferença subjetiva no desempenho, e a maioria dos sistemas não o possui de qualquer maneira. Não vai doer, mas não vai acelerar nada.
Experimentar o IPV6 primeiro e o IPV4 a seguir é o comportamento atual em um sistema de pilha dupla (ou seja, um que possua IPV6 nativamente, um túnel ou um miredo configurado). Eu deixaria assim.
Em termos de segurança, ter o IPV4 funcionando não é diferente de ter um IPV4 IP público e, bem, NAT não é segurança. Basta exercitar o bom senso e não correr o lixo que você não precisa, e ter um bom firewall configurado, e você estaria seguro.
Eu executei um servidor com capacidade para IPV6 por alguns anos e, aparentemente, a maioria dos ataques de força bruta o ignoram como causa do enorme espaço de endereço.