IPv4 e IPv6 são protocolos completamente separados. Seu roteador não converterá automaticamente entre eles.
Não há muito para isso. A maioria dos sistemas operacionais agora tem o IPv6 ativado. Seus hosts com IPv6 preferirão usar o IPv6 se a outra extremidade o fizer, e usarão o IPv4 se a outra extremidade não o fizer.
Você configura sua extremidade do túnel em seu roteador. Não estou familiarizado com seu modelo de roteador específico, mas fiz isso em vários modelos de roteador.
Depois disso, basta ativar o IPv6 nos seus hosts. Existem plug-ins para alguns navegadores que mostram qual protocolo está sendo usado para diferentes sites aos quais você está conectado.
Isso deve ser transparente para você.