Respondendo à minha pergunta, agora encontrei uma solução.
Agora estou usando o serviço nsupdate.info, que suporta o que eu quero: Tanto o IPv4 quanto o IPv6 são atingidos usando o mesmo nome, para o qual os registros A e AAAA são fornecidos.
Eles tinham instruções específicas para o Fritz! Box, que foram exibidas quando eu estava configurando minha conta. Eu repito aqui o que eu tenho nas minhas configurações do Fritz! Box agora:
Fornecedor de DNS dinâmico: Definido pelo usuário
URL de atualização: link link
Nome do domínio: mydomainname .nsupdate.info
Nome do usuário: mydomainname .nsupdate.info
Senha: [conforme fornecido pelo nsupdate.info]
Eu tenho usado este serviço por pouco mais de meio ano agora, e ele funciona perfeitamente até agora (mas eu não estou entrando no meu Fritz! Box diariamente, então sua milhagem pode variar). Desculpas por não ter respondido antes, mas esqueci-me completamente desta questão e acabei de receber um lembrete por e-mail quando alguém escreveu um comentário.
Espero que isso ajude os outros!