Você pode remover uma arquitetura externa executando
sudo dpkg --remove-architecture arm64
Depois disso, você precisa atualizar suas listas de software.
sudo apt update
Se você ainda receber alguns erros ou avisos, poderá tentar excluir todas as suas listas de software e baixá-las novamente do servidor, para garantir que nada de velho seja deixado. Observe que o download completo demorará um pouco mais do que o normal:
sudo rm -rf /var/lib/apt/lists
sudo apt update