Eu acabei de me deparar com isso. Você precisa marcar as várias linhas deb (não deb-src) em sua lista de fontes com [arch = amd64, arch = i386] para todos, exceto o site que você adicionou para os pacotes armhf, que gostaria de ser marcado com [arch = armhf].
Dito isto, prossiga com cautela. Eu estou tentando isso com precisão, e quando eu tento instalar, ele quer desinstalar a maioria das minhas coisas, incluindo importar arquivos de base sem o qual o sistema não pode funcionar.
Claro, isso pode não se aplicar a você.
Boa sorte.