Você está certo de que deve continuar recebendo respostas de ping depois de reconectar o dispositivo de destino, mesmo depois de movê-lo para outra porta de switch.
stopping and restarting the ping6 process doesn't help; waiting longer doesn't help
Isso não é normal. Algo está impedindo que as solicitações de ping ou as respostas sejam transmitidas entre os dois dispositivos após a alteração da porta. Não estou familiarizado com as possibilidades específicas de configuração de firewall no Linux, mas em uma máquina Windows, uma alteração na interface de rede pode resultar na aplicação de diferentes regras de firewall.
Existe também a possibilidade de que haja algo errado com a própria chave, embora isso possa ser facilmente descartado, confirmando que a caixa do Linux pode se comunicar com a rede normalmente enquanto estiver conectada à nova porta do switch.