A maneira mais fácil de fazer isso seria simplesmente parar de usar o repositório remi-test como uma fonte e removê-lo, ou se você quiser ficar mais seguro - desative-o editando o arquivo /etc/yum.repos.d/remi-test.repo
e alterando enabled=1
para enabled=0
Você ainda pode forçar o yum a usar o repositório via linha de comando, mas ele não será mais usado para atualizações genéricas. Com o tempo, os pacotes seriam substituídos pelos remidos.