Se interferir é realmente uma questão de hardware, o que exatamente "anormal" significa, e como ele lida com isso. Mas, posso dizer sem dúvida, não continuaria a usá-lo. A maioria das RAM tem uma garantia vitalícia, você provavelmente poderia substituí-lo. Por outro lado, uma mudança de 28 para 24 GB provavelmente não é algo que você notará.
Não vale a pena sacrificar a estabilidade do seu sistema.