Essas bordas vermelhas costumam ser usadas por desenvolvedores da web. Existem alguns Add-Ons (no Chrome, bem como no Firefox) que os fornecem.
Para desativá-los, vá até os complementos do seu navegador e os desinstale / desative-os . Alguns addons (como o conhecido "Web-Developer" Addon) permitem ativar / desativar a borda na hora. Verifique as configurações de "contorno" ou "borda" e desative a respectiva opção.