Um console é instalado com cada atualização do Java. Você pode remover as atualizações antigas do Java da caixa de diálogo Adicionar / remover programas no Windows. Isso também removerá a extensão do console Java no Firefox.
As atualizações Java costumavam deixar as atualizações mais antigas instaladas, mas a partir da versão 6.0.10 ele agora remove a atualização anterior - ou pelo menos supostamente; parece ter falhado para você. Você pode remover com segurança todos, exceto a última versão. Este artigo contém algumas informações adicionais sobre a alteração e possíveis problemas de segurança resultantes da saída das versões anteriores lugar.