Primeiro, tente consertar a instalação quebrada do MATLAB:
sudo rm /var/cache/debconf/*.dat
sudo dpkg-reconfigure -phigh -a
Como alternativa, você pode remover o suporte matlab, já que agora você quer instalar o qtoctave:
sudo apt-get --purge remove matlab-support
Por fim, execute novamente a instalação do qtoctave:
sudo apt-get install qtoctave