Tente verificar o tipo de arquivo com o seguinte comando:
file matlab_r2011b.tar.gz
Se ele disser que é um tar archive
em vez de gzip compressed data
, é possível que o arquivo tenha sido descompactado durante o download (possivelmente devido a uma configuração defeituosa do servidor da web na outra extremidade). Se for esse o caso, basta renomear o arquivo e tentar novamente:
mv matlab_r2011b.tar.gz matlab_r2011b.tar
tar xvf matlab_r2011b.tar