Você fez o download do arquivo .rpm
. .rpm
é usado pelo Fedora e pela Red Hat, mas o Ubuntu e o Debian usam .deb
.
O comando correto para desmarcar esse arquivo seria:
tar -xvzf LibreOffice_4.0.0_Linux_x86-64_rpm.tar.gz
Você fez o download usando os links do meu post? Eles vinculam aos arquivos .deb
apropriados.