O que você precisa fazer é seguir a ordem inversa das etapas listadas para instalar o eclipse:
sudo apt-get autoremove openjdk-6-jdk
sudo rm -rf /opt/eclipse
sudo rm /usr/share/pixmaps/eclipse.xpm
sudo rm /usr/local/bin/eclipse44
Por fim, remova eclipse.XX.YY.tar.gz
e o diretório eclipse.XX.YY
do local onde você fez o download inicialmente.
A única coisa que não sei é como remover eclipse.desktop
da sua área de trabalho.