sudo rm -r /usr/local/java será suficiente. sudo fornece as permissões apropriadas para excluir o diretório e a opção -r ("r" significa recursiva) é necessária para excluir recursivamente o conteúdo do diretório.
Por favor, certifique-se de que pretende apagar o diretório /usr/local/java antes de executar o comando acima.