Seu diretório de trabalho atual no terminal precisa ser o mesmo diretório que contém o arquivo sum.java. O comando cd
é usado para alterar diretórios no terminal. Então o uso é o mesmo que você escreveu em sua pergunta, e também está em: Como rodar um programa Java no Ubuntu se você quiser ver outro exemplo.