Eu tive o mesmo problema. O problema era que appletviewer estava esperando uma URL de um arquivo HTML referenciando o applet, passando o arquivo .jar do applet diretamente não funcionou.
Experimente este arquivo applet.html :
<applet
archive="applet.jar"
code="Your.applet.class.name.here.class"
width="400"
height="300"
>
</applet>
Observação: o elemento <applet/> está obsoleto, mas é a maneira mais simples de obter um applet em execução em appletviewer . O appletviewer não se importa com os padrões HTML, de qualquer forma.