Você não deseja o comutador sfx, porque está adicionando a um arquivo SFX existente. Assim, seu comando deve estar na linha de:
rar a -ep1 file.exe file_or_folder_to_add
Em que file.exe é o seu arquivo SFX existente e o último parâmetro é o caminho para o arquivo ou diretório que você deseja adicionar.