Consegui a resposta para o 1º. Você tem que SFTP e não FTP.
Mas o segundo problema ainda está lá. Quando eu adiciono um comando personalizado remoto, "apply to directories" e "execute recursively" aparecem em cinza. Não sei porque.
update: obteve a resposta para o segundo também. Parece que o winscp é inteligente o suficiente para determinar quais comandos requerem essas opções especiais. por ex., quando eu digitei tar essas opções foram ativadas, mas tal não foi o caso para o comando ps.