Porque su goofy abre uma nova sessão, mas && ssh goofy.com irá para o original. Portanto, o comando && ssh goofy.com é executado sob o usuário original, não su -ed.
Tente em uma linha como esta: sudo -u goofy -H sh -c "ssh goofy.com"