Sim, um invasor que está executando o código como seu usuário pode fazer qualquer coisa que você mesmo possa fazer. Ele pode até mesmo mudar o processo do shell para que, quando você achar que está executando o sudo, esteja realmente executando o programa do invasor que apenas registra silenciosamente sua senha de root.
O Ptys / ttys não oferece nenhuma segurança quando são de propriedade do mesmo usuário, ao contrário de outra resposta aqui.