Foi tudo culpa minha!
Instalei o VSCode usando umake , mas assumi erroneamente que usei gdebi . Eu finalmente descobri no arquivo do lançador que o executável está em Exec=/home/<username>/.local/share/umake/ide/visual-studio-code/bin/code .
Eu só tive que acionar sudo umake --remove ide visual-studio-code para me livrar dele completamente!