Seus scripts de rede quase certamente chamam o comando vconfig .
Para remover uma interface de VLAN, use o comando vconfig rem interface
ou vconfig rem eth4.401
. Isso removerá todos os endereços e rotas associados.
I can do 'ifconfig eth4.401 down' to get it out of ifconfig but the routing table still keeps its directly attached route
Você pode executar um comando como ip route flush dev eth4.401
e ip addr flush eth4.401
para liberar todas as rotas e endereços associados a uma interface sem removê-la. Mas você não precisa fazer isso no seu caso.