Sim, você pode remover os pacotes do kernel (imagem e cabeçalhos) com a versão 3.13. É bastante seguro.
Os pacotes Meta linux-image-generic
e linux-headers-generic
também serão removidos.
Você já tem outros pacotes meta ( linux-generic-lts-xenial
, etc) para atualizar os kernels 4.4.