Na pasta $ HOME / .config existem arquivos criados por muitos programas diferentes e, como tal, não há uma maneira fácil de gerenciar todos eles.
Esses arquivos devem ser criados / gerenciados / removidos por cada aplicativo, e excluí-los pode (irá) resultar em perda de dados (configurações pessoais neste caso).
Sendo que todos os dados contidos devem ser dados de configuração, esta pasta não deve conter muitos dados, 300MB é bastante configuração.
Você pode perguntar qual subpasta contém a maioria dos dados usando o comando:
du -sh ~/.config/*
e você pode ver por si mesmo qual pasta cresceu fora de controle.