Sim, isso pode causar problemas.
Se a sua unidade USB for formatada em NTFS, o ntfs-3g do Linux geralmente não consegue ler nenhum arquivo que você tenha adicionado antes de desconectá-lo, presumo que a publicação esteja suja.
Além disso, Remover com segurança fornece uma verificação útil: se algum arquivo da unidade estiver aberto (o que pode ter seus dados não salvos nos aplicativos), ele falhará, lembrando-o de salvar.Se o cache de gravação estiver habilitado (que não é o padrão), é pior: todos os dados que você pensou que acabou de gravar na unidade podem não estar realmente gravados. Se você retirar a unidade antes que isso aconteça, seus dados serão perdidos.
Se você está apenas lendo arquivos de um drive USB, provavelmente não vai doer. O risco é de perda de dados, em vez de dano ao hardware (você está cortando energia ao extrair a unidade, independentemente de ter usado Remover com segurança). Ainda assim, é uma prática recomendada usar o Remover com segurança.