Se isso é para um ambiente de trabalho, definitivamente faça backup de todo o servidor. Fazer backup de um subconjunto significa que, algum dia, algo mudará, você perderá a atualização das políticas de backup e ninguém perceberá isso até você restaurar o sistema.
Se isso é para um sistema doméstico, pode não parecer tão importante, mas eu ainda faria backup de todo o sistema. O espaço de armazenamento é barato, muito mais barato do que o valor do seu tempo livre usado para recriar todos os ajustes personalizados após um incidente.
Atualize para cobrir a questão do mysql:
Eu usaria o mysqldump como, ao contrário de uma cópia simples dos arquivos, seus backups são realmente as instruções sql necessárias para reconstruir e preencher o banco de dados. Isso fornece um backup que não só é fácil de restaurar em uma nova instância do mysql, como também pode ser portado para ser restaurado em outros sistemas de banco de dados, se necessário.