No Ubuntu você pode usar o Filezilla (disponível através do Centro de Software, ou executando para se conectar a servidores SFTP, da mesma maneira que o WinSCP.
Isso só fará o backup dos arquivos (incluindo uploads, anexos, temas), para criar um backup completo, você quer fazer um backup de banco de dados ou usar o recurso de backup integrado do WordPress.
O recurso interno fará backup de todas as "postagens, páginas, comentários, campos personalizados, termos, menus de navegação e postagens personalizadas" e pode ser acessado navegando até Ferramentas > Exportar no painel de administração.