What happens if I loose my public key on the laptop. Am I locked out the server?
Se você não tiver backups, você será bloqueado, pelo menos temporariamente, até que você possa restaurar seu acesso.
Alguns provedores VPS têm um método para substituir chaves em instâncias do servidor. Alguns fornecem acesso ao console. Em outros, você precisaria abrir um segundo servidor temporário e dar acesso ao armazenamento do primeiro servidor para corrigir manualmente o acesso.
What is best practice here - and how can I mitigate the risk of loosing my public key?
Faça backup da sua chave privada com segurança.
What happens if my public key changes?
Por que sua chave pública mudaria? Se você tiver um backup de sua chave privada, isso não seria uma preocupação.
Also can I 'backup' my public key incase this happens? I assume no because its a key pair specific to the machine but worthwhile checking.
Sim, você pode fazer o backup. Não, não está ligado a uma máquina específica. Você pode carregar sua chave privada em qualquer sistema para usá-la (supondo que o sistema tenha o software necessário para utilizar a chave).
If there is something else I should have done to secure this server which delivers a web application please let me know what I've missed.
Nesse ponto, sua pergunta está se tornando muito ampla. Sugiro fazer uma pesquisa por princípios comuns de proteção de servidores. Você encontrará coisas como configurar uma VPN, restringir o acesso administrativo com base no IP de origem (alterações do Firewall) e usar software como o DenyHosts ou o fail2ban.