Desculpe pela resposta tardia e obrigado pela ajuda, mas encontrei meu problema.
Aparentemente meu servidor estava sob ataque DoS, felizmente apenas alguns ip's. De alguma forma, isso afetava apenas as máquinas dentro da rede doméstica e não diretamente o próprio servidor, porque eu era capaz de acessá-lo de fora da minha rede doméstica.
Eu os bloqueei usando o ufw firewall e parece que consigo acessar meu servidor agora.
Se alguém tiver uma resposta melhor para evitar isso, avise-nos.