Por algum motivo, meu problema foi resolvido assim que mudei meu adaptador de rede para o modo em ponte em vez de NAT nas configurações da máquina virtual no VirtualBox.
Nunca experimentei nenhum outro problema de conexão com o modo NAT. Também pode ser específico para a versão Mac do VirtualBox (aconteceu em diferentes Macs em diferentes conexões de internet para mim).