O host tem um endereço IPv4 e IPv6. O servidor da Web atende na porta IP 443 para que a conexão TCP seja bem-sucedida, mas você de alguma forma atrapalhou a configuração SSL para IPv6, para que a atualização SSL no endereço IPv6 falhe. Há clientes suficientes por aí que usam o IPv6, se disponível, e preferem o IPv4, e esses clientes falharão.
O SSLLabs não informará sobre isso, porque não é compatível IPv6 ainda. Mas analyze.pl irá informá-lo sobre isso:
$ perl analyze-ssl.pl tabularasa-ny.com
-- tabularasa-ny.com port 443
! failed SSL upgrade on IP 2600:3c03::f03c:91ff:fe84:5fd
...
Além disso, corrija os problemas relatados por SSLLabs .
The only real pattern I can see is that people with Time Warner in their office cannot load the site.
Pesquisando um pouco na Web, parece que a Time Warner tem IPv6 habilitado para seus clientes. Como todo sistema operacional moderno pode fazer o IPv6 e usá-lo, se disponível, isso corresponde à descrição do meu problema.