Não consigo encontrar nenhum registro do MySQL tendo um limite na documentação.
Se você estiver usando o MyISAM, você pode ter um limite no número de identificadores de arquivos abertos, pois ele usa vários arquivos por tabela. Você pode aumentar isso usando ulimit. O InnoDB normalmente usa um arquivo para todos os bancos de dados e dois para logs de banco de dados, mas você ainda tem um arquivo de metadados por tabela, então isso não deve ser um problema a menos que você configure o InnoDB para fazer um arquivo por tabela.
Independentemente dos limites de identificadores de arquivos abertos, você encontrará limites práticos devido ao desempenho do sistema de arquivos com muitos arquivos em uma estrutura de diretórios, mas estamos falando de vários milhares no mesmo diretório. Se você chegar a este ponto, está fazendo algo muito errado.