Acho que outros pôsteres estão interpretando mal sua pergunta.
Para responder: Não - O tamanho de um banco de dados não afeta a velocidade de pesquisas em outro banco de dados na mesma instância. Suas consultas diminuiriam apenas se a consulta estivesse se referindo a esse outro DB grande de alguma maneira.
No entanto, existem alguns efeitos mais sutis, assim que você começa a olhar para o uso (percebo que você o excluiu). Se o seu banco de dados de 'mídia' estiver sendo acessado em uma consulta separada, essa consulta mais lenta e sua consulta mais rápida ainda estarão competindo por uma quantidade finita de recursos. Assim, indiretamente, o banco de dados maior e mais lento de “mídia” poderia na verdade desacelerar um olhar sobre um dos outros.
Não há relação direta, no entanto.