Não - os backups diferenciais não usam o arquivo de backup completo como referência. Você pode (e deve!) Mover com segurança seu despejo de backup completo para outra máquina ou o que quiser.
O SQL Server armazena internamente um bitmap de extensões sujas (partes do banco de dados que foram alteradas desde o último backup completo) e, quando você executa um backup diferencial, ele consulta o bitmap e somente grava essas partes alteradas do banco de dados no cópia de segurança.