Infelizmente, o comportamento que você testemunhou é por design:
link [Delegação de conta de segurança (representação)] link [Considerações de segurança] link
Do segundo link:
The way in which SQL Server 2005 and later versions control access to files addresses a security issue that was present in Microsoft SQL Server 2000 and earlier versions. Formerly, after a user was authenticated, access to external files was based on the security profile of the SQL Server process. When the SQL Server process had read access to a file, for a user that did not have access to the file but was a member of the bulkadmin fixed server role, the user could import the file by using BULK INSERT and access the contents of the file.
Suas únicas opções são usar um logon do SQL Server ou fornecer ao SQL Server os direitos necessários para executar a delegação.
Uma possível solução poderia ser executar um trabalho para copiar o arquivo de ServerA para ServerB (suponho que sua conta de serviço tenha acesso de gravação a ambos) e, em seguida, fazer com que o SQL Server no ServerB faça a importação de seu disco local.