Para isso, você pode usar referências anteriores.
RewriteEngine On
RewriteCond %{HTTP_HOST} ([^\.]+)\.domain\.com [NC]
RewriteRule ^(.*)$ https://appname.company.com/appname/login.jsp?agencyName=%1 [R=301,L]
No entanto, note que isso irá acabar redirecionando novamente assim que o 301 for seguido, se o redirecionamento acontecer no HTTP use apenas o seguinte bloco.
RewriteEngine On
RewriteCond %{HTTPS} off
RewriteCond %{HTTP_HOST} ([^\.]+)\.domain\.com [NC]
RewriteRule ^(.*)$ https://appname.company.com/appname/login.jsp?agencyName=%1 [R=301,L]
% 1 refere-se à primeira "captura" de regex na linha RewriteCond, se você utilizasse múltiplos pontos% 2 e assim por diante se tornariam disponíveis.