O que você fez foi configurar a autenticação SSH e isso funciona para tudo que usa o SSH como transporte. Contanto que você esteja usando o método: ssh: ele deve funcionar para o CVS.
Veja o arquivo CVS / Root dentro de um diretório com check-out para ver qual método de acesso você está usando, ele deve dizer
:ext:[email protected]:
para transporte por SSH.