Não tenho certeza se isso ajuda, mas você pode carregar o arquivo csv em uma matriz e, em seguida, usar índices para acessar as linhas individuais e, para cada linha, usar o nome da coluna para acessar a célula individual.
$a = @(Import-CSV C:\myconfig.csv)
$a[0].ColA
Basta alterar 'ColA' para o nome da coluna e lembrar que as linhas são 0 indexadas.