Mesclar várias listas de palavras grandes em uma única remoção de duplicatas com o PowerShell

Question

Tenho dicionários enormes que contêm duplicatas e quero saber como mesclar corretamente essas listas de palavras em uma única remoção de duplicatas com um script do PowerShell.

Por exemplo

arquivo1:

aaaaa
abcd
bbbb
1111

arquivo 2

abcd
1111
hjii
okom
bbbb

arquivo de saída

aaaaa
abcd
bbbb
1111
hjii
okom

    

Answer 1

Não tenho certeza de quão rápido isso será com os arquivos grandes, como você mencionou, mas esse código do Powershell deve fazer o truque

# Assuming files are named list1.txt and list2.txt. change as needed
Get-Content "C:\list*.txt" | Select-Object -unique > "c:\foo.txt"