Você não forneceu nenhum exemplo real, por isso ninguém pode fornecer detalhes específicos, apenas diretrizes gerais. Além disso, sem ver os artefatos reais aos quais você está se referindo, só podemos adivinhar o problema que você tem, porque há várias coisas diferentes que poderiam ser.
GIFs animados não são especiais, eles são apenas uma pilha de GIFs exibidos rapidamente em sequência.
Os artefatos que você experimenta provavelmente se devem à paleta de cores limitada fornecida pelo formato GIF. Como você descobriu, é possível usar o pontilhamento para melhorar a aparência de uma imagem de 8 bits, mas essa é apenas uma das opções. Dependendo do programa gráfico, alguns fornecem mais opções, alguns fornecem menos e muitas das opções têm diferentes configurações e modos. Um programa GIF animado que usei anos atrás era o ImageAlchemy. Ele tinha inúmeras opções para suavizar, mesclar, dither, crush, etc. a paleta em uma variedade de métodos e com diferentes algoritmos.
Outro artefato que você pode estar enfrentando pode ser mais devido ao seu visualizador do que ao arquivo. Alguns programas GIF animados têm a capacidade de supercomprimir um GIF animado para que ele remova todos os pixels inalterados de cada quadro, para que apenas as partes alteradas sejam armazenadas. Isso geralmente só tem o efeito de tornar o arquivo menor, mas alguns programas de visualizador têm problemas com ele (eles não são totalmente compatíveis com o formato GIF89a) e mostram a animação mal.
Não surpreendentemente, o método que dará os melhores resultados depende inteiramente da imagem específica. Algumas imagens irão funcionar bem com um mapeamento de paleta direto, outras precisarão ser pontilhadas, outras ainda exigirão transformações de cores mais avançadas.
Além das opções específicas de GIF, outra coisa que você pode fazer para obter imagens GIF de melhor qualidade é usar um programa de edição de imagens para reduzi-lo manualmente a cores de 8 bits. Dessa forma, você tem melhor controle sobre a transformação de cores, pois a redução feita durante a conversão / gravação de formato pode não ser suficiente, enquanto as ferramentas de cores no programa podem fornecer maior precisão e mais opções.