Biblioteca em Python para transformação de estruturas de dados, facilitando conversão de schemas em json para glue struct format.

Muitas vezes no dia a dia na engenharia de dados eu e minha equipe nos deparavamos com a necessidade de criar uma tabela manualmente no AWS Glue Catalog e isso sempre fora uma tarefa desastrosa, pois devido à UX não tão boa do serviço era quase certo que nenhuma tabela com um campo STRUCT seria criada com sucesso de primeira, então nosso desafio era, como realizar a criação de uma tabela no AWS Glue Catalog à partir de um json schema ou de um payload de dados de forma correta.

A solução para esse desafio envolveu a criação de uma biblioteca em Python que automatiza a transformação de schemas em JSON para o formato Glue Struct, garantindo que as tabelas no AWS Glue Catalog fossem criadas corretamente, mesmo com campos STRUCT complexos. A biblioteca foi projetada para ser fácil de usar e integrar em pipelines de dados existentes, proporcionando uma experiência de uso eficiente e confiável, dependendo apenas de ter um json schema formatado corretamente e/ou um payload bem definido. Esse projeto desenvolvi enquanto estagiário então se trata de um projeto básico e que não segue as melhores práticas de desenvolvimento.