Percebi um movimento interessante na comunidade de IA. A equipa do LlamaIndex recentemente disponibilizou o código-fonte do seu parser LiteParse para acesso público, e isso pode facilitar bastante a vida dos desenvolvedores que trabalham com pesquisa e processamento de documentos.

Acontece que a Clelia, juntamente com os rapazes do LanceDB ( em particular @tech_optimist), descobriram como otimizar todo o processo de trabalho dos agentes com a informação. A ideia principal é que o LiteParse permite fazer parsing de ficheiros e extrair capturas de ecrã ao nível de páginas individuais. Isto dá muito mais controlo sobre como exatamente o texto será dividido em pedaços e como os embeddings serão criados.

Praticamente, isto significa que, em vez da abordagem padrão de chunking, pode-se usar um parser mais inteligente do LlamaIndex, que compreende melhor a estrutura dos documentos. Especialmente útil para formatos complexos como PDFs com tabelas e imagens.

Para quem trabalha com sistemas RAG ou constrói agentes no LlamaIndex, isto parece uma boa atualização. A abertura do código significa que não só se pode usar uma solução pronta, mas também adaptar o LiteParse às suas necessidades. Vale a pena ver se você trabalha com pesquisa e indexação de documentos.