Achei um movimento bastante interessante. Parece que a Moondream lançou um novo serviço chamado "Lens", especializado em melhorar a precisão de modelos de linguagem visual. Foi na semana passada, no dia 21 de abril.

Até agora, os VLMs eram excelentes em laboratório, mas apresentavam uma grande queda de precisão ao serem aplicados no mundo real. O Lens é um serviço de ajuste fino para resolver esse problema, suportando tanto aprendizado por reforço quanto ajuste supervisionado. É uma API de cobrança por uso, permitindo que seja utilizada apenas na quantidade necessária.

O que é impressionante é que melhorias significativas podem ser alcançadas com uma quantidade pequena de dados. Como exemplo, ao usar na análise de vídeos de transmissões ao vivo da NBA, a pontuação F1 subiu de 28% para 79%. Além disso, as detecções incorretas também diminuíram bastante.

Também demonstraram desempenho superior ao de modelos existentes na tarefa de identificar o país a partir de imagens do Street View e no processamento de imagens médicas. Parece que um novo estágio na aplicação prática de modelos de linguagem visual foi atingido.

A PTZOptics, um dos parceiros iniciais da Moondream, planeja incorporar o Lens para melhorar a precisão do rastreamento de alvo e detecção de anomalias. A Moondream já lançou o motor de inferência Photon antes, mas o Lens complementa essa tecnologia, focando na combinação de velocidade e precisão na operação de VLMs.

Resolver os desafios de aplicação no mundo real com tecnologia. Esse tipo de melhoria contínua provavelmente levará à disseminação mais ampla dos VLMs.