A seguirPróximo guia
Resposta a perguntas
IA de linguagem
GUIA visual de IA
Resposta visual a perguntas
O Visual Question Answering (VQA) permite que um sistema responda a perguntas de linguagem natural de formato livre sobre uma imagem, como 'Quantas pessoas estão usando chapéus?' Requer a compreensão conjunta da imagem e da pergunta para produzir uma resposta correta.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Mergulho profundo
A resposta visual a perguntas combina visão computacional e processamento de linguagem natural: dada uma imagem e uma pergunta, o modelo retorna uma resposta, que pode ser uma única palavra, uma frase curta ou uma resposta sim/não. A tarefa foi popularizada pelo conjunto de dados VQA (Antol et al., 2015) e sua versão refinada VQA v2.0, que equilibrava as respostas para desencorajar os modelos de adivinhar apenas o texto. Os sistemas codificam a imagem e a pergunta, fundem as duas representações e então predizem uma resposta, historicamente classificando um vocabulário de resposta fixo. Hoje, grandes modelos de linguagem de visão como GPT-4V, LLaVA e PaLI lidam com VQA aberto, raciocínio sobre objetos, atributos, contagens, relações espaciais e até mesmo texto escrito dentro de imagens.
Implementação no mundo real
Permitir que usuários cegos fotografem um produto e perguntem 'Que sabor é esse?' ou 'Qual é a data de validade?'
Respondendo perguntas sobre gráficos, formulários e documentos digitalizados (documento VQA) em fluxos de trabalho empresariais
Capacitar assistentes de varejo e comércio eletrônico que respondam à pergunta 'Esta jaqueta tem capuz?' de uma foto de produto
Apoiar a revisão de imagens médicas ou científicas, respondendo a perguntas específicas sobre varreduras ou imagens microscópicas
O futuro da resposta visual a perguntas
O VQA está evoluindo da classificação de respostas curtas para um raciocínio visual aberto e de várias etapas com explicações. Conte com um manuseio mais robusto de contagem, gráficos, diagramas e texto em imagem (documento VQA), além de VQA de vídeo que raciocina ao longo do tempo. A redução do viés de atalho e das alucinações continua sendo uma prioridade, assim como fundamentar as respostas em regiões de imagem específicas para a confiança. Assistentes multimodais capazes responderão cada vez mais a perguntas visuais em conversação em telefones, em robótica e em ferramentas de acessibilidade que ajudam os usuários a interrogar o que está ao seu redor.
Colocando em prática
Por que isso importa
- Velocidade e escala. A IA visual pode automatizar tarefas de inspeção, detecção e marcação em grande escala.
- Escolhas de construção. As equipes criativas podem criar protótipos de conceitos mais rapidamente e com menos revisões manuais.
- Equipe e fluxo de trabalho. As operações podem usar sinais de imagem e vídeo que antes eram difíceis de processar.
Cuidado com
- Os direitos de imagem e o consentimento podem tornar-se riscos legais se a proveniência não for clara.
- O desempenho do modelo pode variar dependendo da iluminação, dados demográficos e ambientes.
- Os falsos positivos podem passar despercebidos, a menos que os limites de confiança sejam monitorados.
Próximas etapas
- Defina critérios de aceitação para precisão, recall e custos de erro.
- Teste com dados que correspondam às condições reais de produção.
- Adicione revisão humana para previsões de baixa confiança ou de alto impacto.
- Rastreie o desvio do modelo e revalide após alterações na câmera ou no conjunto de dados.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Visual Question Answering quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
O que é resposta visual a perguntas?
O Visual Question Answering (VQA) permite que um sistema responda a perguntas de linguagem natural de formato livre sobre uma imagem, como 'Quantas pessoas estão usando chapéus?' Requer a compreensão conjunta da imagem e da pergunta para produzir uma resposta correta.
Quais são as duas entradas que um sistema de resposta visual a perguntas recebe?
O VQA pega uma imagem e uma pergunta sobre ela e, em seguida, produz uma resposta baseada na imagem.
Por que o conjunto de dados VQA v2.0 foi criado com respostas “equilibradas”?
O VQA v2.0 combina perguntas com imagens que possuem respostas diferentes, forçando os modelos a realmente usar a entrada visual em vez de explorar estatísticas de texto.
O que é 'preconceito linguístico' no VQA?
O viés de linguagem ocorre quando um modelo explora estatísticas de respostas vinculadas à formulação de perguntas em vez de olhar para a imagem.
Quantos modelos VQA combinam informações de imagens e perguntas?
Os modelos VQA codificam cada modalidade e as fundem, frequentemente usando atenção cruzada para que palavras interrogativas atendam a regiões relevantes da imagem.
Os sistemas clássicos de VQA geralmente produziam respostas fazendo o quê?
Muitos modelos iniciais de VQA tratavam a tarefa como uma classificação das respostas mais frequentes, embora os modelos modernos gerem texto aberto.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico