Flashcard FC462631
O que é prompt injection ou jailbreak em modelos de linguagem?
Inteligência Artificial (IA)
O que é prompt injection ou jailbreak em modelos de linguagem?
Mostrar resposta e comentário
Resposta
É um ataque que insere instruções maliciosas na entrada para levar o modelo a ignorar restrições, vazar dados ou executar ações não autorizadas.• **Modo de operação**: o atacante manipula o contexto ou a instrução para alterar o comportamento pretendido
• **Exemplos**: induzir vazamento de dados, evitar filtros de conteúdo, executar comandos ocultos
• **Defesas**: validação de entrada, isolamento de contexto, políticas de instrução hierárquicas e verificação pós-resposta
Como a banca pode cobrar na prova:
• A banca geralmente apresenta casos práticos de modelos de linguagem e pergunta o que caracteriza prompt injection, então destaque manipulação do contexto e instruções hostis.
• Fique atento porque alternativas podem confundir injeção de prompts com simples input malicioso; foque na alteração do comportamento por comandos embutidos.
• Outro ponto que aparece é mitigação por isolamento e controle de contexto, por isso memorize medidas práticas de contenção.
• Lembre-se de que verificação pós-resposta é uma defesa comum, então não desconsidere a validação como parte da estratégia.<br
Conteúdo do catálogo FC Concursos · Atualizado em