Flashcard FC462624
Como prevenir vazamento por prompts e ataques de prompt injection?
Inteligência Artificial (IA)
Como prevenir vazamento por prompts e ataques de prompt injection?
Mostrar resposta e comentário
Resposta
O Prompt Injection é um risco em sistemas que processam entradas externas, permitindo que comandos maliciosos influenciem comportamento e exponham dados internos.• Sanitização de entrada: validar e normalizar entradas, remover instruções inesperadas e marcadores de controle.
• Segregação de contexto: não inclua informações sensíveis no contexto aberto ao modelo; limite o tamanho e o conteúdo do contexto.
• Sandboxes e políticas: executar modelos em ambientes isolados, aplicar filtros de saída e controles de acesso aos dados retornados.
• Monitoramento: registrar consultas, detectar padrões de exfiltration e aplicar limites de taxa e alertas automáticos.
Como a banca pode cobrar na prova:
• A banca costuma apresentar cenários de exfiltração via prompt e pedir a medida técnica mais eficaz para mitigação.
• Fique atento porque alternativas que mencionam apenas treinamento do usuário são incompletas; proteções técnicas e de arquitetura são essenciais.
• Outro ponto frequente é a separação de dados sensíveis do contexto do modelo; esta é uma resposta recorrente nas provas.
• Lembre-se de que monitoramento de padrões de uso é uma camada preventiva importante.
Conteúdo do catálogo FC Concursos · Atualizado em