Questão FC624254
Ao criar um índice para um corpus de notícias políticas, um pesquisador decidiu usar o modelo vetorial com a medida TF-IDF. Descobriu, porém, que essa medida pode ser calculada de
Estatística Computacional
CESGRANRIO · 2024
Ao criar um índice para um corpus de notícias políticas, um pesquisador decidiu usar o modelo vetorial com a medida TF-IDF.
Descobriu, porém, que essa medida pode ser calculada de várias formas, com a característica comum de calcular o peso de cada termo a partir da ideia de que esse termo
- esteja ou não esteja em um documento.
- tenha um peso diretamente proporcional à sua frequência no documento e inversamente proporcional à sua frequência nos documentos do corpus.
- tenha um peso inversamente proporcional à sua frequência no documento e diretamente proporcional à sua frequência nos documentos do corpus.
- seja representado por um vetor que indica um conjunto de outros termos que possuem o mesmo conceito semântico.
- seja representado por um vetor que é a soma das representações dos embeddings de todos os termos do documento.
Mostrar resposta e comentário
Gabarito
B
Comentário do professor
A alternativa correta expressa a ideia central do peso TF-IDF: o valor de um termo combina sua ocorrência naquele documento com sua raridade no corpus.
Em termos práticos, TF (Term Frequency) mede a frequência do termo no documento, logo contribui de forma diretamente proporcional ao peso. Um termo que aparece mais vezes no mesmo texto tende a ser mais relevante para esse texto.
IDF (Inverse Document Frequency) penaliza termos muito comuns no conjunto de documentos, sendo inversamente proporcional ao número de documentos que contêm o termo. Termos frequentes no corpus têm menor poder discriminativo.
Uma formulação usual é \(TF(t,d)=\frac{\text{freq}(t,d)}{|d|}\), \(IDF(t)=\ln\!\left(\frac{N}{1+\text{df}(t)}\right)\) e \(TF\text{-}IDF(t,d)=TF(t,d)\cdot IDF(t)\). Assim obtém-se pesos que realçam termos importantes no documento e atenuam termos comuns no corpus.
Conteúdo do catálogo FC Concursos · Atualizado em