Flashcard FC624913
Como TF e IDF influenciam o peso TF-IDF de um termo?
Estatística Computacional
CESGRANRIO · 2024
Como TF e IDF influenciam o peso TF-IDF de um termo?
Mostrar resposta e comentário
Resposta
TF‑IDF = TF × IDF; TF aumenta o peso com a frequência no documento, IDF reduz o peso para termos comuns no corpus.
Explicação:
\(TF(t,d)=\dfrac{\text{freq}(t,d)}{|d|}\)
\(IDF(t)=\ln\!\left(\dfrac{N}{1+\text{df}(t)}\right)\)
\(TF\mbox{-}IDF(t,d)=TF(t,d)\cdot IDF(t)\)
Exemplo:
Considere um corpus com \(N=3\) documentos e um documento \(d\) com \(|d|=200\) palavras.
Termo A aparece \(\text{freq}(A,d)=5\) vezes e em \(\text{df}(A)=1\) documento, então:
\(TF(A,d)=5/200=0.025\)
\(IDF(A)=\ln\!\left(\dfrac{3}{1+1}\right)=\ln(1.5)\approx0.405\)
\(TF\mbox{-}IDF(A,d)=0.025\times0.405\approx0.0101\)
Termo B aparece \(\text{freq}(B,d)=8\) vezes e em \(\text{df}(B)=2\) documentos, então:
\(TF(B,d)=8/200=0.04\)
\(IDF(B)=\ln\!\left(\dfrac{3}{1+2}\right)=\ln(1)=0\)
\(TF\mbox{-}IDF(B,d)=0.04\times0=0\)
Assim, A recebe peso positivo por ser frequente no documento e raro no corpus, B tem peso nulo por ser comum no corpus.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/624254
Conteúdo do catálogo FC Concursos · Atualizado em