tf-idf

    0熱度

    1回答

    爲什麼下面的tfidf矢量化失敗了？

    你好，我想提出以下的實驗中，首先我創建了一個名爲矢量器：TFIDF： tfidf_vectorizer = TfidfVectorizer(min_df=10,ngram_range=(1,3),analyzer='word',max_features=500) 然後我向量化以下列表： tfidf = tfidf_vectorizer.fit_transform(listComments)
    scikit-learn tf-idf 2016-12-18

    3熱度

    1回答

    TF-IDF和餘弦相似度的替代方案（比較不同格式的文檔）

    我一直在研究一個小型的個人項目，它需要用戶的工作技能並根據這些技能爲他們提供最理想的職業。我使用工作列表數據庫來實現這一目標。目前，該代碼的工作原理如下： 1）過程的每個作業正文上市提取了在上市 2）對於每個職業（例如，「數據分析」）中提到的技能，結合對於職業的工作列表的文本處理成一個文件 3）職業文檔中計算每個技能的TF-IDF 在此之後，我不知道我應該使用哪個等級的方法基於用戶技能列表的職業生
    nlp data-mining tf-idf cosine-similarity 2017-01-02

    0熱度

    1回答

    TF IDF不相等，當TF在兩個文件是相同的

    讓我先給我的TFIDF措施的理解： TF（T）=（次項t號碼出現在文檔中）/（總文檔中的術語）的數目 IDF（T）= log_e（的文件總數/文件與在它詞條t） my source, and good explanation 所以有1個IDF度量的每一個字數量在語料庫中。 但是Tf對於每個單詞和語料庫中的每個文檔都是「存在」的。 假設一個單詞在2個文檔中有Tf = 1，那麼TfIdf對於這兩個單詞
    r tm tf-idf 2016-11-17

    2熱度

    1回答

    將scipy.sparse.csr.csr_matrix轉換爲列表清單

    我正在學習多標籤分類並嘗試從scikit學習實現tfidf教程。 我正在處理一個文本語料庫來計算其tf-idf分數。 我使用模塊sklearn.feature_extraction.text爲目的。使用CountVectorizer和TfidfTransformer我現在已經爲每個詞彙表使用了我的語料庫vectorised和tfidf。 的問題是，我有一個稀疏矩陣現在，像： (0, 47) 0.1
    python machine-learning scipy scikit-learn tf-idf 2016-11-19

    2熱度

    1回答

    測試和訓練數據集具有不同數量的功能

    我試圖在一些訓練和測試數據上訓練svm模型。計劃效果很好，如果我結合試驗和訓練數據，但如果我把他們和檢驗模型準確性它說 Traceback (most recent call last): File "/home/PycharmProjects/analysis.py", line 160, in <module> main() File "/home/Pycharm
    python-3.x machine-learning scikit-learn svm tf-idf 2016-11-21

    0熱度

    1回答

    將文本語料庫轉換爲帶有vocabulary_id和tfidf分數的文本文檔

    我有一個帶有5個文檔的文本語料庫，每個文檔之間用/ n分隔。我想爲文檔中的每個單詞提供一個id並計算其各自的tfidf分數。 例如，假設我們有一個名爲「corpus.txt」文本語料庫如下： - 「堆棧 過流 文本量化scikit 蟒蛇SciPy的稀疏CSR」 在計算使用 mylist =list("corpus.text") vectorizer= CountVectorizer x_cou
    python machine-learning text-mining tf-idf 2016-11-22

    2熱度

    1回答

    Java：如何使用TF-IDF來計算兩個文檔的相似度？

    我的目標是找到兩個文檔（單詞集合）之間的相似度值。我已經找到了幾個答案，如this SO post或this SO post，它們提供了Python庫來實現這個功能，但是我很難理解這種方法並使其適用於我的用例。 如果我理解正確，文檔的TF-IDF是根據給定的術語計算的，對嗎？這就是我對Wikipedia article的解釋：「tf-idf ...是一個數字統計，旨在反映一個詞對文檔的重要性。」
    java nlp tf-idf 2016-11-23

    0熱度

    1回答

    用於coo格式的ML數據集的TFIDF表示python

    我想獲取MovieLens標記數據集的tf-idf表示形式。該標籤是一個'COO - 格式： import pandas as pd ratings = pd.read_csv('data/ratings.csv',sep=',') movies = pd.read_csv('data/movies.csv',sep=',') tags = pd.read_csv('data/tags.c
    python tf-idf 2016-11-28

    2熱度

    1回答

    dtm稀疏度取決於tf/tfidf，同一語料庫

    任何人都可以解釋嗎？ 我的理解： tf >= 0 (absolute frequency value) tfidf >= 0 (for negative idf, tf=0) sparse entry = 0 nonsparse entry > 0 所以確切的稀疏/非稀疏的比例應與下面的代碼創建的兩個DTM的相同。 library(tm) data(crude) dtm
    r text-processing tm tf-idf 2016-11-29

    0熱度

    1回答

    如何提高查詢和文檔相似性度量python TFIDF，BM25精度，召回

    我試着爲查詢和文檔計算TF-IDF，並使用COS距離對結果進行排名並得到Top50類似文檔。 同樣，我計算BM25得分並將最高BM25得分評爲No.1，並獲得前50個相似文件。 但是，對於TF-IDF和BM25，結果都不好。 （數據集是標籤測試數據集的大小爲1400的文檔。）： For example in the testing dataset judgment the queryID=1
    python precision information-retrieval tf-idf precision-recall 2016-12-05
最新問題