这是我的问题:
我有一个这样的数据框:
id tfidf_weights
1 {word1: 0.01, word2: 0.01, word3: 0.01, ...}
2 {word4: 0.01, word5: 0.01, word6: 0.01, ...}
3 {word7: 0.01, word8: 0.01, word9: 0.01, ...}
4 {word10: 0.01, word11: 0.01, word12: 0.01, ...}
5 {word13: 0.01, word14: 0.01, word15: 0.01, ...}
.
.
.
“ id”列代表文档的ID,“ tfidf_weights”列代表每个文档的每个单词的tfidf权重。
从这个数据帧中,我可以获得具有以下结构的字典:
mydict = {1:{word1: 0.01, word2: 0.01, word3: 0.01, ...}, 2:{word4: 0.01, word5: 0.01, word6: 0.01, ...}, 3:{word7: 0.01, word8: 0.01, word9: 0.01, ...}, 4:{word10: 0.01, word11: 0.01, word12: 0.01, ...}, 5:{word13: 0.01, word14: 0.01, word15: 0.01, ...}, ...}
我想做的是,从这本字典中获得一个像这样的矩阵:
word1 word2 word3 word4 ...
1 0.01 0.01 0.01 0.01
2 0.01 0.01 0.01 0.01
3 0.01 0.01 0.01 0.01
4 0.01 0.01 0.01 0.01
5 0.01 0.01 0.01 0.01
.
.
.
谢谢您的帮助 !
您可以直接使用pandas DataFrame类将词典列表转换为数据框。
import pandas as pd
a = [{"0": 0}, {"1": 1}]
df = pd.DataFrame(a)
要将其应用于您的问题,您要做的就是变成mydict
词典列表而不是词典词典。
是的,但是我需要将其转换为矩阵而不是数据框,因为我想计算文档之间的相似度,并且我相信您需要每个文档的tfidf权重矩阵
您有多种选择:您可以先将其转换为数据框,然后调用
df.as_matrix
。另外,您可以使用DictVectorizer
fromsklearn
,它也可以为您解决问题。是的,我听说过DictVectorizer,我会尝试的,谢谢!