武林风9月6日,yy6080,银针生死判
这是一次课程作业，实现有点粗糙。有更好的方案，欢迎交流。
我们需要评估每两个用户之间的相似度，以此来发现社区。现在我们以每对用户的共同关注人数量作为评估标准。
原始数据格式：
关注人_id:粉丝_1_id 粉丝_2_id
希望得到的输出格式是
用户_id:相似的人_1_id 相似的人_2_id
使用两次mapreduce 过程
第一次
输入格式:followee_1_id:follower_1_id follower_2_id follower_3_id
map:将后面的粉丝两两配对，并输出。key为 id-id 的形式，value为1，表示这对用户有一个共同好友
reduce: 类似wordcount，将相同key的value加起来
第二次
map:读取并切分，比如将 a-b 4 分为 a b 4 和 b a 4
reduce:将同一键的值合并到列表中, 并按相反的顺序对其进行排序。然后输出格式是 user_2:similiar_person_1 similiar_person_2 ...
此处只排出前十人。
代码：
https://github.com/londist/community-dectection
数据集：
small scale dataset https://www.dropbox.com/s/ntzk80l5iiiuh50/small%20dataset.txt?dl=0
medium scale dataset https://www.dropbox.com/s/6sxnnadhxbyk7ho/medium%20dataset.txt?dl=0
large scale dataset https://www.dropbox.com/s/lrlgz50m88j6fpc/large%20dataset.txt?dl=0
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
python求numpy中array按列非零元素的平均值案例
我要评论
网友评论