Press "Enter" to skip to content

用NLP实现基于内容的电影推荐系统

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

在这个教程中,我们将实现一个基于电影内容本身相似性的推荐系统。 我们将利用自然语言处理(NLP)技术来提取每个电影的特征,然后 建立不同电影之间的余弦相似性矩阵,最后利用相似矩阵来推荐指定 电影的10个最相似电影。

 

当我们评价互联网上的产品和服务时,我们表达并分享出来的 倾向性,被推荐系统用来生成个性化推荐。最常见的例子就是 亚马逊的商品推荐、谷歌的搜索结果推荐和Netflix上的视频推荐。

 

 

有两种类型的推荐系统:

协同过滤 – 基于用户的评价和消费行为来分组相似的用户,然后向用户推荐可能感兴趣的产品或服务
基于内容的过滤 – 基于产品/服务本身的相似性向用户推荐

 

在这个教程中,我们将利用电影的特征,例如风格、剧情、导演和主要演员等,来计算 不同电影之间的余弦相似度。我们使用从data.world下载的IMDB前250部英文电影 作为我们的 数据集

 

1、导入Python库和数据集

 

确保已经安装了RAKE库,或者参考以下命令安装:

 

pip install rake_nltk

 

然后使用以下代码读入数据集:

 

from rake_nltk import Rake
import pandas as pd
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import CountVectorizerdf = pd.read_csv('IMDB_Top250Engmovies2_OMDB_Detailed.csv')
df.head()

 

数据集中有250部电影(行),每部电影包含38个属性(列)。不过我们只需要 用到其中的5个属性: ‘Title’, ’Director’, ’Actors’, ’Plot’, and ’Genre’。 下面的代码显示10个流行的导演的作品数量直方图:

 

df['Director'].value_counts()[0:10].plot('barh', figsize=[8,5], fontsize=15, color='navy').invert_yaxis()

 

 

2、数据预处理

 

首先使用NLP对数据进行预处理,将属性合并为一列,然后进行矢量化, 每个单词对应一个得分,最后计算余弦相似性得分。

 

我们使用Rake函数来提取剧情列中整句话的最相关单词,并将提取结果 放入一个新的列‘Key_words’:

 

df['Key_words'] = ''
r = Rake()for index, row in df.iterrows():
    r.extract_keywords_from_text(row['Plot'])
    key_words_dict_scores = r.get_word_degrees()
    row['Key_words'] = list(key_words_dict_scores.keys())

 

 

演员和导演的名字被小写并转换为唯一标识值。我们将姓、名合并,这样 Chris Evans和Chris Hemsworth就不会有相似性,否则的话,这两个 名字就会有50%的相似性,因为都包含了Chris:

 

df['Genre'] = df['Genre'].map(lambda x: x.split(','))
df['Actors'] = df['Actors'].map(lambda x: x.split(',')[:3])
df['Director'] = df['Director'].map(lambda x: x.split(','))for index, row in df.iterrows():
    row['Genre'] = [x.lower().replace(' ','') for x in row['Genre']]
    row['Actors'] = [x.lower().replace(' ','') for x in row['Actors']]
    row['Director'] = [x.lower().replace(' ','') for x in row['Director']]

 

 

3、创建单词的表示

 

在数据预处理之后,这四个列‘Genre’, ‘Director’, ‘Actors’ 和 ‘Key_words’ 合并为一个新 的列‘Bag_of_words’,这样最终的数据帧只有2列:

 

df['Bag_of_words'] = ''
columns = ['Genre', 'Director', 'Actors', 'Key_words']for index, row in df.iterrows():
    words = ''
    for col in columns:
        words += ' '.join(row[col]) + ' '
    row['Bag_of_words'] = words
    
df = df[['Title','Bag_of_words']]

 

 

4、创建相似性矩阵

 

推荐模型只能读取并比较向量,因此我们需要将 Bag_of_words 列使用 CountVectorizer 转换为向量表示,这是一个简单的频率计数器。一旦我们得到了所有单词的计数矩阵, 就可以利用 cosine_similarity 函数来比较电影的相似性。

 

count = CountVectorizer()
count_matrix = count.fit_transform(df['Bag_of_words'])cosine_sim = cosine_similarity(count_matrix, count_matrix)
print(cosine_sim)

 

 

接下来是创建电影标题序列,序列的索引对应相似矩阵的行和列。

 

indices = pd.Series(df['Title'])

 

5、运行测试推荐模型

 

最后一步是创建一个函数,以电影标题为输入,返回其最相似的10个电影。 这个函数将输入电影标题与相似矩阵进行比较,以降序提取相似的电影:

 

def recommend(title, cosine_sim = cosine_sim):
    recommended_movies = []
    idx = indices[indices == title].index[0]
    score_series = pd.Series(cosine_sim[idx]).sort_values(ascending = False)
    top_10_indices = list(score_series.iloc[1:11].index)
    
    for i in top_10_indices:
        recommended_movies.append(list(df['Title'])[i])
        
    return recommended_movies

 

现在我们可以测试模型了。输入“The Avengers” 看看推荐结果:

 

recommend('The Avengers')

 

 

6、源代码

 

你可以在 这里 下载源代码。

 

原文链接: Content-based recommender using Natural Language Processing (NLP)

 

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注