Press "Enter" to skip to content

数据挖掘——如何利用Python实现产品关联性分析apriori算法篇

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

在实际业务场景中,我们常常会探讨到产品的关联性分析,本篇文章将会介绍一下如何在Python环境下如何利用apriori算法进行数据分析。

 

1.准备工作

 

如果需要在Python环境下实现apriori算法,就离不开一个关键的机器学习库mlxtend,运行以下代码进行安装:

 

pip install mlxtend

 

为方便进行过程的演示,在此构建测试数据:

 

import pandas as pd
df=pd.DataFrame({
 'product_list':['A-C', 'D', 'A-B-C-D','A-C','A-C-D','A-C-B']})

 

测试数据截图如下:

 

对上述的数据进行以下处理:

 

df_chg=df['product_list'].str.split("-")

 

数据处理后,结果截图如下:

 

截止到此,准备工作已经完成,下面个将会以df_chg作为参数进行建模。

 

2.核心函数及代码

 

2.1 数据预处理

 

对传入的数据进行预处理,使其成为符合要求的数据。mlxtend模块中有专门用于数据预处理的方法,在这里直接进行调用即可:

 

#1.将传入的数据转换为算法可接受的数据类型(布尔值)
from mlxtend.preprocessing import TransactionEncoder
te = TransactionEncoder()
df_tf = te.fit_transform(df_chg)
#为方便进行查看,生成dataframe
data = pd.DataFrame(df_tf,columns=te.columns_)

 

运行以上代码后,传入的df_chg数据会被转换成符合要求的数据data,截图如下:

 

2.2 两个关键函数

 

apriori函数

 

语法:

 

apriori(df, min_support=0.5, use_colnames=False, max_len=None, verbose=0, low_memory=False)

 

参数详解:

df: pandas模块中的数据帧,DataFrame形式的数据;
min_support:一个介于0和1之间的浮点数,表示对返回的项集的最小支持度。
use_colnames: 如果为 True,则在返回的 DataFrame 中使用 DataFrame 的列名;如果为False,则返回为列索引。通常情况下我们设置为True。
max_len: 生成的项目集的最大长度。如果无(默认),则计算所有可能的项集长度。
verbose: 如果 > = 1且 low_memory 为 True 时,显示迭代次数。如果 = 1且low_memory 为 False,则显示组合的数目。
low_memory:如果为 True,则使用迭代器搜索 min_support 之上的组合。low _ memory = True 通常只在内存资源有限的情况下用于大型数据集,因为这个实现比默认设置大约慢3-6倍。

association_rules函数

 

语法:

 

association_rules(df, metric='confidence', min_threshold=0.8, support_only=False)

 

参数如下:

df: pandas模块中的数据帧,DataFrame形式的数据;
metric: 用于评估规则是否有意义的度量。可选参数有以下几种:‘support’, ‘confidence’, ‘lift’, ‘leverage’和 ‘conviction’
min_threshold: 评估度量的最小阈值,通过度量参数确定候选规则是否有意义。
support_only : 只计算规则支持并用 NaN 填充其他度量列。如果: a)输入 DataFrame 是不完整的,例如,不包含所有规则前因和后果的支持值 b)你只是想加快计算速度,因为你不需要其他度量。

附带metric几种参数的计算方法:

 

support(A->C) = support(A∩C) [aka ‘support’], range: [0, 1]

 

confidence(A->C) = support(A∩C) / support(A), range: [0, 1]

 

lift(A->C) = confidence(A->C) / support(C), range: [0, inf]

 

leverage(A->C) = support(A->C) – support(A)*support(C),

 

range: [-1, 1]

 

conviction = [1 – support(C)] / [1 – confidence(A->C)],

 

range: [0, inf]

 

3.实际应用案例

 

以下为完整的调用实例:

 

import pandas as pd
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules
#1.构建测试数据
df=pd.DataFrame({
 'product_list':['A-C', 'D', 'A-B-C-D','A-C','A-C-D','A-C-B']})
df_chg=df['product_list'].str.split("-")
#2.数据预处理
#将传入的数据转换为算法可接受的数据类型(布尔值)
te = TransactionEncoder()
df_tf = te.fit_transform(df_chg)
#为方便进行查看,生成dataframe
data = pd.DataFrame(df_tf,columns=te.columns_)
#3.建模
#利用 Apriori函数,设置最小支持度为0.2
frequent_itemsets = apriori(data,min_support=0.2,use_colnames= True)
#设置关联规则,设置最小置信度为0.15
temp= association_rules(frequent_itemsets,metric = 'confidence',min_threshold = 0.15)
#4.剪枝并控制输出
#设置最小提升度,并剔除对应的数据
min_lift=1
rules = temp.drop(temp[temp['lift']<min_lift].index)
#筛选需要输出的列
result = rules[['antecedents','consequents','support','confidence','lift']]
result=result.sort_values(['confidence','lift','support'],ascending=False)
result.to_csv('apriori_result.csv',index=False,encoding='utf-8-sig')

 

输出结果见下图:

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。