Customer Profile Insights & repurchase related insights¶
- Project Overview
- Main Processes of the Project
- Links to the Project
- Other Materials
Data Preprocessing（数据预处理）¶
In [1]:
# import the libraries we might need
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.impute import SimpleImputer
from matplotlib.pyplot import MultipleLocator
import xgboost as xgb
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import KFold
from sklearn.preprocessing import LabelEncoder
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import VarianceThreshold
from sklearn.feature_selection import SelectFromModel
from sklearn.utils import shuffle
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix
from sklearn.metrics import roc_curve, auc
from sklearn import metrics #Additional scklearn functions
from sklearn.model_selection import GridSearchCV, cross_validate #Perforing grid search
from matplotlib.legend_handler import HandlerLine2D
# basic set up
sns.set_style('darkgrid')
%matplotlib inline
from matplotlib.pylab import rcParams
rcParams['figure.figsize'] = 12, 8
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
pd.set_option('display.max_columns', 100)
In [2]:
# find the path
import os
print(os.path.abspath('.'))
In [3]:
# load the data
path = r'C:\Users\gzjgz\OneDrive\Documents\rawdata.xls'
df_key_customer_info = pd.read_excel(path,sheet_name = '车主')
df_repurchased = pd.read_excel(path,sheet_name = '车辆')
df_service_request = pd.read_excel(path,sheet_name = '工单')
Basic Inspection of the Data¶
In [4]:
# check the data
df_key_customer_info.head()
Out[4]:
In [5]:
df_repurchased.head()
Out[5]:
In [6]:
df_service_request.head()
Out[6]:
Descriptive Analysis（描述性分析）¶
先看看数据有多少行列吧
In [7]:
print('关键客户基本信息表的行列为:',df_key_customer_info.shape)
print('关键客户重购表的行列为:',df_repurchased.shape)
print('关键客户服务请求表的行列为:',df_service_request.shape)
再看看有没有重复的行
In [8]:
df_key_customer_info.drop_duplicates()
df_key_customer_info.shape
Out[8]:
In [9]:
df_repurchased.drop_duplicates()
df_repurchased.shape
Out[9]:
In [10]:
df_service_request.drop_duplicates()
df_service_request.shape
Out[10]:
非常好！我们没有重复的行存在。那再看看数据的基本信息吧！
Customer Profile Insights
In [11]:
df_key_customer_info.info()
通过以上的信息我们可以分析出客户不愿意透露自己的婚姻状况、职业类别、兴趣爱好、驾照相关信息，是否是大/VIP客户。
往往我们可以通过客户的一部分代表性的信息来做一些特征选择，比如我们可对客户基本数据进行总结，大概包括：
- 客户id
- 性别
- 教育程度
- 职位/行业
- 收入
- 地理位置
先去掉用处不大的信息，再进行特征筛选
In [12]:
df_key_customer_info.drop(['姓名拼音',
'英文名称',
'婚姻状态',
'职业大类',
'职业小类',
'兴趣爱好',
'计划考驾照的时间',
'取得驾照年月',
'是否VIP客户',
'区号',
'分机'], axis = 1, inplace=True)
In [13]:
df_key_customer_info.info()
Data Quality Check¶
我们先定义一个数据质量检测函数！
In [14]:
def data_check(data, create_new_data = True):
# 缺失值占比
print('#### 数据缺失值百分比 ####')
percent = 100*data.isnull().sum()/ data.shape[0]
print(percent)
if create_new_data == True:
# 我们把缺失值小于10%大于0的行去掉
threshold = 10
idx = np.where((percent < threshold) & (percent > 0))
col_drop = pd.DataFrame(percent).T.columns[idx]
new_data = data.dropna(axis=0, subset=col_drop)
print('\n#### 新数据缺失值百分比 ####')
percent = 100*new_data.isnull().sum()/ new_data.shape[0]
print(percent)
return new_data
df_key_customer_info = data_check(df_key_customer_info)
df_key_customer_info.head()
Out[14]:
这里我们有了客户的省份和城市作为地理位置的代表信息，可以将址区和邮编剔除，并且由于是否为大客户的缺失值占比超过99%，也需要把它剔除。
In [15]:
df_key_customer_info.drop(['址区','邮编','是否大客户'],axis = 1,inplace=True)
In [16]:
data_check(df_key_customer_info,create_new_data=False)
那么接下来就要对缺失值进行填充，比如我们可以
- 根据城市的等级以及已有的客户年收入进行对年收入缺失值的填充
- 对家庭成员人数进行均值填充（成员数也影响了购车习惯和需求）
- 是否拥有驾照来根据年龄判断进行填充（国内要求18岁以上人群可考驾照，我设定大于30岁的人都拥有驾照）
- 职位、教育程度、年龄等可以进行众数填充
Data Imputation & Analysis¶
In [17]:
df_key_customer_info['家庭年收入']
Out[17]:
In [18]:
df_key_customer_info['家庭年收入'].value_counts()
Out[18]:
In [19]:
df_key_customer_info['家庭成员人数'].value_counts()
Out[19]:
In [20]:
df_key_customer_info['家庭成员人数'] = df_key_customer_info['家庭成员人数'].replace(['One','Two','Three','Four','Five','Six','Seven And Above'],
[1,2,3,4,5,6,7])
In [21]:
df_key_customer_info['家庭成员人数'] = df_key_customer_info['家庭成员人数'].replace('No Answer',3)
In [22]:
df_key_customer_info['家庭成员人数'] = df_key_customer_info['家庭成员人数'].fillna(method = 'pad')
In [23]:
sns.countplot(df_key_customer_info['家庭成员人数'])
Out[23]:
可以看出大概90%的客户家庭人数是3人。
再来看看客户的年龄分布
In [24]:
df_key_customer_info['年龄'] = 2020 - df_key_customer_info['生日'].apply(lambda x:x.year) # 对timestamp进行年份转换
In [25]:
df_key_customer_info['年龄'] = df_key_customer_info['年龄'].interpolate() # 对数据缺失值进行插值拟合
In [26]:
plt.figure(figsize = [12,8])
sns.distplot(df_key_customer_info['年龄'])
Out[26]:
In [27]:
df_key_customer_info['年龄'][0] = df_key_customer_info['年龄'].mean()
可以看出客户的年龄分布集中在35到50中间，是很合理的，峰值出现在40岁左右
In [28]:
null_idx = df_key_customer_info['是否拥有驾照'][pd.isnull(df_key_customer_info['是否拥有驾照'])].index
df_key_customer_info['是否拥有驾照'][pd.isnull(df_key_customer_info['是否拥有驾照'])] = df_key_customer_info['年龄'][null_idx].apply(lambda x: 'Y' if x > 30 else 'N')
In [29]:
df_key_customer_info['是否拥有驾照'].value_counts()
Out[29]:
In [30]:
# 根据年龄对教育程度进行预测(由于75%人不愿回答)
no_answer_idx = df_key_customer_info['教育程度'][df_key_customer_info['教育程度'] == '没有回答'].index
def education(age):
if (age >= 20) & (age <= 30):
return '硕士'
elif (age > 30) & (age <= 43):
return '本科'
elif (age > 43) & (age <= 55):
return '大专'
else:
return '高中'
df_key_customer_info['教育程度'][df_key_customer_info['教育程度'] == '没有回答'] = df_key_customer_info['年龄'][no_answer_idx].apply(education)
通过计算，客户的家庭年收入大概在7.6万左右，由于不愿回答或没有回答的人数太多，我们需要进行填充。
In [31]:
df_key_customer_info['教育程度'] = df_key_customer_info['教育程度'].fillna(method = 'pad')
In [32]:
df_key_customer_info['家庭年收入'] = df_key_customer_info['家庭年收入'].replace(['没有回答','不想说/不愿回答','5万元及以下','5-8万元(含8万)', '8-12万元(含12万)','12-18万元(含18万)','18-27万元(含27万)','27-45万元(含45万)','45万元以上'],[65000,100000,50000,65000,100000,150000,230000,360000,500000])
In [33]:
df_key_customer_info['家庭年收入'] = df_key_customer_info['家庭年收入'].fillna(method = 'ffill')
In [34]:
df_key_customer_info['家庭年收入'][0] = 500000
df_key_customer_info['家庭年收入'][1] = 500000
In [35]:
df_key_customer_info['职位'] = df_key_customer_info['职位'].fillna(method = 'ffill')
df_key_customer_info['行业'] = df_key_customer_info['行业'].fillna(method = 'ffill')
那么最后整理出来的客户信息数据如下
In [36]:
# 缺失值验证
df_key_customer_info.isnull().sum()
# 去掉不需要的列
col_to_drop = ['姓名','生日','手机']
df_key_customer_info = df_key_customer_info.drop(col_to_drop,axis = 1)
In [37]:
df_key_customer_info = df_key_customer_info.dropna()
df_key_customer_info.isnull().sum()
Out[37]:
In [38]:
df_key_customer_info = df_key_customer_info.rename(columns={'车主id':'车主ID'})
In [39]:
df_key_customer_info.index = df_key_customer_info['车主ID']
In [40]:
df_key_customer_info = df_key_customer_info.drop('车主ID',axis = 1)
print('最终客户数据的维度是：',df_key_customer_info.shape)
df_key_customer_info.head()
Out[40]:
来写一个辅助函数，画出每个特征的饼状图来帮助分析
In [41]:
def mypie(data,feature,top_n = 10):
plt.figure(figsize=(12,8))
labels = data[feature].value_counts()[:top_n].index
plt.pie(data[feature].value_counts()[:top_n],labels = labels,autopct='%3.2f%%')
In [42]:
mypie(df_key_customer_info,'性别')
可以看出客户71.75%集中在男性群体上。
In [43]:
mypie(df_key_customer_info,'教育程度')
根据客户的年龄分布以及饼状图的结果来看，38.11%的客户是本科学历，36.68%的客户是大专学历，11.42%的客户是高中学历。硕士、博士级以上只占了3%左右。
说明客户的教育水平大多是集中在大专和本科，其总占比达到75%左右。
In [44]:
mypie(df_key_customer_info,'职位')
根据上图所示，我们有23.56%的客户不愿意透露自己的职业，而也有24.5%左右的客户是企业高管等高层职位，有21.23%的客户是一般职员或者技术人员，而事业单位或者正负官员占比是最少的，不到1%，所以客户的职位有一些两级分化，总裁等级的职位和一般职员的占比不分伯仲。
In [45]:
mypie(df_key_customer_info,'行业')
根据饼状图，33.85%的客户都集中在电气、电源、仪器制造行业。而其他行业。例如：家居、建筑、汽车、政府、金融、教育等，比重都差距不大，其中也有23%的人拒绝回答自己从事的行业。
In [46]:
mypie(df_key_customer_info,'省份')
客户在上海市（直辖市）的总数量是最高的，达到15.96%，但是也和江苏省的14.96%、山东省的14.72%相差不多，山西省占比5%是最少的，在南北地区分布来看，客户分布数量基本持平。
In [47]:
mypie(df_key_customer_info,'城市')
大部分的客户都分布在上海市和北京市，总占比达到50%左右。其中上海市占比最高，达到34.36%，北京市排在第二，达到了15.29%。
In [48]:
plt.figure(figsize=(12,8))
labels = df_key_customer_info['家庭年收入'].value_counts().index
plt.pie(df_key_customer_info['家庭年收入'].value_counts(),labels = labels,autopct='%3.2f%%')
Out[48]:
47.5%的客户家庭年收入水平在65000元左右，27.7%的客户家庭年收入在8-12万元，并且也造成了一些两极分化的情况，年收入5万元以下和年收入在12-18万或18-27万的客户基本持平，都在6%左右。也说明年收入哪怕在5万元以下的情况，对汽车的需求也是比较高的，而我们的客户群体不集中与高收入人群，普遍集中在中等偏低收入水平的客户，总共占比大概在86%左右（针对5-15万年收入群体）。
Summary¶
客户（车主）基本数据囊括了其个人基本信息、教育程度、职业行业、收入水平以及地理分布。我通过对数据的质检以及描述性分析，对客户数据的各个维度都进行了探索性分析以及数据可视化，最终，我得出的结论如下：
- 71%的客户为男性客户，说明男性在购车方面占据主导。
- 客户的年龄分布集中在35到50中间，峰值出现在40岁左右，说明中年人的购车欲望和需求是最高的。
- 客户的教育水平集中在大专和本科，其总占比达到75%左右，而硕士、博士及以上占比不到3%，说明客户的购车需求并不和学历产生正向关系，学历中等偏上的人群占据主导。
- 63%客户的家庭年收入在12万以下（工资水平偏低）占主导地位，25%客户的家庭收入在12万到27万（工资水平中等），12%客户的家庭收入在27万以上。
- 客户的职业大部分集中在总裁、总经理等高层职业（24.1%）和技术员工等一般职业（21.8%），总占比达到55%，而政府官员占比最少，不到1%，说明队友客户偏好上来说，我们更应大量发展高端昂贵车辆（适合高层职位）和经济实用型车辆（适合普通员工）的相关业务。
- 客户工作的行业有38%集中在电气、电器、仪器制造行业，而其他行业相对分布均衡。
- 客户地理位置分布主要在上海和北京，并且总体来说南北地区客户数量相持平。
Repurchase Related Insights
先来看看客户回购数据的基本信息
In [49]:
df_repurchased.info()
可以看出基本没有什么缺失值，尤其是车型、购买日期和开票价格。
In [50]:
df_repurchased = data_check(df_repurchased,create_new_data=True)
这样我们就把缺失值少于10%的所有行全部去掉。
In [51]:
df_repurchased = df_repurchased.drop_duplicates()
In [52]:
df_repurchased.shape
Out[52]:
找出没有重新购买的所有顾客和其信息
In [53]:
d = pd.DataFrame(df_repurchased['车主ID'].value_counts())
idx = d[d['车主ID']==1].index
df_repurchased_test = pd.DataFrame(columns=df_repurchased.columns)
for i in range(len(idx)):
df_repurchased_test = df_repurchased_test.append(df_repurchased[df_repurchased['车主ID'] == idx[i]])
In [54]:
df_repurchased_test
Out[54]:
可以看出我们有486行数据代表没有重购的情况，我们将把他们作为分析的对象。
In [55]:
d = pd.DataFrame(df_repurchased['车主ID'].value_counts())
idx = d[d['车主ID'] > 1].index
df_repurchased_train = pd.DataFrame(columns=df_repurchased.columns)
for i in range(len(idx)):
df_repurchased_train = df_repurchased_train.append(df_repurchased[df_repurchased['车主ID'] == idx[i]])
In [56]:
df_repurchased_train
Out[56]:
剩下的6747行数据作为我们的分析训练数据，我想通过分析这些客户的回购数据来为还未重购的客户进行推荐！
In [57]:
df_repurchased_train.sort_values(by = ['车主ID','购买日期'])
Out[57]:
In [58]:
df_repurchased_train['市场车型'].describe()
Out[58]:
In [59]:
percent = (100*df_repurchased_train['市场车型'].value_counts()/df_repurchased_train.shape[0])[:30].sum()
print('我们要选取最受客户欢迎的前30种车,对于总数的占比达到:',percent)
In [60]:
idx = pd.DataFrame((100*df_repurchased_train['市场车型'].value_counts()/df_repurchased_train.shape[0])[:30]).index
df_repurchased_train_filter = pd.DataFrame(columns=df_repurchased.columns)
for i in range(len(idx)):
df_repurchased_train_filter = df_repurchased_train_filter.append(df_repurchased_train[df_repurchased_train['市场车型'] == idx[i]])
In [61]:
df_repurchased_train_filter['市场车型'].value_counts()
Out[61]:
In [62]:
mypie(df_repurchased_train_filter,'市场车型',top_n = 30)
可以看出占主导地位的车型是全新帕萨特（11.33%）
In [63]:
df_repurchased_train_filter = df_repurchased_train_filter.sort_values(by = ['车主ID','购买日期'])
df_repurchased_train_filter
Out[63]:
In [64]:
df = df_repurchased_train
In [65]:
df = df.sort_values(by = ['车主ID','购买日期'])
In [66]:
df['价格差异'] = df['开票价格'].groupby(df['车主ID']).diff()
In [67]:
plt.figure(figsize = [12,8])
df_price_diff = pd.DataFrame(df['价格差异'].groupby(df['车主ID']).sum())
sns.distplot(df_price_diff)
Out[67]:
通过对于重购客户的回购车辆价格和首次购车价格的差值分布情况来看，绝大部分的客户在购车的价格上是基本持平或者会倾向于买稍微贵一点的车。
In [68]:
df['开票价格'].max()
Out[68]:
In [69]:
df_price_diff.describe()
Out[69]:
可以看出平均来讲，重购车辆的价格会比之前高出46000元左右，中位数大概在7000元左右，最大价格差要高出了220多万，最少比之前低了48万多，所以这个差异变动还是比较大的！
再看一下他们的购车时间间隔的情况
In [70]:
df['时间差异'] = df['购买日期'].groupby(df['车主ID']).diff()
In [71]:
plt.figure(figsize = [12,8])
df_time_diff = pd.DataFrame(df['时间差异'].groupby(df['车主ID']).sum())
df_time_diff['时间差异'] = df_time_diff['时间差异'].apply(lambda x: x.days)
sns.distplot(df_time_diff['时间差异'])
Out[71]:
我们放大一下
In [72]:
df_time_diff['时间差异'].describe()
Out[72]:
In [73]:
plt.figure(figsize = [12,8])
sns.distplot(df_time_diff['时间差异'][df_time_diff['时间差异']<2175])
Out[73]:
可以看出，非常奇怪的是有不少客户在买了第一辆车没过几天就重购了，甚至有
In [74]:
print('当天重购的比率是：',100*sum(df_time_diff['时间差异']==0)/df_time_diff.shape[0])
print('当月重购的比率是：',100*sum((df_time_diff['时间差异']>0) & (df_time_diff['时间差异']<=30))/df_time_diff.shape[0])
print('当季重购的比率是：',100*sum((df_time_diff['时间差异']>0) & (df_time_diff['时间差异']<=120))/df_time_diff.shape[0])
print('当年重购的比率是：',100*sum((df_time_diff['时间差异']>0) & (df_time_diff['时间差异']<=365))/df_time_diff.shape[0])
print('第二年重购的比率是：',100*sum((df_time_diff['时间差异']>365) & (df_time_diff['时间差异']<=365*2))/df_time_diff.shape[0])
print('第三年重购的比率是：',100*sum((df_time_diff['时间差异']>365*2) & (df_time_diff['时间差异']<=365*3))/df_time_diff.shape[0])
print('第四年重购的比率是：',100*sum((df_time_diff['时间差异']>365*3) & (df_time_diff['时间差异']<=365*4))/df_time_diff.shape[0])
print('第五年重购的比率是：',100*sum((df_time_diff['时间差异']>365*4) & (df_time_diff['时间差异']<=365*5))/df_time_diff.shape[0])
print('第六年重购的比率是：',100*sum((df_time_diff['时间差异']>365*5) & (df_time_diff['时间差异']<=365*6))/df_time_diff.shape[0])
print('第七年重购的比率是：',100*sum((df_time_diff['时间差异']>365*6) & (df_time_diff['时间差异']<=365*7))/df_time_diff.shape[0])
print('第八年重购的比率是：',100*sum((df_time_diff['时间差异']>365*7) & (df_time_diff['时间差异']<=365*8))/df_time_diff.shape[0])
print('第九年重购的比率是：',100*sum((df_time_diff['时间差异']>365*8) & (df_time_diff['时间差异']<=365*9))/df_time_diff.shape[0])
print('第十年重购的比率是：',100*sum((df_time_diff['时间差异']>365*9) & (df_time_diff['时间差异']<=365*10))/df_time_diff.shape[0])
In [75]:
y = [4.37, 4.21, 8.08, 15.97, 11.10, 11.31, 11.70, 11.04, 9.93, 7.51, 5.50, 4.28, 2.90]
x = [0,1/12,1/4,1,2,3,4,5,6,7,8,9,10]
plt.figure(figsize = [12,8])
plt.plot(x,y,c='red')
plt.xlabel('第n年重购')
plt.ylabel('百分比')
x_major_locator=MultipleLocator(1)
y_major_locator=MultipleLocator(1)
ax=plt.gca()
ax.xaxis.set_major_locator(x_major_locator)
ax.yaxis.set_major_locator(y_major_locator)
plt.xlim(-0.1,10)
#把x轴的刻度范围设置为-0.5到11，因为0.5不满一个刻度间隔，所以数字不会显示出来，但是能看到一点空白
plt.ylim(-0.1,20)
Out[75]:
如图所示，我发现在当天重购和当月重购的比率是很接近的，都是4%左右，而大部分的客户选择在第一年内重购（占比16%），在第二、三、四、五年里重购的比重也十分相似，都在11%左右，而随着时间的推移，重购比率也是一直在下降，选择第十年重购的客户仅仅占2%左右。
接下来，我要判断客户的积极程度（高中低）时间区间 消费水平（高中低）消费区间 把车分档次（按卖出的百分比最后进行推荐）制作class 合并之前表格 选出特征 带入xgboost建模
现在我们要刻画用户的积极程度:
- 重购时间差小于1年 -- 1级
- 重购时间差大于1年小于3年 -- 2级
- 重购时间差大于3年小于5年 -- 3级
- 重购时间差大于5年小于7年 -- 4级
- 重购时间差大于7年小于9年 -- 5级
- 重购时间差大于9年 -- 6级
In [76]:
def active(x):
if x <= 365:
return 1
elif (x > 365) & (x <= 365*3):
return 2
elif (x > 365*3) & (x <= 365*5):
return 3
elif (x > 365*5) & (x <= 365*7):
return 4
elif (x > 365*7) & (x <= 365*9):
return 5
elif x > 365*9:
return 6
df_time_diff['积极程度'] = df_time_diff['时间差异'].apply(lambda x: active(x))
In [77]:
mypie(df_time_diff, '积极程度')
再根据购车价格把市场车型进行分类，根据价格区间把对应车型号汇总。
In [78]:
plt.figure(figsize = [12,8])
df_car_price = df['开票价格'].groupby(df['市场车型']).mean().sort_values()
df_car_price.plot()
x_major_locator=MultipleLocator(10)
y_major_locator=MultipleLocator(50000)
ax=plt.gca()
ax.xaxis.set_major_locator(x_major_locator)
ax.yaxis.set_major_locator(y_major_locator)
plt.xlim(-1,76)
#把x轴的刻度范围设置为-0.5到11，因为0.5不满一个刻度间隔，所以数字不会显示出来，但是能看到一点空白
plt.ylim(-1,700000)
plt.title('不同车型的价格曲线')
Out[78]:
In [79]:
df_car_price[(df_car_price >= 50000)&(df_car_price < 100000)].count()
Out[79]:
In [80]:
df_car_price.describe()
Out[80]:
可以看出，我们一共有76种车型，平均价格在18万3千元左右。
最贵的车款是途锐，均价在639000元左右，我把30-60万以内的车款有7种，定为6级； 20-30万以内的车款有20种，定义为4级； 10-20万以内的车款有38种，定义为2级； 5-10万以内的车款有12种，定义为0级。
所以针对不同类型的客户，我们根据其基本信息、购买力、消费意愿以及积极程度来预测他们的回购情况，并相应的推荐车款。
比如一位客户在分析过后应该为其选择在第3级的车款，也就是在20万到30万之间，但是里面有20种车款供选择，我认为可以根据每款车的销量在其中占比来划分权重，给到客户一个比率，并给出车款之间的比较数据供其参考。
In [81]:
pd.DataFrame(df_car_price)
Out[81]:
In [82]:
def price_level(x):
if x >= 300000:
return 6
elif (x>=200000) & (x<300000):
return 4
elif (x>=100000) & (x<200000):
return 2
elif x <100000:
return 0
df['车款评级'] = df['开票价格'].apply(lambda x: price_level(x))
df.head()
Out[82]:
In [83]:
df['时间差异'] = df['时间差异'].apply(lambda x: x.days)
In [84]:
col_to_use = ['车主ID', '市场车型', '开票价格','购买日期', 'ASSET_REF_EXPR', 'OU_ABREV', 'OU_NAME','价格差异', '时间差异', '车款评级']
df[col_to_use].groupby(df['车主ID']).mean()
Out[84]:
In [85]:
df['ASSET_REF_EXPR'].value_counts()
Out[85]:
In [86]:
d = df.dropna()
train = d[col_to_use].groupby(d['车主ID']).max()
train = train.drop('车主ID',axis = 1)
In [87]:
train['购买年份'] = train['购买日期'].apply(lambda x: x.year)
train['购买月份'] = train['购买日期'].apply(lambda x: x.month)
train['购买日'] = train['购买日期'].apply(lambda x: x.day)
train = train.drop('购买日期',axis = 1)
In [88]:
train = train.rename(columns={'ASSET_REF_EXPR':'品牌',
'OU_ABREV':'所购买省份',
'OU_NAME':'所购买公司'})
train.head()
Out[88]:
In [89]:
train
Out[89]:
In [90]:
df[col_to_use].groupby(df['车主ID']).mean()
Out[90]:
In [91]:
train['开票价格'] = df[col_to_use].groupby(df['车主ID']).mean()['开票价格']
train['价格差异'] = df[col_to_use].groupby(df['车主ID']).mean()['价格差异']
train['时间差异'] = df[col_to_use].groupby(df['车主ID']).mean()['时间差异']
train['车款评级'] = df[col_to_use].groupby(df['车主ID']).mean()['车款评级']
In [92]:
train.head()
Out[92]:
In [93]:
df_key_customer_info.head()
Out[93]:
下面把两个表格合并起来，信息交互。
In [94]:
df1 = train
df2 = df_key_customer_info
df_merge = df1.merge(df2,on = '车主ID',how = 'inner')
In [95]:
df_merge.shape
Out[95]:
In [96]:
df_merge.info()
In [97]:
df_merge['年龄'] = df_merge['年龄'].apply(lambda x: round(x,2))
In [98]:
df_merge.head()
Out[98]:
这里，我们把车款评级作为target，先来看看类别的平衡度
In [99]:
data = df_merge
data['车款评级'] = round(data['车款评级'])
plt.figure(figsize = [12,8])
plt.title('车款评级直方图')
sns.countplot(data['车款评级'])
Out[99]:
可以看出车款评级结果的分布比较均匀。
分割成训练集和测试集
In [100]:
train,test = train_test_split(data,test_size = 0.33,random_state = 24)
In [101]:
print('训练数据集的维度是：',train.shape)
print('测试数据集的维度是：',test.shape)
特征工程¶
下面要对categorical变量进行encoding处理，对其进行适当的编码转换，从而为带入模型做准备。
最终我们处理好的训练数据中有21个客户特征，我们要对其进行筛选以及编码。
注意到：
- 不同车型有76种，较多
- 所采购公司有1000多个，较多，无法用传统编码方式处理
- 所在城市、省份等数据不好量化，也不好编码
所以我写了target encoding的相关代码，帮助处理这种情况，在避免维度爆炸的情况下，尽量保存客户的信息，并以比率的形式展现。
In [102]:
data.head()
Out[102]:
In [103]:
# target encoding
def add_noise(series, noise_level):
return series * (1 + noise_level * np.random.randn(len(series)))
def target_encode(trn_series=None,
tst_series=None,
target=None,
min_samples_leaf=1,
smoothing=1,
noise_level=0):
assert len(trn_series) == len(target)
assert trn_series.name == tst_series.name
temp = pd.concat([trn_series, target], axis=1)
# Compute target mean
averages = temp.groupby(by=trn_series.name)[target.name].agg(["mean", "count"])
# Compute smoothing
smoothing = 1 / (1 + np.exp(-(averages["count"] - min_samples_leaf) / smoothing))
# Apply average function to all target data
prior = target.mean()
# The bigger the count the less full_avg is taken into account
averages[target.name] = prior * (1 - smoothing) + averages["mean"] * smoothing
averages.drop(["mean", "count"], axis=1, inplace=True)
# Apply averages to trn and tst series
ft_trn_series = pd.merge(
trn_series.to_frame(trn_series.name),
averages.reset_index().rename(columns={'index': target.name, target.name: 'average'}),
on=trn_series.name,
how='left')['average'].rename(trn_series.name + '_mean').fillna(prior)
# pd.merge does not keep the index so restore it
ft_trn_series.index = trn_series.index
ft_tst_series = pd.merge(
tst_series.to_frame(tst_series.name),
averages.reset_index().rename(columns={'index': target.name, target.name: 'average'}),
on=tst_series.name,
how='left')['average'].rename(trn_series.name + '_mean').fillna(prior)
# pd.merge does not keep the index so restore it
ft_tst_series.index = tst_series.index
return add_noise(ft_trn_series, noise_level), add_noise(ft_tst_series, noise_level)
In [104]:
data.columns
Out[104]:
In [105]:
col_to_encode = ['市场车型','所购买省份','所购买公司','行业','省份','城市']
In [106]:
for col in col_to_encode:
train_encoded, test_encoded = target_encode(train[col],
test[col],
target=train['车款评级'],
min_samples_leaf=100,
smoothing=10,
noise_level=0.01)
train[col] = train_encoded
test[col] = test_encoded
接下来对其它有阶级区分度的特征进行标签编码（label encoding），他们之间是有顺序的，例如：大学本科 $>$ 大专，所以前者编码为1，后者为0
In [107]:
train['品牌'] = train['品牌'].replace({'大众':1,'斯柯达':0})
test['品牌'] = test['品牌'].replace({'大众':1,'斯柯达':0})
In [108]:
train['职位'] = train['职位'].replace({'不想说/不愿回答':0,
'其它':1,
'自由职业者':2,
'事业单位/政府职员或官员':3,
'一般职员/技术人员':4,
'专业人士':5,
'部门经理/主管/高级技术人员':6,
'总裁/总经理/总监/企业高管':7,
'公司拥有者（老板）/合伙人':8})
test['职位'] = test['职位'].replace({'不想说/不愿回答':0,
'其它':1,
'自由职业者':2,
'事业单位/政府职员或官员':3,
'一般职员/技术人员':4,
'专业人士':5,
'部门经理/主管/高级技术人员':6,
'总裁/总经理/总监/企业高管':7,
'公司拥有者（老板）/合伙人':8})
In [109]:
train['教育程度'] = train['教育程度'].replace({'不想说/不愿回答':0,
'其它':1,
'初中':2,
'高中':3,
'大专':4,
'本科':5,
'硕士':6,
'博士及以上':7})
test['教育程度'] = test['教育程度'].replace({'不想说/不愿回答':0,
'其它':1,
'初中':2,
'高中':3,
'大专':4,
'本科':5,
'硕士':6,
'博士及以上':7})
In [110]:
train['性别'] = train['性别'].replace({'女':0,'男':1})
test['性别'] = test['性别'].replace({'女':0,'男':1})
In [111]:
train.columns
Out[111]:
In [112]:
train['是否拥有驾照'] = train['是否拥有驾照'].replace({'N':0,'Y':1})
test['是否拥有驾照'] = test['是否拥有驾照'].replace({'N':0,'Y':1})
In [113]:
train['性别'] = train['性别'].replace('没有回答',np.nan)
test['性别'] = test['性别'].replace('没有回答',np.nan)
In [114]:
train['性别'] = train['性别'].fillna(method = 'ffill')
test['性别'] = test['性别'].fillna(method = 'ffill')
In [115]:
train.head()
Out[115]:
In [116]:
test.head()
Out[116]:
EDA¶
In [117]:
train.columns
Out[117]:
In [118]:
plt.figure(figsize=(20,7))
col = ['市场车型', '开票价格', '品牌', '所购买省份', '所购买公司', '价格差异', '时间差异', '车款评级', '购买年份',
'购买月份', '购买日', '性别', '教育程度', '职位', '行业', '家庭年收入', '家庭成员人数', '是否拥有驾照',
'省份', '城市', '年龄']
sns.heatmap(train[col].corr(), cmap = 'Blues',linewidths = 0.1,annot = True)
Out[118]:
通过热图可以发现特征之间的相关性，很明显，车款评级和市场车型、开票价格、购买年份等因素较为相关。
In [119]:
plt.figure(figsize = [12,8])
sns.lmplot(x = "购买年份", y = "开票价格", data = train, hue = '车款评级', palette="Set1", scatter_kws = {"alpha":0.3})
Out[119]:
可看出等级越高的车，随着购买年份的推移，开票价格也越贵。
In [120]:
plt.figure(figsize = [12,8])
sns.lmplot(x = "职位", y = "行业", data = train, hue = '车款评级', palette="Set1", scatter_kws = {"alpha":0.3})
Out[120]:
可看出评级最低和最高的两款车型下，客户的职位和行业相关度最高。
下面对数据进行归一化
In [121]:
train.columns
Out[121]:
In [122]:
scaler = StandardScaler()
feature_col = ['市场车型', '开票价格', '品牌', '所购买省份', '所购买公司', '价格差异', '时间差异', '购买年份',
'购买月份', '购买日', '性别', '教育程度', '职位', '行业', '家庭年收入', '家庭成员人数', '是否拥有驾照',
'省份', '城市', '年龄']
train_scale = pd.DataFrame(scaler.fit_transform(train.drop(['车款评级'], axis=1)), columns = feature_col)
test_scale = pd.DataFrame(scaler.transform(test.drop(['车款评级'], axis=1)), columns = feature_col)
XGBoost 建模¶
In [123]:
train_scale
Out[123]:
In [124]:
train['车款评级'].values
Out[124]:
In [125]:
train_scale['车款评级'] = train['车款评级'].values
In [126]:
X = train_scale.drop('车款评级',axis=1)
y = train["车款评级"]
In [127]:
def modelfit(alg, dtrain, predictors, useTrainCV=True, cv_folds=5, early_stopping_rounds=50, target = '车款评级'):
'''
alg: 算法
dtrain: 训练集包含target
predictors: 特征column
'''
if useTrainCV:
xgb_param = alg.get_xgb_params()
xgtrain = xgb.DMatrix(dtrain[predictors].values, label=dtrain[target].values)
cvresult = xgb.cv(xgb_param, xgtrain, num_boost_round=alg.get_params()['n_estimators'], nfold=cv_folds,
metrics='mlogloss', early_stopping_rounds=early_stopping_rounds)
alg.set_params(n_estimators=cvresult.shape[0])
#Fit the algorithm on the data
alg.fit(dtrain[predictors], dtrain[target],eval_metric='mlogloss')
#Predict training set:
dtrain_predictions = alg.predict(dtrain[predictors])
dtrain_predprob = alg.predict_proba(dtrain[predictors])[:,1]
#Print model report:
print ("\nModel Report")
print ("Accuracy : %.4g" % metrics.accuracy_score(dtrain[target].values, dtrain_predictions))
print(confusion_matrix(dtrain_predictions,dtrain[target].values))
print(classification_report(dtrain_predictions,dtrain[target].values))
pd.DataFrame(alg.predict_proba(dtrain[predictors])).plot()
plt.show()
sns.heatmap(pd.DataFrame(confusion_matrix(dtrain_predictions,dtrain[target].values)), annot=True, cmap='inferno', fmt="d")
plt.show()
feat_imp = pd.Series(alg.get_booster().get_fscore()).sort_values(ascending=False)
feat_imp.plot(kind='bar', title='Feature Importances')
plt.ylabel('Feature Importance Score')
In [128]:
predictors = [x for x in train_scale.columns[:-1]]
xgb1 = XGBClassifier(
learning_rate =0.1,
n_estimators=60,
max_depth=4,
min_child_weight=1,
gamma=0,
subsample=0.8,
colsample_bytree=0.8,
objective= 'multi:softmax',
num_class = 7,
nthread=4,
seed=2)
modelfit(xgb1, train_scale, predictors, target = '车款评级')
根据XGBoost的分类结果，准确度达到了99%，意味着我们能较为准确地通过对客户的数据特征，对其可能会回购的车款级别做出预测，并且准确率达到99%。
例如：我们知道了客户的第一次购车价格，购车的时间差，所处行业等等信息，可以来推测他们可能会购买的车型，如果分到了第2等级的车款，我们会从此等级的车里为其推荐，并根据每款车的销量加权，首推排名前5的车款进行推荐。
客户服务分析
In [129]:
df_service_request.shape
Out[129]:
客户服务数据仅有1447条，之前的两个数据都是3300条以上，所以很难将其合并，会丢失掉很多数据，也说明50%的客户没有申请服务
In [130]:
df_service_request.columns
Out[130]:
In [131]:
mypie(df_service_request,'服务品牌')
# 服务品牌为大众和斯柯达
In [132]:
mypie(df_service_request,'工单状态')
# 处理完成比例高达98%，说明服务效果很好，客户满意度不错。
In [133]:
mypie(df_service_request,'性质分类')
# 咨询业务占比达到84%，投诉比例仅占15.1%，说明客户反馈相对不错
In [134]:
mypie(df_service_request,'业务分类')
# 业务主要集中在流转、分配以及售后，所以有必要提升工单的流转分配效率，84%的业务都来自于此。
In [135]:
mypie(df_service_request,'工单一级分类')
# 工单一级分类主要包括大众俱乐部相关业务、维修保养以及产品技术。技术问题的服务仅占10%，而关于大众俱乐部相关事宜占比接近30%，可能需要更多相关业务支持。
In [136]:
mypie(df_service_request,'工单二级分类')
# 工单二级分类主要包括保修问题、大众售后以及配件问题，由于斯柯达的业务比重相对较小，工单二级分类也仅占3.3%，位列最后。
In [137]:
mypie(df_service_request,'工单三级分类')
# 关于工单三级分类，30%左右的问题是关于订货和配件问题，其他问题基本均匀分布，都是关于不同型号的汽车问题。
我认为通过对客户反馈的统计分析，能更好的了解客户偏好和业务侧重点，能够更好的流转和分配。
Summary¶
客户（车主）回购数据囊括了其市场车型、购买日期、开票价格、所购地址等等。我通过数据分析、数据挖掘以及机器学习建模，对客户的重购可能购买的车款进行评级和预测，最终，我得出的结论如下：
- 6747位客户有重购行为，486位顾客暂未重购，且销量最好的车是全新帕萨特（11.33%）。
- 重购车辆的价格会比首购平均高出46000元左右，变化量的中位数在7000元左右，最大价格差在220左右，最小则为-48万左右，差异变动很大，但整体成正态分布。
- 当天重购和当月重购的比率接近（4%），而大部分客户选择在第一年内重购（16%），在第二、三、四、五年里重购的比重也十分相似（11%），之后重购率稳步下降。
- 一共有76种不同车型，平均价格在18万3千元左右，我根据对价格的分析结果对其进行评级（共7个等级），从而为后面机器学习的分类任务埋下伏笔。
- 通过连接客户基本信息数据和客户回购信息数据进行信息交互，整合出了3120条有效数据以及21个有效特征。
- 对新数据进行数据分析、特征工程、数据转换以及利用XGBoost算法对数据根据车款评级分类进行建模，最终模型准确率达到99%，并可以通过评级内车款的销量加权得到相应的回购概率，筛选前五中车款进行推荐。
- 客服数据一共1447条，57列，其中很多特征并不适合对回购情况进行分析，而且合并会丢失将近50%的客户信息。
- 根据工单一级到三级的业务占比，主要都是集中在大众品牌上的俱乐部事宜、维修、保修、配件以及订单问题，而且工单流转分配效率较高。