留存率=新增用户中登录用户数/新增用户数*100%（一般统计周期为天）

新增用户数：在某个时间段（一般为第一整天）新登录应用的用户数；

登录用户数：登录应用后至当前时间，至少登录过一次的用户数；

第N日留存：指的是新增用户日之后的第N日依然登录的用户占新增用户的比例

第1日留存率（即“次留”）：（当天新增的用户中，新增日之后的第1天还登录的用户数）/第一天新增总用户数；

第3日留存率：（当天新增的用户中，新增日之后的第3天还登录的用户数）/第一天新增总用户数；

第7日留存率：（当天新增的用户中，新增日之后的第7天还登录的用户数）/第一天新增总用户数；

第30日留存率：（当天新增的用户中，新增日之后的第30天还登录的用户数）/第一天新增总用户数；

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import plotly
import plotly.graph_objects as go
import csv
import os
import warnings

os.getcwd()


plt.rcParams["font.family"] = "SimHei"
plt.rcParams["axes.unicode_minus"] = False
plt.rcParams.update({"font.size":15})
plt.style.use("seaborn-darkgrid")

warnings.filterwarnings("ignore")


os.chdir(r"H:\大数据分析\用户行为分析")

# 数据读入
dt = pd.read_csv("./tianchi_mobile_recommend_train_user/tianchi_mobile_recommend_train_user.csv",dtype=str)

print(dt.shape)

print(dt.columns)
# user_id  用户id      item_id  商品id   
# behavior_type  用户行为类别（1：点击，2：收藏，3：加入购物车，4：支付）  
# user_geohash  用户地理位置    item_category 商品所属品类  
# time  用户行为发生的时间

print(dt.sample(5))

print(dt.apply(lambda x: sum(x.isnull()) / len(x), axis=0))

print(dt.user_geohash.isnull().sum())

# 日期时间数据处理,从抽样的5份数据看出，time字段包含日期及小时，这儿对日期与小时作拆分
dt['date'] = dt['time'].str[0:10]
dt['hour'] = dt['time'].str[11:]
print(dt.sample(5))

print(dt.info())

# 更改time、date为日期型数据，hour为int型数据
dt['date'] = pd.to_datetime(dt['date'])
dt['time'] = pd.to_datetime(dt['time'])
dt['hour'] = dt['hour'].astype('int')
print(dt.info())

dt.sort_values(by="time", ascending=True, inplace=True)
dt.reset_index(drop=True, inplace=True)
dt.describe(include="all")

# 用户总量
totle_num = dt["user_id"].drop_duplicates().count()

# 日pv ： 记录每天用户访问次数
pv_d = dt.groupby("date").count()["user_id"]

pv_d.name="pv_d"

pv_d.index.name

# 日uv : 记录每日上线的用户数
uv_d = dt.groupby('date')["user_id"].apply(
    lambda x: x.drop_duplicates().count())

uv_d.name = “uv_d”
uv_d

# 合并uv_d与pv_d
pv_uv_d = pd.concat([pv_d, uv_d], axis=1)

# 查看pv_d与uv_d间的相关系数
method = ["pearson", "spearman"]
for i in method:
    corr = pv_uv_d.corr(method=i)
    print(f"{i}相关系数：{corr.iloc[0,1]:.3f}")

plt.rcParams["font.family"] = "SimHei"
plt.figure(figsize=(16, 9))
plt.subplot(211)
plt.plot(pv_d,c="m",label="pv")
plt.legend()
plt.subplot(212)
plt.plot(uv_d, c="c",label="uv")
plt.legend()
plt.suptitle("PV与UV变化趋势", size=25)

plt.show()

# pv_h 记录每天中各小时访问次数
pv_h = dt.groupby(["date","hour"]).count()["user_id"]

pv_h.name = "pv_h"
pv_h.head()

# uv_h 记录每天中各小时访问用户数
uv_h = dt.groupby(["date", "hour"])["user_id"].apply(lambda x: x.drop_duplicates().count())

uv_h.name = "uv_h"
uv_h.sample(5)

# 合并uv_h与pv_h
pv_uv_h = pd.concat([pv_h, uv_h], axis=1)
pv_uv_h.sample(5)

pd.MultiIndex.to_frame(pv_h.index)

# 查看pv_h与uv_h间的相关系数
method = ["pearson", "spearman"]
for i in method:
    corr = pv_uv_h.corr(method=i)
    print(f"{i}相关系数：{corr.iloc[0,1]:.3f}")

# 对某天不同时间的pv，uv变化趋势进行可视化
# 以2014-12-12为例
plt.figure(figsize=(16, 9))
plt.subplot(211)
plt.plot(pv_h.loc["2014-12-09"].values.tolist(), lw=3, label="每小时访问量")
plt.xticks(range(0, 24))
plt.legend(loc=2)
plt.subplot(212)
plt.plot(uv_h.loc["2014-12-09"].values.tolist(), c="c", lw=3, label="每小时访问客户数")
plt.suptitle("PV与UV变化趋势", size=22)
plt.xticks(range(0, 24))
plt.legend(loc=2)
plt.show()

# 计算不同行为的用户，在每小时的访问量
d_pv_h = pd.pivot_table(columns="behavior_type",
                        index=["hour"],
                        data=dt,
                        values="user_id",
                        aggfunc=np.size)

d_pv_h.sample(10)

d_pv_h.rename(columns={"1": "点击", "2": "收藏", "3": "加购物车", "4": "支付"})

plt.figure(figsize=(10, 4))
sns.lineplot(data=d_pv_h, lw=3)
plt.show()

plt.figure(figsize=(10, 4))
sns.lineplot(data=d_pv_h.iloc[:, 1:], lw=3)
plt.show()

# 计算各类行为间的流失率
d_pv_h["1-2流失率"] = (d_pv_h.iloc[:, 0] - d_pv_h.iloc[:, 1]) / d_pv_h.iloc[:, 0]
d_pv_h["1-3流失率"] = (d_pv_h.iloc[:, 0] - d_pv_h.iloc[:, 2]) / d_pv_h.iloc[:, 0]
d_pv_h["2-4流失率"] = (d_pv_h.iloc[:, 1] - d_pv_h.iloc[:, 3]) / d_pv_h.iloc[:, 1]
d_pv_h["3-4流失率"] = (d_pv_h.iloc[:, 2] - d_pv_h.iloc[:, 3]) / d_pv_h.iloc[:, 2]

print(d_pv_h)

# 获取有支付行为的客户信息
plt.figure(figsize=(10, 8))
plt.subplot(211)
sns.lineplot(data=d_pv_h.iloc[:, 4:6], lw=3)
plt.subplot(212)
sns.lineplot(data=d_pv_h.iloc[:, 6:], lw=3)
plt.show()

dt_buy = dt[dt.behavior_type=="4"]

dt_buy.sample(5)

# 获取客户消费次数
buy_c = dt_buy.groupby("user_id").size()
buy_c.sample(10)

buy_c.describe()

plt.hist(x=buy_c,bins=100)
plt.show()

plt.hist(x=buy_c[buy_c.values<=30],bins=10)

# 人均消费次数 = 消费总次数 / 消费总人次数
dt_arppu = dt[dt.behavior_type == "4"].groupby(
    ["date", "user_id"])["behavior_type"].count().reset_index().rename(
        columns={"behavior_type": "buy_count"})

dt_arppu.sample(10)

dt_arppu.describe()

# ARPPU = 每日消费总次数除以消费总人数
ARPPU = pd.DataFrame(
    dt_arppu.groupby("date").sum()["buy_count"] /
    dt_arppu.groupby("date").count()["buy_count"]).rename(
        columns={"buy_count": "ARPPU"})

ARPPU.describe()

ARPPU.plot()

# 新增一列以便记录各行为次数
dt["behavior_count"] = 1

dt.sample(3)

dt_arpu = dt.groupby(["date", "user_id", "behavior_type"
                      ])["behavior_count"].count().reset_index()

dt_arpu.sample(10)

ARPU = dt_arpu.groupby("date").apply(
    lambda x: x[x.behavior_type == "4"].sum()/len(x.user_id.unique()))
ARPU.describe()
ARPU.plot()

# 从此份数据中我们不嫩得到淘宝总用户数，故使用活跃用户总数代替总用户数
rate_pay = dt_arpu.groupby("date").apply(lambda x: x[
    x.behavior_type == "4"].count() / len(x.user_id.unique())).iloc[:, 1]
rate_pay.plot()

rate_pay.describe()

pay_f = dt[dt.behavior_type=="4"].groupby(["user_id","date","hour"])["behavior_count"].sum()

sns.distplot(pay_f)

pay_f.describe()

pay_f.mode()

# 每个用户在不同日期购买总次数
dt_rebuy = dt[dt.behavior_type == "4"].groupby('user_id')["date"].apply(
    lambda x: len(x.unique())).rename("rebuy_count")

dt_rebuy.sample(5)

print("复购率为：%.3f"%(dt_rebuy[dt_rebuy>=2].count()/dt_rebuy.count()))

# 计算不同时间(天），不同用户的购买次数
dt_buy_d = dt[dt.behavior_type == "4"].groupby(
    ["user_id", "date"])["behavior_count"].count().reset_index()

dt_buy_d.sample(10)

# 不同用户购物时间间隔
dt_buy_d["d_diff"] = dt_buy_d.groupby("user_id").date.apply(
    lambda x: x.sort_values().diff(1)).map(lambda x:x.days)
dt_buy_d.describe()

# 绘图
dt_buy_d.iloc[:,-1].dropna().value_counts().plot(kind="bar")
plt.xlabel("day_diff")
plt.ylabel("count")

Text(0, 0.5, 'count')

# 不同用户平均复购时间
sns.distplot(dt_buy_d.groupby("user_id").d_diff.mean().dropna())

dt_buy_d.quantile(np.linspace(0,1,11)).iloc[:,1]

dt_c = dt.groupby("behavior_type").size()

print("从点击到收藏流失率为%.3f" % ((dt_c[0] - dt_c[1]) * 100 / dt_c[0]))

print("从点击到加购物车流失率为%.3f" % ((dt_c[0] - dt_c[2]) * 100 / dt_c[0]))

print("从加购物车到支付流失率为%.3f" % ((dt_c[2] - dt_c[3]) * 100 / dt_c[2]))

print("从加收藏到支付流失率为%.3f" % ((dt_c[1] - dt_c[3]) * 100 / dt_c[2]))

# 参考时间
from datetime import datetime
datenow = datetime(2014, 12, 19)

# 每位用户最近的购买时间
recently_pay_time =  dt[dt.behavior_type == "4"].groupby("user_id").date.apply(
    lambda x: datenow - x.sort_values().iloc[-1])

recently_pay_time = recently_pay_time.rename("recent")
recently_pay_time = recently_pay_time.reset_index()
recently_pay_time.recent = recently_pay_time.recent.map(lambda x: x.days)
recently_pay_time.head(5)

# 每位用户消费频率
buy_freq = dt[dt.behavior_type == "4"].groupby("user_id").date.count().rename(
    "freq").reset_index()

buy_freq.head()

# 因为只有31天的数据，所以这儿只基于等频分段，简单的将R、F分为两个等级(分数越高越好)
RFM = pd.merge(recently_pay_time,buy_freq,on="user_id",how="outer")
RFM["R_value"] = pd.qcut(RFM["recent"],2,labels=["2","1"])
RFM["F_value"] = pd.qcut(RFM["freq"],2,labels=["1","2"])
RFM["RFM"] = RFM["R_value"].str.cat(RFM["F_value"])

RFM.head()