ロードマップ3 ex.002:前提箇所の処理詳細

# f3Ftol3Fは、最初の3Fと上り3Fのペースタイム情報が入っているので、expandで二つに分ける
df_l3Ftol3F = df["f3Ftol3F"].str.extract(
    r"(\d+\.\d)-(\d+\.\d)", expand=True).astype(
        {0: float, 1:float}).rename(columns={0: "f3F", 1: "l3F"})
# 速度情報の追加
df_l3Ftol3F[["f3F_vel", "l3F_vel"]] = 60*600/df_l3Ftol3F.values

# 元のDFに統合
df = pd.concat([df, df_l3Ftol3F], axis=1)

# ペース情報は、一旦リストのままで処理する
df["rapTime"] = df["rapTime"].apply(lambda data: [float(d.strip()) for d in data.split("-")])
df["rapSumTime"] = df["rapSumTime"].apply(
    lambda data: [float(d.strip()) for d in data.split("-")])

df["rapTime_vel"] = df["rapTime"].apply(lambda data_list: (60*200/np.array(data_list)).tolist())
df["rapSumTime_vel"] = df["rapSumTime"].apply(
    lambda data_list: [60*200*i/d for i, d in enumerate(data_list, start=1)])

# 走破速度
df["velocity"] = 60*df["distance"] / df["time"]
# 上り3Fの速度
df["last3F_vel"] = 60*600 / df["last3F"]
# 上り3Fに至るまでの速度
df["toL3F_vel"] = 60*(df["distance"]-600) / (df["time"]-df["last3F"])

# かなり強引だが以下のようなfor文で、最大4コーナー分の通過順位を出せる
# ポイントは、DFのfor文を回す前にnumpyのarrayに変換している

expand_pass_label_list = []
for hNum, passLabel in df[["horseNum", "passLabel"]].values:
    insert_data = {f"label_{i}C": None for i in range(1, 5)}
    # passLabelを文字列分割してinsert_dataのDictにデータを入れる。
    # ４コーナー分ないものはNoneのまま入る
    for num, d in enumerate(passLabel.split("-"), start=1):
        insert_data[f"label_{num}C"] = int(d)/hNum
    expand_pass_label_list += [insert_data.copy()]
# 統合できるようにDF化
dfpass = pd.DataFrame(expand_pass_label_list)
# 元のDFに統合
df = pd.concat([df, dfpass], axis=1)

# 最終着順(走破タイム順)も出走馬数で割る
df["label_rate"] = df.groupby("raceId")["time"].rank() / df["horseNum"]

# 最終コーナー通過時の値のみを取り出す
df["label_lastC"] = df[["passLabel", "horseNum"]].apply(
        lambda row: int(row["passLabel"].split("-")[-1].strip())/row["horseNum"], axis=1)

# 最終コーナー通過時と最終着順との差を計算
df["label_diff"] = df["label_rate"] - df["label_lastC"]

# カテゴリ分けする関数を作成して、map関数で変換する
def sort_category(dist):
    if dist > 2700:
        return "E"
    if dist > 2100:
        return "L"
    if dist > 1899:
        return "I"
    if dist > 1300:
        return "M"
    return "S"

df["dist_cat"] = df["distance"].apply(sort_category)

# 1. placeカラムのエンコード
df["pId"] = df["raceId"].apply(lambda d: int(d[4:6]))
place_encode = {key: val-1 for key,
                val in df.set_index("place")["pId"].to_dict().items()}
del df["pId"]
df["place_en"] = df["place"].map(place_encode)

# 2. fieldカラムのエンコード
df["field_en"] = df["field"].map({"芝": 0, "ダ": 1,})

# 3. sexカラムのエンコード
df["sex_en"] = df["sex"].map({"牡": 0, "牝": 1, "セ": 2})

# 4. conditionカラムのエンコード：順序尺度
df["condition_en"] = df["condition"].map({"良": 3, "稍重": 2, "重": 1, "不良": 0})

# 5-6. jockeyIdカラムとteacherIdカラムをまとめてエンコード
for col in ["jockeyId", "teacherId"]:
    encoder_map = {
        val: num for num, val in enumerate(df[col].unique())}
    df[col+"_en"] = df[col].map(encoder_map)

# 7. dist_catカラムのエンコード：順序尺度
df["dist_cat_en"] = df["dist_cat"].map({"S": 0, "M": 1, "I": 2, "L": 3, "E": 4})


# 最後にエンコードしたカラムをすべてcategory型に変換する
for col in ["place", "field", "sex", "condition", "jockeyId", "teacherId", "dist_cat"]:
    target_col = col + "_en"
    df[target_col] = df[target_col].astype("category")

# 次回以降も使うため、バイナリで残しておく
load_dir = pathlib.Path("./data/data_prep")

with open(load_dir/"process5_to_8.pkl", "wb") as f:
    pickle.dump(df, f)