240404목_TIL

애니메이션 데이터 셋

으로 추천 알고리즘 공부

 

https://www.kaggle.com/datasets/dbdmobile/myanimelist-dataset/data

Anime Dataset 2023

장르 추출

genre_tag_dict={}
genre_list=[]

for s in raw_data_anime.Genres.str.split(','):
    if type(s)==type(0.1):
        continue

    for g in s:
        genre_tag_dict[g]=0

for key, val in genre_tag_dict.items():
    genre_list.append(key)

tag_list=tag_list.tolist()
tag_list+=genre_list
genre_list

 

해당 장르가 포함될 경우 1/ 아닌 경우 0

for g in genre_list:
    raw_data_anime[g]=np.where(raw_data_anime.Genres.str.find(g)!=-1,1,0)

data_ani=raw_data_anime.drop(columns=["Genres"])
data_ani=data_ani.set_index("anime_id")
data_ani

 

 

각 행간의 유사도 계산

-자카드 유사도

def jaccard_similarity(row1, row2):
    intersection = sum((row1 != 0) & (row2 != 0))  # 교집합의 크기를 계산합니다.
    union = sum((row1 != 0) | (row2 != 0))  # 합집합의 크기를 계산합니다.
    return intersection / union if union != 0 else 0  # 자카드 유사도를 계산하고 반환합니다.

# 모든 애니메이션 간의 자카드 유사도를 계산합니다.
jaccard_similarity_matrix = data_ani.apply(lambda row1: data_ani.apply(lambda row2: jaccard_similarity(row1, row2), axis=1), axis=1)

 

def find_similar_anime(anime_id, similarity_matrix, top_n=5):
    """
    주어진 애니메이션과 비슷한 유형의 애니메이션을 찾는 함수

    :param anime_id: 비교하고자 하는 애니메이션의 ID
    :param similarity_matrix: 애니메이션 간의 유사도 행렬
    :param top_n: 반환할 유사한 애니메이션의 수 (기본값: 5)
    :return: 유사한 애니메이션의 ID 및 유사도
    """
    # 주어진 애니메이션과의 유사도 행렬에서 해당 애니메이션의 행을 가져옴
    similarity_row = jaccard_similarity_matrix.loc[anime_id]

    # 유사도를 기준으로 내림차순으로 정렬하여 상위 top_n개를 선택
    similar_anime = similarity_row.sort_values(ascending=False)[1:top_n+1]

    return similar_anime


# 예시: 애니메이션 ID가 1인 애니메이션과 유사한 상위 5개 애니메이션 찾기
similar_anime = find_similar_anime(anime_id=1, similarity_matrix=jaccard_similarity_matrix, top_n=5)
print("애니메이션 ID가 1인 애니메이션과 유사한 상위 5개 애니메이션:")
print(similar_anime)

 

애니메이션 ID가 1인 애니메이션과 유사한 상위 5개 애니메이션:
anime_id
6     0.714286
92    0.571429
95    0.555556
97    0.500000
86    0.500000
Name: 1, dtype: float64

 

 

코사인 유사도, svd 알고리즘도 내일 탐색해보기

자카드 유사도 1000개 이상 행 넘어갈때 계산이 너무 오래 걸리는 문제. 

 

 

 

AttributeError: 'DataFrame' object has no attribute 'iteritems'

Truncated SVD

 

iteritems ==>판다스 2.0 이전 버전에서만 사용가능

 

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed

자카드 유사도

 

[NLP] 문서 유사도 분석: (3) 자카드 유사도(Jaccard Similarity)

모든 행 출력

[Pandas] 5. 데이터프래임(DataFrame) 모든 행, 모든 열 출력하기

 

 

 

내일 전처리 부분. job description의 hard skill 추출// 

유사도 계산 방식 탐색. 

//open api 사용법 공부