TITLE: 좋은 추천, 잘 맞는 추천, 새로운 추천
YOUTUBE LINK : https://www.youtube.com/live/tibwAh1t2UI?feature=share
Table of contents
FULL SCRIPT
네 안녕하세요 여러분 저녁 시간 기한 시간 4시여서 업스테이지 토크에 참여해주셔서 감사합니다 저는 오늘 토크 진행을 맡게 된 업스테이지 마케팅 팀의 김나연이라고 합니다 제가 지난주에 코로나 걸렸어서 목소리가 조금 안좋을 수도 있는데 이 점 양해 부탁드립니다 네 오늘 업스테이지 토크에 처음 오신 분들도 많으실 텐데요 업스테이지 토크는 테크, 비즈니스, 인사이트, 커리어를 주제로 AI 기술 관련한 다양한 시각의 인사이트를 제공해 드리고 있는 토크입니다 오늘은 렉시스 2022 학계의 논문 저자 분들과 직접 다녀오신 분의 소개로 보는 다양한 추천 시스템 방법론에 대한 인사이트를 제공하는 시간으로 준비했습니다 시작하기에 앞서서 여러분이 추천 시스템에 왜 관심을 갖고 계시는지에 대한 질문을 한번 해보고자 합니다 누군가 왜 좋은 추천 시스템을 만들려고 하세요?
라고 묻는다면 뭐라고 대답하시겠어요?
이게 일이라서요, 매출을 올려야 하니까요, 같은 대답을 들을 수도 있을 것 같은데요 업스테이지에서도 저희 제품 AI 팩 중 하나인 검색 추천 팩을 만들면서 왜 추천인가에 대한 고민들을 했었습니다 좋은 추천 시스템을 구축해야 하는 이유, 냉철한 비즈니스 세계의 계산으로 보자면 물론 매출 중대가 가장 크겠죠 하지만 좋은 추천, 잘 맞는 추천은 그뿐만이 아니라 고객 가치, 브랜드, 신뢰에 대한 이야기라고 생각합니다 제대로 된 추천은 고객이 브랜드에 대한 신뢰 자체를 높여줘서 다음번에도 믿고 그 브랜드를 다시 찾을 수 있게 합니다 다양한 추천은 고객에게 즐거움 자체를 선사할 수도 있고 빠른 정확한 추천으로 고객의 시간을 아껴줄 수도 있으니까요 현재 인기 트렌드인 것을 보여주면 되지 않나 라고 하기에는 추천에는 생각보다 더 많은 기술과 가치들이 담겨 있습니다 추천은 단순히 숫자 데이터만 보는 일이 아닌 그 속에 가치를 더 만들어내는 중요한 일이라고 생각을 합니다 이에 공감하시기에 오늘 많은 분들이 업스테이지 토크에 함께 해주셨다고 생각을 하고 많은 인사이트를 얻어 가실 수 있는 시간이었으면 좋겠습니다 실시간 질문을 올려주시면 세션이 끝날 때마다 있을 Q&A에서 답변을 드리도록 하겠습니다 다만 오늘 세션이 3개가 준비되어 있기 때문에 시간관계상 한두 개 정도의 질문만은 라이브에서 답변을 드릴 예정이고 그 외에 질문들은 연사 분들을 통해 그리고 저희 업스테이지 추천 엔지니어분들을 통해서 랩업 이메일을 통해서 서면으로 답변을 전달을 드리도록 하겠습니다 참석해주신 분들께 많은 인사이트를 드릴 수 있는 시간이 되었으면 하는 마음으로 준비했으니 끝까지 많은 참석을 부탁드립니다 살짝 늦게 참석하시는 분들을 위해서 앞에 소개를 한번 길게 가져왔는데요 이제 진짜 이벤트의 시작인 첫 번째 세션을 소개합니다 추천 시스템은 유저가 동일하게 좋아하는 아이템이더라도 학습 데이터에 더 많이 포함된 인기 있는 아이템에 대해 더 높은 추천 점수를 예측하는데요 추천 시스템의 정확도를 거의 유지하면서 인기 편향을 줄이는 방법에 대한 논문을 소개해 주실 이원도 님을 화면에 올려드리면서 저는 이만 내려가 보도록 하겠습니다 네 안녕하세요 발표 시작해 보겠습니다 네 안녕하세요 저는 서울대 지능정보융합학과 석사과정 이원도입니다 네 다시 한번 소개를 하면 저는 서울대 융합과학기술대학원 지능정보융합과에 재학중이고 서봉원 교수님, 지도 교수님이신 휴먼센터드 컴퓨팅 랩에서 석사과정 사학위재입니다 저는 저의 연구 관심사는 추천 시스템 데이터 분석 유저 모델링이고 렉시스 2022 논문을 게재하게 되어서 이에 대해서 발표드리겠습니다 순서는 이와 같습니다 처음으로 이제 제가 발표한 렉시스에서 발표한 논문을 소개 드리고 두 번째로는 저의 제 개인적인 석사생활 때 추천 시스템 연구를 접근 방향에 대해서 설명드리겠습니다 제가 아무래도 학생이다 보니 좀 실무적인 추천 시스템의 운영과 다소 거리가 있을 수 있다는 점 말씀드리면서 발표 시작해 보겠습니다 처음에 연구 소개인데요 대목은 Comparing Popularity Bias by Regularizing Score Differences 이고 저와 컴퓨터공학부 조성민님, 지능정보융합학과 석우원 교수님이 저자입니다 세 줄 요약을 먼저 하면 방금 나연님께서도 설명해 주신 것처럼 추천 시스템 예측은 인기 편향을 보이는 게 문제이고 이를 해결하기 위해서 손실함수에 제어함을 추가하는 방법을 사용해 봤습니다 평가를 하자면 제안 방법은 효과적이었다고 우선 요약을 하고 시작할 수 있겠습니다 그러면 이제 나아가서 인기 편향이 무엇이고 어떤 해결 방법을 썼는지 설명 드릴 건데요 먼저 추천 시스템의 전반적 학습에 대해서 기본으로 설명드리겠습니다 추천 시스템은 유저가 어떤 아이템을 소비했는지 정보를 가지고 학습을 하고 학습을 한 다음에 추천 시스템은 어떤 아이템에 대해서 유저의 선호점수를 예측해 선호점수가 가장 높은 아이템을 해당 유저에게 추천합니다 이를 행렬 형태로 나타내면 아래와 같습니다 즉 유저가 어떤 아이템을 소비했는지의 정보를 행렬으로 표현하고 행렬의 빈칸 부분에 유저가 얼마나 좋아하는지 점수를 추천 시스템 모델 학습하여 예측을 하는 것입니다 학습에 대해서 좀 더 살펴봐서 유저 u가 소비한 아이템 그러니까 선호가 있다고 볼 수 있는 아이템을 positive u 그리고 유저가 소비하지 않은 아이템을 negative u 라고 표기하겠습니다 추천 시스템은 bpr loss, Bayesian pairwise ranking loss를 이용해서 모델을 학습합니다 이는 통상적으로 사용되는 손실함수이고 출식은 아래와 같이 적혀 있습니다 그래서 유저마다 유저가 소비한 positive 아이템과 소비하지 않은 negative 아이템을 샘플링해서 positive 아이템의 예측 점수가 negative 아이템의 예측 점수보다 높도록 모델은 학습이 되게 됩니다 다음으로 인기 편향에 대해서 살펴보는 것인지 설명드리겠습니다 추천 시스템에서 인기 편향은 러프하게 얘기해서 인기 있는 아이템이 많이 추천된다고 설명할 수 있겠는데 선행 연구에서 인기 편향의 의미가 다소 복합적입니다 어떤 연구는 데이터의 인기 편향에 대해서 관심을 가진데요
그래서 데이터 자체의 학습 데이터 데이터에 나타난 아이템의 빈도수가 인기도라고 할 수 있는데 이 인기도가 불평등하다는 것이고 소수의 인기 있는 아이템에 대한 소비가 많고 대다수의 아이템은 소비가 적다는 현상 자체를 문제로 삼는 논문도 있고 그리고 어떤 연구는 추천 시스템 예측에서의 인기 편향을 문제 삼아서 추천 시스템이 한 유저가 두 아이템을 모두 좋아하더라도 둘 중에서 인기도가 높은 아이템의 점수를 높게 예측하는 현상을 의미합니다 그래서 이는 문제라고 할 수 있는데 왜냐하면 유저가 두 아이템을 모두 좋아한다면 두 아이템의 점수 차이가 있을 이유가 없고 만약 이런 인기 편향이 지속이 된다면 인기도가 높은 아이템이 데이터의 비율보다 지나치게 많이 추천되어 있기 때문에 문제입니다 따라서 저의 논문은 B에 나타난 추천 시스템 예측의 인기 편향의 해소의 의미인데요 A의 인기 편향인 데이터의 인기 편향은 어느 정도 인기 있는 아이템이 있을 수 있으니까 자연스러운 현상이고 또 데이터 수집 과정에서 특정 아이템이 노출이 되는 것을 방지할 수 있는 데이터 수집 과정에서 해결해야 되는 문제라면 추천 시스템 예측의 인기 편향은 의도치 않은 알고리즘상의 문제이기 때문에 알고리즘을 개선함으로써 해결할 수 있습니다 조금 더 구체적으로 제가 의미하는 인기 편향이 무엇인지를 시각화를 해서 설명드리겠습니다 그래서 저는 데이터의 인기 편향이 추천 시스템 예측의 인기 편향을 이야기하는 것을 보여드릴 건데요 이를 위해서 먼저 아이템의 인기도가 차이가 나는 가상 데이터를 생성했습니다 그래서 이건 200 곱하기 200의 유저 아이템 행렬이고 흰색은 유저가 아이템을 소비한 그 포지티브 아이템 부분입니다 그래서 이를 통해서 그러니까 아이템의 인덱스가 0인 아이템은 모든 유저가 소비를 했으니까 가장 인기도가 높은 아이템이고 점점 인덱스가 높아질수록 유저의 소비가 줄어들고 이제 이 아이템 인덱스 200번째가 가장 인기가 없는 아이템이라고 볼 수 있습니다 이 데이터에 대해서 추천 시스템 모델을 학습을 했습니다 가장 기본적인 매트릭스 팩토라이제이션을 예시로 학습을 했는데 그 후 모델이 이제 유저 아이템에 대해서 예측한 선호 점수를 시각화해서 나타냈습니다 그럼 이에 따라서 인기 편향이 어떤 것인지 볼 수 있는데요
왜냐하면 이 삼각형이 유저가 모두 소비한 아이템인데도 좀 더 인기도가 높은 아이템이 같은 유저에 대해서 인기도가 높은 아이템이 더 높은 점수 10점에 가까운 높은 점수를 받았기 때문입니다 그래서 이 유저는 여기 있는 아이템을 모두 소비했는데 추천 시스템의 예측 점수는 여기 인기도가 높은 아이템이 점수가 가장 높고 만약에 점수별로 추천을 하게 된다면 가장 인기 아이템만 추천이 될 것이기 때문입니다 그래서 인기 편향을 조금 더 지표화해서 측정을 해보려고 할 건데요 이때 이걸 측정하기 위해서 유저의 가장 점수가 높은 포지티브 아이템이 유저의 가장 인기도가 높은 포지티브 아이템인지를 측정했습니다 그래서 분석 결과 각 유저별로 점수가 높은 아이템을 뽑았는데 그 아이템의 인기도 역시 가장 높았다는 것을 이 밑에 있는 그래프로 알 수 있습니다 그래서 200명의 유저에 대해서 그 유저들이 소비한 200명의 유저에 대해서 스코어가 가장 높은 아이템을 뽑았는데 이 스코어가 가장 높았던 포지티브 아이템들은 전부 다 여기 부분에 미친 아이템들이고 이 아이템들은 유저가 소비한 포지티브 아이템 중에 전부 다 그 인기도가 가장 높은 아이템이기 때문에 이렇게 이런 인기도 컨타일이 0에 치중된 그래프가 나타나게 된 것입니다 그래서 이 인기도 컨타일의 평균을 인기 편향을 측정하기 위한 지표로 써놨고 지금 평균을 재면 0에 가까운 수가 나타나서 높은 인기 편향을 보인다고 할 수 있습니다 만약에 이상적이라면 골고루 이게 퍼져 있어야 되고 평균을 구하면 0.5 가까이 나와야 될 것입니다 이때 추천 시스템의 인기 편향이 무엇인지를 알았으니까 해소하는 방법에 대해서 제안 드리겠습니다 제가 생각한 방법은 포지티브 아이템의 점수차를 줄이는 제어항을 손실함수에 추가한 것입니다 그래서 모티베이션이 뭐냐면 아까 살펴봤던 bpr로스라는 손실함수는 포지티브 점수를 네거티브 점수보다 크게 예측하게 학습하지만 포지티브 아이템과 점수차를 없애는 항이 있습니다 그래서 그런데 인기 편향이 나타나기 때문에 포지티브 아이템 간의 점수를 가깝게 하는 제어항을 추가하면 인기 편향이 좀 없어지지 않겠냐라는 아이디어고요 그래서 기존의 bpr로스를 유지해서 포지티브 아이템의 스코어를 높게 예측해서 정확도는 유지를 하고 그리고 추가한 제어항은 포지티브 아이템끼리 점수를 갖게 해서 편향을 감소하게 하는 것입니다 이런 것은 머신러닝의 대조학습, 컨트랙티브 러닝의 아이디어와 유사하다고 할 수 있습니다 그래서 두 가지 이런 제어항을 생각을 해봤습니다 실험을 해봤는데 첫 번째는 그냥 positive, negative 턴이라고 이름을 지어 가지고 한번 학습을 할 때 포지티브 아이템 2개와 네거티브 아이템 2개를 유저별로 샘플링 하는 것입니다 그래서 말 그대로 포지티브 아이템의 점수 차가 0에 가까울수록 노스가 작고 네거티브 아이템의 점수 차가 0에 가까울수록 노스가 작도록 텀을 구성해 가지고 추가하는 것입니다 그런데 두 번째는 제로썸 텀이라는 것을 만들어서 사용해봤는데 조금 특이하게 생기긴 했습니다 그래서 포지티브와 네거티브 아이템을 샘플링을 해서 두 스코어의 합이 0에 가깝도록 제어하는 제어항입니다 그래서 이 턴을 사용해서 포지티브와 네거티브 아이템의 페어가 랜덤 샘플링이 될 것이기 때문에 이렇게 한번 트레이닝이 될 때 포지티브와 네거티브 아이템의 스코어가 대칭적이게 될 것이고 이게 랜덤 샘플링을 토대로 포지티브 아이템의 점수가 결국에 하나의 값으로 수렴하고 네거티브 아이템의 점수가 그와 대칭되는 어떤 음수의 값으로 수렴할 것이다 라는 일단 아이디어였습니다 되면 좋고 라는 아이디어였는데 좀 더 이해하기 쉬운 1번보다 좀 더 이해하기 어려운 2번이 실제적인 효과가 더 좋아가지고 2번을 사용하게 되었습니다 그래서 아까 전에 봤었던 가상 데이터에다가 실제로 bpr로스를 베이스라인으로 하고 지금 소개했던 제어항을 각각 추가해 가지고 학습하는 것을 해보았는데요 맨 왼쪽에 있는 것은 bpr로스를 학습한 것이어서 아까 본 것이고 가운데랑 오른쪽에 있는 것이 제어항을 추가해 가지고 학습을 한 것입니다 그래서 보면은 인기 편향이 굉장히 줄어들었다는 것을 좀 직관적으로 볼 수 있습니다 그래서 여기 베이스라인에서 했을 때는 인기도가 높은 아이템의 스코어가 더 높았는데 지금은 같은 유저별로는 스코어가 동등한 것처럼 보이게 됩니다 그리고 동시에 이 포지티브 아이템의 스코어와 네거티브 아이템의 스코어가 여전히 이렇게 극명하게 포지티브 아이템의 스코어가 높게 나온 것을 볼 수 있어 가지고 정확도를 유지하면서 이렇게 인기 편향을 줄이는데 좀 효과적인 것 같다 라고 볼 수 있습니다 아까 전에 얘기했던 인기 편향을 측정하는 그래프에 대해서 이제는 각 유저마다 스코어가 가장 높은 아이템을 뽑았을 때 그 아이템의 인기도가 이렇게 좀 더 퍼져 있는 모습을 볼 수 있습니다 그래서 제한 방법은 가상 데이터에서 실험해 본 것이긴 하지만 정확도 유지와 인기 편향 감소에 효과적인 것처럼 보여서 좋습니다 다음으로는 제한 방법과 기존 편향 감소 방법을 비교를 해봤습니다 그래서 많은 기존 편향 해소 방법은 예측 점수에서 아이템의 인기도에 비례한 점수를 차감하는 단순하고 직관적인 방법을 사용합니다 밑에 있는 것 예시에서 같이 예측 모델의 예측 스코어를 한번 개선한 다음에 그냥 아이템의 인기도에 비례한 어떤 수를 빼는 것 같이 이건 예시이긴 합니다 이와 같은 방식으로 하면 인기도가 높은 아이템과 낮은 아이템의 이런 스코어 차이가 줄어들지 않겠냐 와는 같은 논리겠죠 하지만 이런 방법은 저는 다소 자귀적이고 기본적으로 사용하는 추천 시스템 모델이 달라지면 성능이 달라지거나 세로 하이버 파라미터 튜닝을 해야 된다는 단점이 있다고 비판을 했습니다 반대로 제한 방법은 추천 시스템 모델에 조금 범용적이고 직관적 논리를 띄고요 또 이와 같이 아이템의 인기도에 따라서 스코어를 조정하는 방법은 포지티브와 네거티브 아이템의 구분 없이 점수를 차단하기 때문에 인기도를 조절하려고 하는 과정에서 포지티브 아이템의 스코어를 줄이고 네거티브 아이템의 스코어를 상대적으로 높일 우려가 있다는 게 단점입니다 즉 기존 방법은 구조적으로 추천 시스템의 정확도가 희생될 우려가 있다는 게 비판점이고 반대로 제한 방법은 수직적으로 봤을 때는 포지티브 아이템 내부의 점수 차이를 줄이는 것을 목적으로 하기 때문에 네거티브 아이템의 점수를 불필요하게 높이지 않는다는 점에서 이런 정확도의 손실을 손실해서 조금 더 로버스트 합니다 그래서 이제 실제 데이터에 대해서 실험을 해봤는데 4개의 벤치마크 테이스터즉과 4개의 추천 시스템 모델을 활용했고 제한 방법과 기존의 편향 해소 방법을 비교했고 bpr로스만을 이용한 학습을 베이스라인으로 삼았습니다 그래서 정확도와 편향 감소 지표를 측정을 했는데요 제한 방법을 포함해서 대다수의 이런 편향 해소 방법은 편향을 감소함과 함께 베이스라인 모델에 비해서 정확도가 감소했습니다 그래서 안 좋은 거죠 그래서 결국엔 어떻게 그런 평가를 해야 될까 하나의 지표는 안 좋아지고 하나의 지표는 좋아지는 가운데 저희는 베이스라인으로부터 허용 가능한 범위의 정확도 감소와 그리고 기준치 이상의 편향 감소가 이루어졌을 때 좋은 성능으로 평가하기로 했습니다 자세한 기준은 논문을 보면 되고 물론 약간의 이미적인 기준이라는 것은 인정합니다 그래서 결과를 한번 보겠습니다 이 위에 있는 4개는 각각의 추천 시스템 모델을 나타내는 것이고요 그리고 왼쪽에 있는 것은 편향 해소 방법을 나타내는 것입니다 베이스라인이 그냥 bpr loss를 사용하는 것이고 제로성이 제한 방법인 것이고 각각의 셀에 있는 값들은 이 두 가지는 정확도와 관련된 것 그리고 popq는 아까 전에 퀀타일의 평균을 구하는 것과 관련한 것 이 있는 것의 예시를 만약에 본다면 베이스라인 bpr loss를 이용했을 때 기본적인 정확도가 0.718, 0.475이고 그리고 편향은 0.181, 이건 0에 가까울수록 편향이 높은 거고 0.5에 가까울수록 편향이 낮은 건데 이 정도인데 제한 방법을 썼을 때 히트는 0.718, 엔디시스는 0.449로 낮아지지만 많이 허용 가능 범위에서 낮아지고 대신에 이 편향을 측정하는 것이 많이 높아졌다 이런 점으로 성능이 좋다라고 결과를 볼 수 있고 이게 nf 모델뿐만이 아니라 다른 모델에서도 나타난다 라고 볼 수 있습니다 그래서 이게 한 가지 무빌랜드 데이터에서의 결과였고 다른 세 개의 데이터의 결과도 살펴봤을 때 이 newcf, Neural Collaborative Filtering 알고리즘을 사용했을 때는 안타깝게도 효과가 크지 않았지만 나머지의 경우에서는 좋은 효과를 나타냈고 다른 편향 해소 방법도 어떤 경우에는 효과가 있는 경우도 있었지만 이 제한 방법이 가장 빈번하게 효과가 있었다라고 실제 데이터를 통한 실험 결과에서 볼 수 있었습니다 그리고 물론 이 마지막 샤워 데이터 세트에서는 어떠한 방법도 효과가 좋지 않았다는 것도 볼 수 있었습니다 네 그래서 한계 방금 얘기했던 샤워 데이터에서 전혀 효과를 보이지 않아서 이 부분이 되게 의아했는데 이에 대해서 그냥 이유를 생각해봤을 때는 샤워 데이터에 대해서 기본적으로 추천 시스템의 정확도가 낮기 때문이라고 생각합니다 추정 중인데요 왜냐하면 제안한 제로성 방법은 모델이 예측한 포지티브 아이템 간의 점수차를 줄이는데 이 추천 시스템 모델의 정확도가 기본적으로 낮으면 제로성 방법이 예측한 포지티브 아이템의 점수차를 줄인 게 실제 포지티브 아이템의 점수를 줄인 게 아니라 네거티브 아이템의 점수를 줄이거나 아니면 원하는 디바이오스 성능을 보이지 못했을 것이다 라는 것이 약간 가설입니다 그래서 다시 그냥 표를 보자면 다른 데이터에 비해가지고는 다른 데이터의 기본의 Accuracy가 0.718, 0.924, 0.8 그런 거에 비해서 샤워 데이터의 Accuracy가 되게 낮거든요 그리고 하나의 테스트 케이스에 대해서 시각화를 해봤는데요 이거는 한 유저의 테스트 아이템, 테스트 포지티브와 네거티브 아이템에 대한 추천 점수 예측한 거를 그래프한 것이고 좌는 PPR 러스, 우는 제로성 러스를 사용한 것인데 이 x축은 아이템을 그냥 인덱스별로 그리고 아이템 인덱스가 0에 가까울수록 좀 더 팝퓰러한 아이템이고 파란색은 포지티브, 주황색은 네거티브 아이템이고 네, 스코어를 그려본 것입니다 그래서 이것을 봤을 때 기본적인 PPR 러스를 사용했을 때에 비해서 제로성 턴을 사용했을 때 뭔가 이 Neural Collaborative Filtering 모델의 결과인데요 이렇게 한쪽은 마이너스 2, 한쪽은 2인 것처럼 스코어가 나눠지는 이런 결과가 나오는 것을 볼 수 있습니다 그래서 이게 의도대로 작동한 것은 맞긴 한데 이 포지티브 아이템의 많은 것들이 네거티브로 예측이 된 것을 알 수 있죠 그렇기 때문에 편향을, 그러니까 포지티브를 예측한 것에 대해서는 스코어를 뭔가 든든하게 하는 것 같지만 이걸 애초에 잘못 예측하면 효과가 없을 수도 있다 이런 단점이 있는 것을 볼 수 있었습니다 결과적으로 논문에 대해서 정리를 하자면 추천 시스템 예측의 인기 편향을 보이고 네, 이거는 그냥 한번 정리를 한 것입니다 생각보다 많은 시간이 걸렸는데 이 두 번째로 준비한 것에 대해서 빠르게 훑고 넘어가겠습니다 개인적인 추천 시스템 연구 방향을 Beyond Model Accuracy라고 적었는데 네, 간단한 내용입니다 최근 추천 시스템 연구는 ML, DL 연구에 힘입어 정확도가 높은 예측 모델을 추천 시스템의 영향에 적용한 연구가 많은 것 같습니다 추천 시스템은 다른 ML 영향과 다르게 경영적 요소나 사용자나 UX적 요소, 도메인 특수성을 등을 더 많이 고려할 여지가 있다고 저는 생각해서 그래서 이 두 요소의 접점에 주목해서 탐구를 하면 가치는 연구를 하고 좋은 추천 시스템을 개발할 수 있을 것이라고 그게 저의 약간 석사생활에서의 연구 방향성이었습니다 그래서 일반 ML, DL과 달리 추천 시스템에서 고려할 상황이나 사용자 행동 경험, 도메인 특수성을 어떻게 고려할 수 있을지에 대해 차관하면 좋은 결과가 있지 않을까라는 것이었고 그래서 모델 정확도가 중요하지 않다는 것은 아니지만 그 외의 요소도 중요하고 모델 정확도 형상은 그냥 Core ML의 연구 결과를 활용하는 식으로 저는 연구를 하는 편입니다 그래서 이런 관점에서 그냥 논문을 한 번 더 부른다면 앞서 설명드린 논문은 인기 편향이라는 추천 시스템에서의 문제를 해결한 것이고 사실 나타난 현상은 같은 포지티브 아이템이라도 인기도가 높으면 예측 점수가 높다는 건데 이게 ML적 관점에서 본다면 큰 문제가 아니지만 추천 시스템은 이런 예측이 인기 많은 아이템이 과도한 추천으로 이어지고 문제라는 점에서 같은 현상이어서 또 추천 시스템에서 문제가 된다는 것이고 그래서 사실 해결로 사용한 제어항도 수식적으로 그렇게 어려운 건 아니지만 주류 ML 연구에서는 이런 예측 점수를 균장하게 맞출 필요가 없기 때문에 크게 탐구되지 않은 접근이었던 것 같고 이런 식으로 아까 얘기했던 기술과 UX적인 부분의 교집합을 생각한다면 기술적으로 어렵지 않게 연구를 할 수 있을 것 같다는 생각입니다 마지막으로 맥시스 2022년에서도 발표된 연구 중에 같은 맥락에서 사용자 경험이나 도메인 특수성에 주목한 연구들이 있어서 눈에 들어와서 몇 개를 소개해드리려고 합니다 처음 거는 이번에 상호작용이나 대화형 추천 시스템에 관한 연구가 좀 제 눈에 들어오더라고요 그래서 이거는 추천 시스템이 어떤 아이템을 제안을 하면 유저가 이에 대해서 마음에 든다 마음에 들지 않았다 아니면 이것보다 좀 더 팔았으면 좋겠다 이런 피드백을 주면 이걸 추천 시스템에 반영해서 다른 아이템을 추천해주거나 이런 상호작용이 가능한 추천 시스템입니다 저는 개인적으로는 이게 추천 시스템에서 나타나는 뭔가 특수성을 잘 해결할 수 있는 방법인 것 같다는 생각을 했습니다 왜냐하면 추천 시스템이 많은 경우 ML의 지도학스 패러다임을 따르는데 지도학스는 말 그대로 대량의 정확한 데이터를 학습해 패턴을 재현한다는 거지만 그래서 정확한 데이터에 대해서 저희가 잘 이해하고 많이 확보되어 있다는 것을 전제로 작동을 하는 머신러닝이지만 추천 시스템에서 학습을 사용하는 사람들의 취향 데이터는 정확한 파악이나 수집이 어렵고 때문에 기존의 지도학스 방식의 추천은 유저의 취향을 온전히 고려하지 못하지만 상호작용 추천 시스템은 아직 유저가 모르는 취향을 탐구하는 데 효과적일 수 있다는 점에서 소개해드리고 싶었습니다 또
추천을 시스템이 전적으로 담당하는 게 아니라 추천의 주도권이 사용자에게 어느 정도 있기 때문에 이런 게 더 새로운 사용자 경험에 영향을 줄 수 있다 이런 생각을 했고요 또 뉴스 추천 시스템에 대해서 언론사가 원하는 추천의 방향성에 맞는 추천을 제공하는 연구도 있었습니다 그래서 뉴스는 특히나 한쪽으로 지나치게 치우치면 안되고 다양하거나 아니면 사회적으로 올바른 시민을 양성할 수 있는 추천이 필요할 수 있는데 이와 관련해서 어떠한 평가 지표를 사용할 수 있는지 이런 연구가 있었고 마지막으로는 이거는 굉장히 인상적이었는데 렉시스의 오프닝 키노트로 이 모르나만이라는 선생님이 AI 미디에이티드 커뮤니케이션 관련한 발표를 했습니다 그래서 AI 미디에이티드 커뮤니케이션은 예를 들어 메일을 쓸 때 자동 답변이 완성되는 것과 같이 이런 AI 기술을 이용해 가지고 커뮤니케이션 영역에서 보조를 하거나 추천을 하는 그런 개념이라고 생각하면 되는데 이것이 많이 연구된 건 아닐 수 있지만 또 컨텐츠 추천을 넘어서 약간 추천을 의사결정에 도움을 주는 수단이라고 생각한다면 이것도 새로운 형태와 새로운 도메인의 추천이라고 생각할 수 있어가지고 인상적이었고 소개를 해드리고 싶었습니다 이건 레퍼런스고요 마지막에 좀 두서없이 진행이 되긴 했지만 제가 준비한 발표는 여기까지고 질문이 있다고 하면 코멘트로 제가 답변드리고 나중에 메일로 답변드리도록 하겠습니다 감사합니다 안녕하세요 안녕하세요 좋은 발표 너무 감사드리고요 시간이 또 조금 많이 지났으니까 질문을 하나만 드려보도록 하겠습니다 질문 들어온 것 중에 연구 주제를 잡으시게 된 경위가 궁금합니다 원래부터 관심이 있으셨던 건지 갑자기 생기게 되신 건지 라는 질문이 있었는데 혹시 이에 대해 답변해 주실 수 있으실까요?
네 감사합니다 어느 정도는 주제로 연구 주제였던 인기 편향에 대해서 추천 시스템의 정확도 외에 고려해야 되는 다양성이라거나 편향이라거나 프라이버시티에 대해서 접근을 해봤지만 그런데 연구가 생각보다는 굉장히 목표를 잡고 그걸로 향하는 게 아니라 굉장히 왔다 갔다 하다가 저도 처음에 접근을 이 연구 주제로 접근한 게 아니라 완전히 다른 주제로 접근했다가 이 주제로 어떻게 틀어서 오게 됐다는 점만 짧게 말씀드리고 개인적으로 더 궁금하시다면 나중에 질문 주시거나 메일 주시면 더 구체적으로 대답해 드리도록 하겠습니다 네 그러면 원더님에게 질문할 수 있는 이메일 주소는 나중에 이벤트가 끝나고 랩업 때 공유해보면 좋을 것 같고요 원더님 좋은 발표도 감사드리고 좋은 답변도 감사드립니다 네 그러면 빠르게 다음 세션에 대한 소개를 해보도록 하겠는데요 유저가 싫어요 라고 비선호 표기를 한 음악들을 어떻게 선호에 대한 추천으로 바꿀 수 있을지 이 방법에 대해서 소개를 해주실 박민주님을 모시도록 하겠습니다 저는 내려가 보도록 하겠습니다 네 소개 감사합니다 안녕하세요 저는 서울대학교 용학과학기술대학원 지능정보용학과 음악오디오연구실 석사과정 박민주라고 하고요 저도 이제 앞에 원더님과 비슷하게 이번에 EXS 2022년 감사하게도 이제 연구가 억셉되어서 발표 다녀왔고 이제 앞에 원더님과 좀 비슷한 흐름으로 제 연구 소개해드리고 제가 학회 다녀오면서 좀 느꼈던 점들 이제 짧게 공유해드리도록 하겠습니다 제 연구는 일단은 제목부터 말씀을 드리면 대조학습을 통한 컨텐츠 기반 음악 추천에서의 비선호도 반영이라는 주제 연구고요 제목에서 알 수 있듯이 음악 추천을 메인으로 가지고 가고 있고 음악 추천에서 비선호도를 반영하는 게 어떤 영향을 가지는지에 대한 연구를 진행하였습니다 연구 동기부터 먼저 말씀을 드리면 저는 처음 시작은 되게 단순한 생각으로 시작을 했어요 저는 이제 좋은 음악 추천을 위해서는 어떤 개인의 음악 취향을 이해해야 한다고 저는 생각을 하고 있었고 음악 취향을 이해한다는 것은 각자의 음악 취향을 설명할 수 있어야 된다고 생각을 했고 그것은 즉 이 두 가지 질문, 나는 어떤 음악을 좋아하는가?
나는 어떤 음악을 싫어하는가?
이 두 가지 질문에 대해서 설명을 할 수 있어야 된다고 생각을 했습니다 그런데 문득 이 두 가지 질문 중에 어떤 게 좀 더 답변하기 쉬울까에 대한 의문이 들더라고요 그런데 저는 개인적으로 음악을 많이 듣기도 하고 지금까지 음악을 들어왔던 경험에 기반해서 생각을 해봤을 때 어떤 음악을 싫어하는가에 대한 질문에 답변을 하는 것이 조금 더 쉽다고 저는 생각을 했어요 이 연구 초반에 좋아하는 음악보다 싫어하는 음악이 더 설명하기 쉽다라는 가설을 세우고 이 가설을 보여주기 위한 어떤 연구를 디자인하기 시작했습니다 그래서 이 연구를 통해서 제가 대답하고 싶었던 연구 질문은 이렇게 크게 두 가지인데요 첫 번째로 음악 취향을 설명하는 데 있어서 비선호도는 어떤 역할을 할까 만약에 제가 앞서 세웠던 가설이 만약에 맞다면 비선호도가 음악 취향을 설명하는 데 있어서 좀 더 특징적인 성질을 갖고 있겠죠 그리고 두 번째로 비선호도 반영을 통해서 음악 추천을 어떻게 향상시킬 수 있을까 이거에 대해서도 답변을 해보고 싶었습니다 관련 연구들을 좀 찾아봤는데 먼저 추천 시스템에 좀 관심이 있어서 아마 이 강연을 들으실 거라고 생각이 드는데 그러면 추천 시스템은 크게 협업 필터링 방법이랑 컨텐츠 기반 추천 시스템 이렇게 크게 두 가지가 있는데 두 가지 다 장단점이 있죠 근데 제가 생각했을 때 음악 추천에 있어서는 음악 정보 검색이라는 학문이 예전부터 좀 발달이 돼 있어서 다른 도메인에 비해서 음악 컨텐츠를 분석을 하는 게 어느 정도 유리한 위치에 있다고 저는 생각이 들었고 그래서 음악 추천에서 컨텐츠 기반 음악 추천으로 할 수 있는 게 좀 더 다양하다고 저는 생각을 하고 있었고
그리고 개인화를 위해서는 컨텐츠 자체가 반영돼야 하는 것도 맞기 때문에 일단 제 연구에서는 컨텐츠 기반 방법을 기본 메인 프레임워크로 잡았고요 이제 컨텐츠 기반 방법도 사실 단점이 있죠 좋아하는 곡과 비슷한 음악을 추천하는 방식을 따르기 때문에 유사도에 좀 높게 의존한다는 문제가 있어서 저는 연구를 통해서는 아이템의 컨텐츠와 더불어서 사용자의 피드백을 함께 반영할 수 있는 방법이 없을까에 대해서 고민을 해봤습니다 두 번째로 비선호도를 반영한 추천 시스템 관련해서도 진행되어 온 연구들이 여러 가지가 있었는데 예를 들면 스킵핑 비에이비어라고 음악 추천에서 음악을 듣다가 건너뛰는 행위들이 부정적인 선호도로 반영이 돼서 그런 것들을 추천 시스템에 반영했을 때 어떤 성능 향상을 보였다 이런 연구들이 소개된 경우들이 있는데 이거 같은 경우는 대부분이 비선호도 이런 스킵핑 비에이비어들을 그냥 하나의 피처로만 추가가 돼서 성능이 높아졌다 에만 그치는 사실 연구들이 저는 좀 많다고 느껴서 비선호도를 반영한 것이 왜 높은 성능으로 이어졌는가에 대한 어떤 본질적인 분석이 이루어진 연구는 저는 많이 없다고 느껴서 이 연구를 통해서 어떤 비선호도의 어떤 특징적인 역할에 대해서 좀 설명을 해보고 싶다라는 생각을 했습니다 그래서 이런 생각들을 가지고 이제 연구를 진행을 하게 되었고요 방법론에 대해서 좀 설명을 드리면 이게 이제 제가 연구에서 사용한 모델의 전체 프레임워크입니다 하나씩 천천히 설명을 드리면 일단 저희가 컨텐츠 기반 음악 추천을 메인 프레임워크로 잡았기 때문에 일단 음악에 대한 피처를 먼저 뽑아야겠죠 그래서 일단은 피처 익스트랙트 하는 부분이 일단 첫 번째 단계고 아까 말씀드렸다시피 음악 관련해서 피처를 뽑는 모델들은 되게 많이 소개가 되어왔었어요 그런데 대표적인 것이 장르나 어떤 태그 기반에서 클래시피케이션을 학습하는 과정에서 생기는 그 임베딩을 가지고 이제 음악의 피처라고 생각하는 그런 모델들이 되게 많은데 저 같은 경우는 그런 것들이 어떻게 보면은 미리 규정된 어떤 카테고리에 조금 편향된 임베딩일 수도 있겠다는 생각이 들었고 제 연구에서는 그것보다는 좀 더 본질적인 음악 컨텐츠 자체에 집중하는 피처이면 좋겠다는 생각이 들어서 셀프 슈퍼바이드 기반으로 많은 데이터에서 프리트레인드 모델을 사용을 했고요 이렇게 세 가지 모델을 사용을 했는데 왜 이 모델을 선택했냐는 사실 중요하지는 않고 그게 포인트는 아니고 이 피처 익스트랙터를 다양한 방법으로 해도 최종적으로 추천 결과가 비슷한 경향을 보이게 나왔다는 걸 보이고 싶어서 피처 익스트랙터를 세 가지로 다르게 잡아서 세 번을 다 실험을 해봤고요 그 다음에 이제 앞단에서 추출된 음악의 피처를 대조학습, 컨트라스트 러닝 단계로 넘겨줍니다 사실 이 부분이 제 연구에서 가장 중요한 부분이라고 할 수 있는데요 선호도랑 비선호도를 좀 다르게 컨디셔닝하고 그 결과를 비교함으로써 비선호도가 어떤 역할을 가지는지 좀 분석을 하고자 했습니다 좀 더 자세히 설명을 드리자면 일단 제 모델을 컨트라스트 러닝 익스포이딩 프레퍼런스 그래서 clap 이라고 이름을 붙였고요 그 안에서 선호도와 비선호도를 어떻게 반영하냐에 따라서 첫 번째로 선호도와 비선호도를 모두 반영하여 컨트라스트 러닝을 한 모델에 대해서는 clap pn 이라는 이름을 붙였고 선호도만을 반영해서 컨트라스트 러닝을 한 모델의 경우 clap p 비선호도만을 반영해서 컨트라스트 러닝을 한 경우 clap n 이라고 이름을 붙였고요 컨트라스트 러닝에 대해서 좀 익숙하지 않으신 분들도 계실 수가 있을 것 같은데 조금 간단하게 설명을 드리면 컨트라스트 러닝은 데이터 페어가 들어갔을 때 그 페어가 같은 레이블로 표시가 되어 있으면 인베딩 스페이스에서 그 두 데이터를 가까운 위치에 인베드를 하고 만약에 다른 레이블로 표시가 되어 있으면 그 데이터를 멀리 인베딩하는 방식으로 훈련되는 기법입니다 그래서 저는 데이터 페어들을 레이블링하는 방법에 변화를 줘서 이제 세 가지 모델에 좀 다르게 훈련을 시켰는데요 먼저 clap pn 같은 경우는 선호도랑 비선호도를 모두 반영하고 싶은 모델이라고 했는데 이 clap pn 같은 경우에는 좋아하는 곡 좋아하는 곡 페어에 대해서는 같은 레이블 그리고 싫어하는 곡 싫어하는 곡 페어에 대해서도 같은 레이블을 줘서 좋아하는 곡끼리 싫어하는 곡끼리 이제 가깝게 인베딩되게 학습을 시켰고 반대로 이제 좋아하는 곡 좋아하지 않는 곡에 대해서도 이제 다른 레이블을 줬기 때문에 멀리 인베드가 되는 방식으로 훈련을 했고요 비슷하게 이제 clap p 같은 경우에는 선호도만을 반영하고 싶었기 때문에 선호 선호 페어에 대한 것만 이제 가깝게 인베딩 되도록 이제 학습을 시켰고 이제 나머지 페어에 대해서는 멀리 인베딩 되도록 그리고 clap n 같은 경우에는 비선호 비선호 싫어하는 곡들끼리만 이제 가까이 인베드 되도록 학습을 시켰고요 사실 clap n이 이제 제 연구를 통해서 이제 집중을 하고 싶었던 모델인 거죠 왜냐하면 저는 비선호도만을 이제 반영을 했을 때 어떤 이제 결과를 보일지가 궁금했기 때문에 그래서 만약에 이 컨트라스틱 러닝이 학습이 잘 됐다면 이제 인베딩 스페이스는 이런 식으로 아마 생겼을 거예요 그래서 clap p 같은 경우는 포지티브 네거티브끼리 모여있고 clap p 같은 경우는 좋아하는 곡들끼리만 모여있고 clap n 같은 경우에는 싫어하는 곡들끼리만 모여있도록 이제 인베딩이 됐을 텐데 그래서 만약에 이제 저희의 음악 취향을 음악 취향이 되게 복잡하지만 어떤 좋아하는 곡과 싫어하는 곡의 어떤 분포로서 생각을 한다면 이 세 가지 모델들이 이제 구성하는 인베딩 스페이스들 중에 어떤 것과 이제 가장 유사할까가 이제 궁금했던 겁니다 그래서 이 세 가지 모델을 이제 기반으로 이제 학습을 시켰고요 실험을 했고 그리고 마지막에 이제 이 컨트라스틱 러닝을 통해 좀 조정된 인베딩을 바탕으로 이 유저가 이 곡을 싫어하는지 싫어하지 않는지 프레딕트하는 이제 간단한 MLP 레이어를 붙여가지고 프레딕션하는 단계까지 이제 뒤에 붙였습니다
그래서 실험은 이제 어떻게 했냐 데이터셋이 아마 제일 중요하고 많은 분들이 좀 궁금해 하신 부분이기도 한데 제 모델, 제 실험 디자인에서는 사용자의 선호도 데이터가 필요해요 각 한 명의 유저가 이 곡을 좋아하고 저 곡을 좋아하고 저 곡을 싫어하고 이런 정보들이 좀 필요했기 때문에 근데 공개된 이제 퍼블릭 데이터셋에서는 제 니즈를 뭔가 충족시키는 데이터가 많이 없어가지고 데이터셋 구축을 위해서 좀 설문을 따로 진행을 했고요 저는 이제 24명의 참가자를 대상으로 한 명당 200곡을 들려주면서 이 노래 좋아, 이 노래 싫어 같은 것들을 이제 하나씩 물어보는 식으로 이제 설문을 진행을 했고요 그래서 각 한 명당 그럼 200개의 사용자의 선호도 데이터가 있는 건데 그 안에서 이제 3분의 3, 75%를 트레이닝셋으로 훈련을 시켰고 그 훈련된 모델로 나머지 테스트셋에 대해서 이 사용자가 이 노래를 좋아했을까 싫어했을까 이제 프레딧트하는 방식으로 저는 이제 이베이류에이션을 진행을 했습니다 평가 지표 같은 경우에는 이제 추천 시스템 평가에서 많이 쓰이는 매트릭들을 사용을 했는데요 Accuracy, Precision, Recall, AUROC, 그리고 False positive rate 이렇게 다섯 가지를 사용을 했습니다 저는 특별히 연구에서 Precision과 False positive rate 두 가지에 좀 집중을 하고 싶었는데 이제 정밀도, 그리고 거진 양성 비율 이 두 가지에 대해서 들어보신 분들도 계실테지만 일단 이거 계산하는 방법은 이제 어쨌든 이 곡을 좋아하는지 싫어하는지 클래시피케이션 문제이기 때문에 컴퓨전 매트릭스가 이제 나오는데 Precision 같은 경우에는 이렇게 계산이 되고 False positive rate 같은 건 이렇게 계산이 되죠 근데 이 두 가지의 공통점은 False positive 거진 양성이 관여가 되어 있다는 점입니다 근데 이게 왜 특별하냐 False positive는 이제 하나의 오류이긴 하지만 저희의 태스크에서 생각을 했을 때는 사용자가 싫어하지만 추천된 곡에 해당이 되고요 똑같이 에러이지만 이제 다른 False negative 같은 경우에는 사용자가 좋아하지만 추천되지 않은 곡을 이제 지칭하게 됩니다 근데 사실 내가 좋아하지만 추천되지 않은 곡은 사실 모르잖아요 추천되지 않았기 때문에 사용자 입장에선 추천되지 않았는지도 모르는 거기 때문에 사용자 경험 입장에서는 False negative는 크게 큰 영향이 없고 False positive가 좀 더 크리티컬한 영향이 있어서 일반적인 클래시피케이션 태스크와 다르게 추천 시스템에서는 False positive가 조금 더 특별하게 알려져야 된다라는 점을 알 수 있고 관련 선행 연구들도 많이 이루어져 있었고요 저는 이 두 가지에 대해서 집중을 하고 싶었고 그래서 제가 구축한 데이터세트 바탕으로 아까 말씀드린 세 가지 모델을 각각 훈련시킨 결과입니다 그래서 먼저 다섯 가지 매트리크에 대해서 클랩 P, N, 클랩 P, N이 서로 유일하게 다른 결과를 보였는지 알기 위해서 일단은 프리드먼 테스트를 먼저 진행을 했고요 그 결과 이제 세 가지 다른 Feature Extractor에 관계없이 accuracy, recall, FPR에 대해서는 이제 세 가지 모델이 유의한 차이를 보였다라는 것을 이제 알 수 있었고요 유의한 차이가 있다는 것만 알았고 그 다음에 이제 클랩 P, N, 클랩 P, 클랩 N 사이에 어떤 대수관계가 있느냐를 좀 알아보기 위해서 이제 Wilcoxon Sign Language 테스트를 좀 추가로 진행을 했는데 그 결과 이제 accuracy 같은 경우에는 클랩 N이 이제 가장 높게 나온 점을 알 수 있었고 그리고 recall 같은 경우에는 클랩 N이 가장 낮았고 FPR 같은 경우에는 낮을수록 좋은 건데 클랩 N이 이 세 가지 모델 중에 가장 낮은 결과를 보였다는 것을 흥미롭게도 알 수 있었습니다
그래서 정리를 하자면 클랩 N, 제가 집중하고 싶었던 비선호도만을 반영한 클랩 N이 이제 accuracy와 FPR의 면에서는 가장 좋은 결과를 보였지만 recall은 가장 안 좋은 결과를 보인다는 것을 알 수 있었는데요 이거에 대해서 좀 고민을 하다가 좀 조사를 더 해보니 이제 어떤 사용자 연구 쪽 추천 시스템 연구들을 좀 살펴봤을 때 비슷한 성능을 보이는 추천 시스템에 대해서 이제 FPR과 recall 중에 FPR이 좀 더 유의미하다는 어떤 선행 연구들이 좀 있었어서 비록 클랩 N이 가장 낮은 recall을 보였지만 그래도 가장 높은, 가장 좋은 FPR을 보였다는 점에서 추천 시스템으로서 어떤 클랩 N의 잠재력을 어느 정도 주장할 수 있지 않나 저는 생각을 했고요 제가 처음에 던졌던 연구 질문들에 대해서 좀 하나씩 답변을 다시 하자면 일단 첫 번째, 음악 취향을 설명하는 데 있어서 비선호도가 어떤 역할을 할까 궁금했는데 먼저 클랩 N이 이 세 가지 모델 중에 가장 높은 accuracy를 보였죠 그래서 저는 클랩 N이 이 세 가지 모델 중에 음악 취향의 분포를 가장 비슷하게 구현한다라고 이제 생각을 할 수 있었고 이게 사용자 데이터 하나 가지고 이제 한번 티즈니를 이용해서 이제 이천에다가 이제 뿌려본 건데 처음에 이제 예상했던 것과 같이 좀 비슷한 그림을 나타내고 이제 훈련이 잘 됐다는 걸 볼 수 있었고요 클랩 N이 이제 accuracy가 가장 높았기 때문에 이제 이게 아마 저희의 음악 취향과 조금 비슷한 이 세 가지 중에는 가장 비슷한 분포를 가지고 있지 않나 생각을 했고, 여기서 볼 수 있듯이 선호하지 않는 파란색이 이제 싫어하는 곡들인데 싫어하는 곡들이 조금 더 뚜렷한 특징을 지닌다라는 것으로 이제 설명을 할 수 있을 것 같습니다
그리고 이제 Serendipity의 개념으로도 저희 연구 결과가 좀 설명이 가능한데요 Serendipity란 이제 뜻밖의 좋은 것 이런 것들을 좀 의미를 합니다 그래서 사용자가 본인은 이제 좋아하는 줄 몰랐지만 추천해줬더니 의외로 좋네 하는 것들을 추천하는 것도 이제 추천 시스템의 어떤 역할이기 때문에 Serendipity도 추천 시스템의 평가 지표로 이제 사용되기도 합니다 그래서 Serendipity라는 개념이 사용자들이 이제 의외로 좋은 것들에 실제로 꽤 반응한다는 것을 의미하는데 만약에 이제 저희의 음악 취향 분포가 실제로 이 세 번째 그림 같이 생겼다면 싫어하는 곡들은 좀 뚜렷한 특징을 지닌 반면에 좋아하는 곡들은 그렇지 않기 때문에 예상하지 못한 공간에서 좋아하는 곡을 발견할 수 있는 기회가 좀 더 많기 때문에 좀 동일한 논리상에서 설명이 가능하다는 점을 알 수 있었습니다 그리고 두 번째로 비선호도 반영을 통해 음악 추천을 어떻게 향상시킬 수 있을까에 대한 질문은 클랩 N이 가장 낮은 First Positive Rate가 가장 높은 Precision을 보였다는 것을 아까 테이블에서 볼 수 있었는데요 음악 추천에서 사용자의 비선호도를 반영하는 것이 First Positive Metric을 어떻게 향상시키는데 기여를 하기 때문에 비선호도 반영이 추천 성능 향상에 기여할 것으로 기대된다라는 결론을 저는 내릴 수 있었습니다 결론적으로 저는 이 연구를 통해서 사용자의 음악 취향에 있어서 비선호도의 역할을 알아보기 위해서 각각의 선호도를 다르게 적용하여 Conscious Learning 한 세 가지 모델을 훈련 및 비교를 하였고요 여기서는 클랩 P, N으로 이름을 지어봤고요 클랩 N이 지닌 강점을 살펴보면서 음악 추천에서 비선호도 반영이 가져올 수 있는 이점에 대한 가능성을 밝혔습니다 여기까지가 저희 연구 소개이고요 그리고 제가 이번에 학교 다녀오면서 느낀 것들을 조금 짧게 공유를 드리려고 합니다 일단은 학회 자체는 되게 소규모였고 다른 학회에 비해서 다른 학회들은 만약에 세션 여러 개가 동시에 진행되면서 관심있는 어떤 세션에 가서 듣고 하는 반면에 Waxis 같은 경우에는 세션 하나만 있어서 전체 참여자들이 그냥 되게 넓은 홀 한 군데에서 다 같이 하나의 발표를 하고 듣는 식으로 진행이 되가지고 집중할 수 있는 분위기였고 또 소규모였기 때문에 어느 정도 화기애애한 분위기였다고 저는 생각은 들고 좀 더 말씀을 드리자면 연구 관련해서 말씀을 드리자면 일단 알고리즘 위주의 연구들이 많았고 어떤 기술적인 측면에서 아 이게 진짜 트렌드다 라고 할만한 것들이 있기보다는 어떤 각자 이제 다른 문제 정의를 하고 그에 맞는 알고리즘을 제안한다는 느낌을 받았어요 그래서 똑같이 이제 추천이라는 주제로 묶인 학회였지만 각자 뭔가 다른 문제 정의와 다른 고민들을 하고 있었다는 것을 알 수 있었고 그리고 한 가지 흥미로웠던 점들은 이제 리얼 월드 어플리케이션 관련 논문들도 꽤 많았고 다른 학회에 비해서도 좀 더 많은 논문을 읽고 관련 논문들도 이제 꽤 많았고 다른 학회에 비해서 좀 기업에서 온 사람들이 많았어요 그래서 어떻게 보면 추천 시스템 자체가 기업을 위한 기술이기 때문에 뭐 메타나 뭐 구글 넷플릭스 스포티파이 같은 그런 추천 시스템을 위주로 운영이 되는 그런 기업들에서 나온 논문들이 많아서 좀 더 새로운 관점들을 이제 얻을 수 있었고 그래서 이게 아마 제가 얘기하고 싶은 제일 중요한 부분인 것 같은데 연구자로서 저는 사실 석사생이라서 그냥 연구자로서 이제 제가 궁금한 점들을 좀 풀어나가는 방향으로 연구를 진행을 했는데 연구자로서 추천 시스템을 바라보는 관점과 기업에서 바라보는 관점이 상당히 다르다는 것을 깨달았어요 제 연구 같은 경우도 저는 그냥 단순히 음악 취향이 어떻게 설명될 수 있을까라는 그냥 단순한 호기심에서 사실 시작해서 연구를 진행한 건데 이제 많은 기업에서 오신 분들이 뭐 스케일러블한지 뭐 다른 도메인에서도 적용이 가능한지 뭔가 본인의 기업의 관점에서 조금 바라봤을 때 나올 수 있는 질문들을 많이 해주셔서 되게 새로웠고 신선했고 그래서 뭔가 연구자로서 추천 시스템을 연구하는 것과 기업에서 추천 시스템을 연구하는 것과 장단점이 좀 있다라는 것을 조금 이번 기회에 깨달았어요 그래서 좀 정리를 해봤는데 일단 연구자 같은 경우에는 방금 말씀드린 것처럼 좀 자유로운 직접 탐구가 좀 가능한 것 같고요 어떤 실적 때문에 어떤 조급함 없이 실적에 그런 영향 없이 좀 자유로운 직접 탐구가 가능하다는 게 아마 연구자로서 추천 시스템을 연구하는 데 장점인 것 같고 그리고 단점이 상당히 큰데 데이터 수집이나 평가 같은 게 상당히 어려워요 이게 사실 기업에서의 추천 시스템 연구의 가장 큰 장점이기도 한데 어쨌든 기업에서는 상당히 많은 양의 데이터를 가지고 있기 때문에 연구에 쓸 수 있는 데이터들이 아주 방대하고 그리고 평가 같은 경우도 그냥 사실 AB 테스트 해보면 되는 거기 때문에 굉장히 용이한 부분이 있죠 하지만 반대로 연구자와 달리 어떤 실적에 좀 포커스된 연구들을 하게 될 수밖에 없을 것 같아서 좀 본질적인 탐구를 좀 놓칠 수 있지 않을까 하는 그런 단점이 있을 것 같다라는 생각이 듭니다 제가 말씀드리고 싶었던 거는 여기까지고요 혹시 질문 있으시면 해주시길 바랍니다 네 안녕하세요 민주님 발표 정말 잘 들었습니다 질문을 제가 시간이 없기 때문에 하나만 꼽아 봤는데요 음악 추천의 경우 데이터를 어떻게 얻어서 사용하시는지 음악 오디오 연구실에서 배울 수 있는 것들 이런 것들을 질문 답변해주시면 감사하겠습니다 데이터 같은 경우 사실 방금 말씀드린 것과 유사한데 개인 연구자로서 얻을 수 있는 것은 되게 제한적이에요 그래서 공개된 데이터셋 중에 음악 추천에 쓸 수 있는 데이터셋 같은 경우는 이제 스포티파이 리서치에서 제공한 데이터들이 크게 한 네 가지 정도 있는 걸로 알고 있는데 플레이리스트 데이터셋이나 팟캐스트 데이터셋이나 그런 것들을 아마 참고하시면 좋을 것 같고 아마 카카오에서 멜론 플레이리스트 데이터셋도 몇 년 전에 공개한 걸로 알고 있어요 그런 기업 위주에서 공개된 그런 퍼블릭 데이터셋 같은 거를 통해서 얻을 수도 있고 아니면 제 연구의 경우 같이 좀 데이터 구축을 그냥 이제 설문조사 같은 걸로 직접 해서 할 수도 있을 것 같고 네 그런 방법들이 있고요 음악 오디오 연구실은 되게 생소하실 수도 있는데 음악 오디오와 사실 공학과 접점에 있는 되게 다양한 연구들을 하는 연구실이에요 저는 그 중에서도 이제 음악 추천에 관심이 있어서 음악 추천을 연구를 하고 있고 음악 추천이 사실 메인은 아니고 되게 다양해요 AI 작곡 연구하시는 분들도 계시고 몇 년 전에 TV에서 돌아가신 김광석님, 김광석 가수님의 목소리로 최신 노래를 부르도록 가창 합성하는 그런 기술들도 사실 저희 연구실에서 한 거거든요 그런 식으로 음악 오디오 관련해서 AI로 할 수 있는 되게 재미있는 많은 것들을 하고 있는 연구실입니다 교수님이 발표를 보시면 정말 좋아하시겠어요 연구실 소개를 정말 잘 해주셨습니다 그러면 질문 답변도 이렇게 마쳐보도록 하겠습니다 민주님 다시 한번 발표 정말 감사드리고요 그러면 제가 다음 세션 감사합니다 다음 세션의 발표자를 모셔보도록 하겠습니다 민주님께서 간단히 이제 말씀해주셨던 것처럼 되게 실무 인더스트리 관련된 연구들이 이번 EXIS 2022에 굉장히 많았었는데요 저희가 항상 다 저렇게 좋은 자료가 있는데 봐야지 라고 하면 보기가 어렵잖아요 그래서 그런 것들에 대해서 전반적으로 훑어서 설명을 해주실 실제로 시애틀에서 직접 참여하고 오신 이수진님이 추천 시스템 트렌드 연구자, 실무자의 관점에서 전반적인 경험을 발표를 해주시겠습니다 교수님을 모시고 내려가 보도록 하겠습니다 네 발표 진행하겠습니다 안녕하세요 저는 이번 업스테이지 테크톡의 렉시스 2022 논문과 함께 보는 추천 시스템에서 렉시스 2022 그 후기 파트를 담당해서 발표를 진행할 웅진 싱크빅 이수진이라고 합니다 간단하게 제 소개 먼저 하고 발표를 진행하겠습니다 저는 앞서 말씀드린 대로 웅진 싱크빅에서 데이터 분석가 포지션으로 일을 하고 있고요 주로 회사에서는 추천 시스템과 ML 파이프라인 쪽을 연구 개발을 하다가 근래 들어서 도서지수 그리고 딥 러리지 트레이싱이라는 DKT라는 분야에도 인볼버가 돼서 업무를 진행하고 있습니다 제가 이번에 업스테이지 발표 요청을 받으면서 전반적인 학회 분위기를 설명해주셨으면 좋겠다라고 말씀을 드렸었는데 이 전반적인 학회 분위기를 어떻게 설명할 수 있을까를 되게 많이 고민을 했던 것 같아요 사실 저는 이번에 우연히 회사에서 좋은 기회를 받아서 회사 지원으로 렉시스를 참여하게 됐고 회사 동료 정희현 연구원님과 함께 참여하게 됐는데요 그때 처음에 갈 수 있겠구나라는 생각이 들었을 때 제가 처음에 생각했던 세 가지 관점을 기준으로 이번 세션도 좀 소개를 해드리면 되겠다라는 생각을 들어서 이 세 가지 관점을 기준으로 이번 발표를 진행해보려고 합니다 저는 이번 렉시스를 갔다 오면서 첫 번째 관점인 노벨티 흥미로운 연구 새로운 관점이 무엇이 있을지를 좀 보고 싶었고요 그리고 두 번째는 당연히 연구 트렌드를 좀 궁금했었고 세 번째로 아무래도 저는 현업에서 일을 하다 보니까 인더스트리얼 관점에서 사람들이 어떤 생각을 가지고 연구를 하고 있는지 그런 것들이 되게 궁금했었습니다 이 세 가지 관점을 제가 렉시스 202에 다녀오면서 봤던 제 개인적인 관점으로 좀 이번 발표를 진행해보려고 합니다 첫 번째 노벨티 부분에서는 앞서서 민준님께서 소개해주신 컨트라스트블 러닝 기반의 레코멘데이션도 굉장히 흥미롭게 봤었습니다 사실 컨트라스트블 러닝이 여기 분야에서 많이 사용되고 있는데 그걸 뮤직 레코멘데이션에서 활용한 것이 좀 인상 있게 들었었고요 그리고 두 번째로 흥미롭게 들었던 세션이 페드라이트 러닝을 레코멘데이션에 적용한 발표였습니다 페드라이트 러닝은 명기환님께서 발표를 해주셨는데 메타 측에 소속으로 나오셔서 발표를 해주셨어요 그래서 페드라이트 러닝을 레코멘데이션 환경에서 어떻게 적용할 수 있을까를 전반적으로 소개해주시는데 굉장히 좀 재밌었고 내용이 좀 어렵긴 했지만 재밌었고 인사이트를 많이 얻을 수 있었고요 이 메타에서 나온 또 다른 분께서 발표를 해주신 게 있는데 요즘 메타에서는 AR, VR 관련된 연구를 좀 많이 하고 있나봐요 이 메타에서 오신 다른 관계자분께서는 메타가 지금 추진하고 있는 AR과 VR 그런 환경에서 어떻게 레코멘데이션을 적용할 수 있을까를 발표를 해주신 세션도 있었습니다 지금 이 왼쪽 사진에서 잘 보이실지 모르겠지만 발표자분께서 안경을 쓰시고 계신 게 보이는데요 실제로 발표를 하시면서 저 안경을 쓰시더니 헬로우 메타 이렇게 말씀을 하시더라고요 그러면 저 디바이스가 동작이 되는 거겠죠 그럼 저 디바이스에서, 그리고 나서 저 디바이스한테 지금 최근 내가 구매한 상품 목록이 뭐니?
라고 물으시고 지금 그 다음에 이제 내가 이 위치에서 어떤 아이템을 내가 추천 받을 수 있을까라는 것을 계속 그 디바이스와 소통을 하면서 레코멘데이션이 AR과 VR 환경에서 어떻게 적용될 수 있을지를 예시를 들어가시면서 되게 재밌게 설명을 해주시더라고요 그리고 이 발표가 좀 더 흥미로웠던 게 다른 여타 세션보다 되게 질문자분들도 되게 많았고요 이 발표자분께서 본인 쉬는 시간을 줄여가면서 이 모든 질문자분들의 질문을 다 응대해주셨던 것도 굉장히 인상 깊었습니다 그리고 이 질문자분들, 다양한 질문들이 많이 들어왔었는데 이 대부분의 질문들이 너네 메타 측에서 AR, VR 환경에서 레코멘데이션 하는 거 좋다, 좋은데 보안 어떻게 할래?
라는 질문이 대부분의 질문이었어요 그래서 이 메타 관계자분께서도 보안이라는 게 가장 큰 이슈인 걸 알고 있고 그래서 연구개발을 진행하고 있다 그래서 그거의 연구개발 중 하나가 패드레이트 러닝이라고 말씀해주시면서 앞서 발표된 패드레이트 러닝을 다시 한번 언급을 해주시더라고요 그래서 이렇게 흥미로운 컨트래스티브 러닝과 패드레이트 러닝, 그리고 AR, VR 환경에서의 레코멘데이션을 적용할 수 있는 그런 인사이트를 많이 얻을 수 있는 것이 이런 노벨티 영역에서 제가 다루, 이번에 좀 소개를 해드렸습니다 다음은 트렌드인데요 제가 여러가지 세션을 봤을 때 트렌드가 크게 세 가지로 좀 묶이더라고요 첫 번째는 GNN, 여전히 명불허전 꾸준한 인기를 얻고 있는 GNN이고요 두 번째로 봤을 때는 강화학습 쪽이었습니다 제가 생각보다 강화학습 쪽이 인기가 많아서 되게 신기했었던 게 좀 있었고 세 번째는 Explainability, 신뢰성이나 뭔가 모니터링할 수 있는 평가를 모니터링할 수 있는 그런 환경들 이런 것들에 대한 소개가, 트렌드가 좀 많이 있더라고요 특히 강화학습 같은 경우에는 튜토리얼로 핸즈온 레인포스트 러닝플루 레코멘데 시스템이라는 제목으로 튜토리얼도 처음에 소개가 됐었고 제가 이 튜토리얼에 참가하지는 못했지만 다른 사람들 들었을 때는 이 튜토리얼에 대한 자리도 꽉 차있었다고 하더라고요 굉장히 인기가 많았었다고 합니다 그리고 Lexis 202 페이지에 들어가면 워크숍에 레인포스트 러닝을 기준으로 한 워크숍이 따로 있어 따로 페이지가 있을 정도로 레인포스트 러닝을 레코멘데이션 쪽에 추천 시스템 쪽에 적용한 것들에 대한 트렌드가 있구나라고 생각이 들면서 저도 강화학습도 어느정도 이게 좀 팔로우업을 해야겠다라는 생각을 많이 하고 왔었습니다 그리고 두 번째 트렌드는 이제 이스플레이너블 쪽인데요 이스플레이너블 쪽도 튜토리얼로 핸즈온 이스플레이너블 레코멘지 시스템 knowledge graph라는 튜토리얼이 있었고요 여기서도 그래프를 활용해서 이스플레이너블을 튜토리얼 섹션을 설명해주셨는데 역시나 그래프 쪽이 인기가 많다는 것도 다시 한번 볼 수 있었고 그 다음에 이스플레이너블이라는 것도 중요하게 다뤄진다는 것도 알 수 있었습니다 그 중에서 제가 좀 인상 깊게 봤던 게 이 렙시스라는 프레임워크입니다 렙시스는 Framework for Interactive Evaluation of a Recurrent System 이라는 일종의 프레임워크인데요 이 오른쪽 사진이 렙시스의 실제 기터브 화면입니다 그래서 이 렙시스가 저는 굉장히 재밌었던 게 포스터 발표를 하면서 그 포스터 발표에서 데모도 시연해 볼 수 있는 것들이 있었거든요 저는 이 렙시스가 되게 궁금해서 이게 뭐지 하고 뒤에서 보고 있었고 제 앞에서 다른 질문자분께서 발표자분과 소개해주시는 분과 이야기를 하고 있었는데 그때 제가 뒤에서 데모를 보면서 한국말로 혼자 말로 신기하다 이거 진짜 신기하다 재밌다 라고 말을 했는데 마침 그때 관계자분이랑 눈이 마주쳤거든요 그 관계자분이 Hey, come on!
이러고 말씀하시더니 이렇게 되게 열정적인 눈으로 저한테 자기에 대한 포스터와 그 데모를 되게 열정적이게 설명을 해주시더라고요 실제로 들었을 때도 그리고 몇 가지 질문을 드렸을 때도 굉장히 흥미로운 내용이어서 이걸 좀 간단하게 소개를 해드리려고 합니다 이 렙시스라는 거는 이 해당 기터브 페이지에서 확인할 수 있고 기터브에 들어가시면 이 데모 페이지도 확인할 수 있어요
그래서 이 화면은 지금 데모 페이지 기준으로 설명을 드리는 건데요 데모 페이지에 들어가면 KNM부터 SVD까지 알고리즘에 따라서 각각 추천된 아이템 카테고리들을 아이템 정보들을 확인할 수 있습니다 여기서 제가 반지의 제왕, 반지의 원정대라는 아이템을 클릭했을 때 바로 KNM부터 SVD까지 섹션이 전부 다 바뀌는 것을 확인할 수 있어요 제가 어떤 아이템을 클릭했냐에 따라서 각각 알고리즘이 어떻게 추천되는지 바로바로 인트랙티브하게 눈으로 확인할 수 있다는 것이 굉장히 좀 인상 깊었습니다 그리고 이 다음에는 제가 슈렉이라는 걸 클릭했을 때 KNM 같은 경우에는 슈렉과 관련된 게 어떤 것도 뜨지 않지만 BASE에는 슈렉2, 그리고 SVD쪽에는 약간 슈렉과 비슷한 몬스터즈 이런 아이템들이 추천되는 것도 확인할 수 있었고요 또 다음으로 제가 흥미롭게 봤던 건 매트릭 썸머리 부분인데요 이 매트릭 썸머리 부분에서도 마찬가지로 알고리즘에 따라서 각각 리콜, NDCG, 노벨티, 다이버시티 이런 것들에 대한 지표를 바로바로 눈으로 확인할 수 있다는 것이 흥미롭던 부분 중 하나였고요 그리고 무엇보다 이 매트릭 디스트리뷰션이라는 섹션에서 여기를 제가 드래그를 할 수 있어요 이렇게 드래그를 하면 해당 모델의 매트릭을 기준으로 이 드래그된 영역의 어떤 분포를 이렇게 확인할 수 있습니다 지금은 이제 인베딩 탭에서 어떤 인베딩 분포값을 확인할 수 있는 부분이고요 이거를 디스크립션으로 넘어가게 되면 이 알고리즘에 이 매트릭을 가지고 있는 이 영역에 인터랙티드 된 아이템이 무엇이다라는 것도 바로 확인할 수 있어요
그리고 얘를 SVD나 이런 걸로 바꿨을 때도 다른 결과를 확인할 수 있고요 즉, 각각의 알고리즘에 평가 지표에 따라서 이 영역에 어떤 아이템들이 분포되어 있는지 이런 것들을 바로 바로 눈으로 확인할 수 있다는 게 흥미롭고 재미있던 내용이었고요 이 유저 인베딩 영역에서도 마찬가지로 이렇게 드래그를 할 수가 있어요 이렇게 드래그를 하게 되면 이 아래 사진처럼 이렇게 드래그가 되게 되는데 이 드래그를 하게 되면 여기 영역에 해당되는 사용자 인베딩 즉, 사용자 풀이 어떤 아이템들이랑 인터랙트가 됐는지 주로 어떤 랭기지랑 인터랙트했고 어떤 장르가 많이 인터랙트가 됐는지 이런 것들에 대한 정보를 한눈에 확인할 수 있습니다 이 말인즉슨 만약에 제가 유저 인베딩을 어떻게 하냐에 따라서 제가 이쪽에 있는 사용자들이 좀 궁금한데?
라고 하면 그냥 드래그만 하면 이 해당 사용자들이 어떤 아이템들과 인터랙트가 됐고 어떤 랭기지, 어떤 장르, 그러니까 어떤 특성을 가지고 있는지 바로 눈으로 확인해 볼 수 있다는 게 이 프레임워크, 이 라이브러리의 가장 큰 장점이라고 생각했습니다 그래서 굉장히 개인적으로 흥미롭게 그리고 재밌게 봤던 프레임워크라서 이 발표에서 좀 소개를 시켜드리고자 이렇게 준비를 해놨습니다 다음은 인더스트리얼 영역인데요 앞서서 두 연사분께서도 말씀해주신 것처럼 좀 다양하게 인더스트리얼 영역, 아니면 도메인 스페스픽한 레코멘데이션이 좀 나왔어요 인더스트리얼 영역에서 보면 이쪽에서 보면 뭐 라지스케일 CTR 이라던가 아니면 이미지 마켓플레이스에서 다루는 방법 그리고 도메인 스페스픽한 영역에서 보면 도메인 스페스픽 레코멘데이션 쪽에서는 인슈런스 도메인, 그리고 패션인 레코멘데이션 쪽 그리고 핀터레스트 이런 것들에 대한 주제로 다양하게 좀 논문이 나왔었습니다 그래서 제가 모든 실무자분들을 다 발표하신 분들은 다 만날 수는 없었지만 그 중에서 일부 실무자분들을 만났고 그 외에도 발표자분 외에도 다른 실무자분들이 정말 많이 오셨거든요 그분들이랑 여러가지 질문도 많이 드리고 그분들이 어떻게 연구를 하고 계시는지 인터뷰를 좀 해봤었어요 그 인터뷰 중에서 제가 공통적으로 드렸던 인터뷰 몇 개를 기준으로 이분들이 어떤 관점과 어떤 생각으로 연구를 하고 계시고 어떤 마인드를 어떤 마인드 레지션 시스템을 좀 계속 개발하고 계신지 그런 것들을 좀 소개를 해드리려고 합니다 제가 공통적으로 질문했던 첫 번째 질문은 추천 시스템을 어떻게 연구하게 됐냐고 물어봤었어요 대부분 몇몇 분들이 어쩌다 보니 살다 보니까 이렇게 하게 됐다고 말씀해주시더라고요 되게 유쾌하게 하시던데 보통 이런 분들은 하다 보니까 하게 됐는데 너무 재밌었다 그 재밌었던 이유가 다른 분들에 대한 말도 나와 있는데 사용자 행동력을 직접적으로 인터랙션을 바로 바로 모델링할 수 있고 볼 수 있으니까 되게 재밌었다 그래서 추천 시스템 연구를 우연히 혹은 대학원에서부터 하게 되었고 실제로 해보니 더 재밌어서 계속적으로 연구를 하고 있고 개발을 하게 됐고 이쪽으로 취업 진로를 잡았다고 말씀해주시더라고요 두 번째로 제가 공통적으로 질문 드렸던 것은 각각 본인이 속하여져 있는 그 인더스트랄을 연구해서 추천 시스템이 어떤 게 중요하냐라고 질문을 드렸어요 몇몇 분들은 지속적인 모니터링이 중요하다 모니터링이라는 게 모델에 대한 관점이 아니라 사용자의 행동에 대한 모니터링이 중요하다라고 많이 말씀해주셨고 그리고 어떤 엔지니어링 쪽으로도 안정적인 서빙 시스템 그리고 고객한테 오는 그 voc 시스템, voc를 처리할 수 있는 시스템도 중요한 것 같다라고 말씀을 많이 해주셨습니다 그리고 무엇보다도 우리 인더스트랄 영역에 우리 데이터에 맞는 적합한 모델을 찾는 것 이것이 본인이 경험했을 때 굉장히 중요하다라는 것을 또 공통적으로 많이 말씀해주셨고요 그리고 세 번째로는 현웅에서 실해보니까 어떤 게 제일 힘드셨냐고 물어봤어요 아무튼 저도 똑같이 좀 힘든 부분이 있고 이런 분들은 각각 다양한 도면에서 어떻게 좀 힘든 경험이 있을까 궁금해서 공통적으로 질문을 드렸었는데요 많은 분들이 이론과 현실이 많이 다르다고 소개를 해주시더라고요 그리고 아무리 좋은 모델, 최신 모델이라도 우리 데이터, 우리 상황에 적합하지 않을 수 있다 이거는 이것도 되게 거의 대부분 모든 분들이 다 말씀해주신 것 같아요 그리고 엔지니어리티크하게는 파이프라인이 중요하고 안정적인 서빙 그리고 생각보다 많은 voc를 어떻게 대응할 수 있을까도 되게 힘들었던 부분이었다라고 많이 말씀을 좀 해주셨고요 그리고 적지 않은 분들이 어떻게 설명해야 될까 왜 추천이 왜 됐는가 그리고 우리가 만든 추처 시스템은 연구자분들이나 개발자분들은 이게 추천 시스템이 좋다 어떤 매트릭을 기반으로 해서 되게 좋다 성능이 좋다라고 말할 수 있는데 이거를 다른 진짜 아무것도 모르는 분들한테 어떻게 설명할 수 있을까 그게 되게 정말 힘들었다 그리고 힘든 과정이다 라고 말씀 많이 해주시더라고요 이런 현업에, 다양한 현업에 계신 분들도 이렇게 좀 힘든 부분이 이렇게 좀 있으시거나 소통하시고 왜 추천이 됐는가 설명하는 게 좀 힘드시구나 라는 것도 이번에 좀 많이 느끼고 왔었습니다 그리고 마지막으로 공통적으로 질문 드렸던 게 추천 시스템 기준에서 어떤 목표가 있는지 물어봤는데 최종적으로는 이제 아무래도 추천 시스템이 회사 비즈니스 목표에 직접적으로 영향을 비칠 수도 있으니까 그런 비즈니스 목표에 적합한 추천 시스템을 만들고 싶고 모든 것을 자동화하고 싶다라고 하시는 분도 계셨어요 진짜 엔드 투 엔드 부터 처음부터 끝까지 그냥 다 자동화를 하고 싶다
그래서 자기는 그냥 VOC 처리만 하고 싶다라고 말씀하시는 분도 계셨고 좀 많이 설명해주신 부분이 고객이 만족할 수 있는 추천 시스템을 구축하고 싶다 그리고 왜 이렇게 추천되어 있는지에 대한 설명을 좀 되게 리즈너블하게 제공해주고 싶다 그게 제일 힘들고 가장 중요한 힘들지만 가장 중요하기 때문에 그렇게 좀 해주고 싶다라고 말씀도 많이 해주셨습니다 그래서 제가 이번에 렉시스20에 다녀왔을 때 이제 이 세 가지 노벨티 트렌드 인더스트리어 관점에서 제가 정리를 해봤고요 노벨티 쪽에서는 컨트래스팅, 컨트래스팅 러닝, AR, VR, 디바이스에서 환경 그리고 트렌드에서는 강화학습과 익스플레이더블티 그리고 인더스트리얼 영역에서는 제가 공통적인 질문을 정리를 해서 신문자분들의 관점을 정리를 해봤습니다 제가 시간 관계상 다 뭐 설명 못 드리는 것도 있는데 그 외에도 좀 재밌는 내용 몇 가지만 더 소개를 해드리려고 합니다 첫 번째는 UI에 대한 내용이었어요 그러니까 이 UI, UX를 어떻게 그리면 레코미데이션에 적합하게 사용자한테 제공할 수 있을 것이냐에 대한 내용도 발표 중간에 있었고요 그리고 이미지를 어떻게 벡터화 표현하고 얘를 어떻게 잘 클러스트링 하냐라는 것들에 대한 내용도 다양하게 많이 있었습니다 시간 관계상 이것들은 제가 소개시켜 드리지는 못했지만 이런 다른 흥미로운 내용들이 많았다는 것을 같이 언급을 드리고 싶었습니다 마지막으로 레시스 202의 전반적인 합계 분위기 사진을 가지고 마무리를 하면서 이번에 발표 기회를 주신 업스테이지 측과 제가 갔다 와서 좋은 인사이트를 얻을 수 있게 된 회사 측에 감사의 말씀 드리면서 이번 발표를 마무리하겠습니다 감사합니다 네 감사합니다 발표 정말 잘 들었습니다 실제로 다녀온 것 같은 정말 리얼한 헤이 커먼 발표 오늘 잘 들었고요 그러면 저희가 이제 좀 시간이 오버됐긴 하지만 질문을 한번 들어보면 좋을 것 같아요 제가 처음에 현업에서 일하셨을 때 연구하셨을 때 다른 점이 있을지 궁금합니다 이 질문을 드리고 싶었었는데 사실 수진님께서 발표를 해주시면서 약간 좀 어느 정도 답변을 해주신 것 같아서 이 질문에 추가 코멘트 해주실 것이 있으실까요?
현업에서 일했을 때랑 연구하실 때 다른 점 아무래도 아까 그 민주님께서 마지막에 소개해 주신 표가 답이 되는 것 같아요 현업의 분들은 아무래도 성과와 아니면 비즈니스 매트릭과 밀접하게 관련이 있기 때문에 그런 것들을 좀 되게 많이 고민을 해야 되니까 고객 관점에서 대해서 좀 많이 고민을 해야 되고 그리고 각 필요에 따라서 성능보다는 속도를 좀 더 따져야 될 때도 많고요 그런 것들이 아마 연구랑 일반적인 연구만 했을 때랑 현업에서 할 때랑 그런 것들이 약간의 차이가 있는 것 같습니다 그렇군요, 그렇군요.
답변해주셔서 감사합니다 질문을 마지막으로 하나만 더 들어보면 그러면 수진님이 생각하시기에 렉세스 2021에서 가장 화두가 되는 도메인을 하나 꼽아보려면 어떤 것이 좀 있을까요?
이 도메인이라는 게 분야라고 생각하면 인더스트리 영역에서 이미지를 활용한 것들이 굉장히 많았던 것 같아요 제가 이 ppt에서도 이미지에 대한 내용도 두 개 정도 스쳐 지나가긴 했지만 두 개 정도가 있었고 그 이미지를, 실제 이미지를 가지고 뭔가 서비스를 하는 회사분들도 오셨고 그래서 그 이미지를 어떻게 사용자한테, 왜 사용자가 이 이미지를 클릭했는가 왜 인터랙티브 했는가에 대한 고민을 했던 게 굉장히 많이 보였었습니다 그렇군요, 그렇군요.
답변 감사합니다 수진님이 한번 이렇게 훑어주셔서 그 수많은 좋은 논문들 중에서도 어떤 게 재밌겠다 하는 것들을 좀 추려볼 수 있어서 되게 유익한 시간이 됐던 것 같습니다
그러면 오늘 긴 시간 함께해주신 분들께 다시 한번 감사의 말씀을 전해드리며 추후 랩업 이메일을 통해서 다시 인사를 드리도록 하겠습니다 늦은 밤까지 자리를 지켜주시고 함께해주신 분들 감사합니다 지금 민주님이랑 원두님 올라와 계시지는 않지만 마지막으로 한번 오늘 정말 고생 많으셨어요 감사의 인사를 드리며 이벤트를 이만 마쳐보도록 하겠습니다 감사합니다 감사합니다