유튜브 알고리즘은 사용자의 취향과 기호를 분석해 끊임없이 새로운 영상을 추천합니다. 사용자가 플랫폼에 더 오래 머무르게 하기 위함이죠. 2016년부터 사용하기 시작한 이 알고리즘은 유튜브의 성장과 인기에 지대한 영향을 미쳤습니다.
유튜브 알고리즘이 사용자들의 마음을 사로잡을 수 있었던 근거는 무엇일까요? 간단히 말하자면, 유튜브를 구동하는 시스템의 아키텍처에 있습니다. 머신러닝은 알고리즘의 효율성을 크게 향상시켰고, 시청자가 유튜브의 추천 동영상을 따를 확률을 크게 향상시켰습니다. 한 설문조사 기관에 따르면, 유튜브 사용자의 80% 이상이 유튜브에서 추천하는 동영상을 시청한다고 하죠.
유튜브의 알고리즘 작동 원리를 알면, 다른 추천 모델을 성공적으로 사용하는 방법에 대해서도 인사이트를 얻을 수 있습니다.
유튜브 알고리즘 실패와 최적화의 역사
유튜브는 2005년에 창립한 이후, 수십억 명의 사용자가 매월 수십억 시간의 동영상을 시청하는 플랫폼으로 성장했습니다. 유튜브에서 사용하는 알고리즘과 데이터는 수년에 걸쳐 업데이트를 거듭했습니다.
2005년부터 2011년까지, 클릭 유도에 집중
당시 유튜브는 조회수를 기준으로 사용자에게 추천할 동영상을 리스트업했습니다. 즉, 많은 사람들이 본 영상을 더 자주 추천하는 시스템이었죠.
하지만 매력적인 비디오가 반드시 플랫폼 체류 시간을 늘려주는 것은 아니었습니다. 오히려 클릭을 유도하는 ‘베이트성 비디오’가 속출하면서 사용자들의 불만을 야기했죠. 이런 영상들은 높은 조회수를 기록하지만, 사용자 참여도가 낮았습니다.
2012년부터 2016년까지, 참여에 집중
유튜브는 사용자들이 플랫폼에 머무르는 시간을 더 늘리고 싶었습니다. 그래서 사용자들이 더 오래 시청한 동영상을 추천하기 시작했습니다.
더 오래 볼 가능성이 높은 동영상을 추천하면, 플랫폼 체류 시간은 자연스럽게 개선됩니다. 이는 사용자가 유튜브 안에서 회전하는 광고를 볼 가능성도 더 높아집니다. 시청자가 오래 볼 동영상에 메리트가 생기는 만큼, 악성 베이트 비디오 문제는 차츰 나아지고 있었습니다.
이후 2015년부터 약 2년간 만족을 위한 최적화 작업에 나섰습니다. 적극적인 사용자 설문조사를 통해 시청 만족도를 직접 조사하기 시작했죠. 직접 응답 측정 항목에는 여러 가지가 있었지만, 그 중에서도 내부적인 우선 순위를 책정하여 점수를 매겼습니다.
2015년은 우리가 잘 아는 ‘알고리즘의 선택’의 전신을 다듬는 해였습니다. 사용자 설문조사를 통해 특정 시청자가 보고 싶어하는 동영상을 찾는 시도를 거듭했죠. 이를 통해 알고리즘의 개인화에 성공했으며, 사용자들은 유튜브에 머무르는 시간의 70%를 추천 동영상 시청에 쓰기 시작했습니다.
2016년부터 현재까지, 안전에 집중
유튜브의 조상 격을 찾아 올라가면, 국내에는 ‘판도라TV’라는 커뮤니티가 있었습니다. 2004년 국내 최초의 동영상 사이트로 출범하여 2007년에는 ‘글로벌 100대 기업’에 선정되는 영광을 안기도 했죠. 그러나 당시 저작권 개념이 희박했던 시대를 잘 만났던 것이라는 평가도 있습니다. 결국 2022년에는 저작권 침해 및 위험한 영상으로부터 사용자를 보호하기 위해 일반 이용자의 업로드를 제한하기도 했습니다.
유튜브가 여전히 누구나 동영상을 올릴 수 있는 오픈 커뮤니티라는 점과 비교하면 아쉬운 결정입니다. 물론, 판도라TV와 다르게 유튜브는 유해한 정보의 확산을 막고 다양한 의견을 지지하기 위해 부단한 노력을 해왔습니다. 크리에이터들에게 가이드라인을 배포하고, 유해하거나 오해의 소지가 있는 콘텐츠를 소비하지 못하도록 적극적으로 대응하고 있습니다.
유튜브 알고리즘 원리
유튜브 알고리즘은 몇 가지 근거에 기반하여 사용자의 취향을 탐색하고, 그에 따른 추천 동영상을 유튜브 홈에서 보여줍니다.
가장 먼저 시청자의 시청 이력과 선호도를 기반으로 개인화 데이터를 수집합니다. 예를 들어 함께 자주 보는 동영상이나 주제 관련 동영상, 사용자가 과거에 본 동영상 등을 추천 동영상으로 큐레이팅합니다. 나와 비슷한 시청자들이 관심 있을 법한 소재의 동영상을 찾아내는데, 이것이 소위 말하는 ‘알고리즘의 선택’이죠.
다음은 동영상의 성공 여부에 따른 추천입니다. 사용자들의 시청 시간이 오래 되었거나, 꾸준히 좋은 조회수 지표를 기록한 동영상을 추천합니다. 개인의 취향과 더불어 사용자들이 전반적으로 만족했던 동영상이 함께 제공된다면, 알고리즘에 대한 신뢰나 만족도가 훨씬 더 높아지게 되죠.
그 외에도 전체 고객 또는 시장의 선호도에 따른 추천 양상도 있습니다. 외부 요인에 의한 것이라고 할 수 있겠죠. 많은 사람들이 관심 있을 법한 세계적인 뉴스들이 여기에 포함되기도 합니다.
유튜브 알고리즘 구조
위에서 유튜브 알고리즘의 추천 동영상의 까다로운 조건에 대해서 알아보았습니다. 그렇다면 알고리즘은 어떤 과정을 거쳐 우리의 유튜브 홈을 채우는 걸까요? 그 심사숙고의 과정에 대해 분석해보겠습니다.
첫 번째 단계는 플랫폼에서 사용자의 활동에 대한 데이터를 수집하는 것입니다. 여기에는 시청하는 동영상, 시청 시간, 동영상과 상호 작용하는 방식이 포함됩니다. 예를 들면 좋아요나 댓글, 공유나 구독 등의 행위가 있습니다. 다음 단계는 사용자의 활동 데이터에서 관련 특징을 추출하는 것입니다. 제목, 설명, 태그와 같은 비디오에 대한 메타 데이터와 위치 및 장치 유형과 같은 사용자에 대한 정보가 포함됩니다.
추출된 특징은 임베딩이라는 프로세스를 사용하여 벡터 표현으로 변환됩니다. 의미론적 의미를 보존하는 방식으로 각 기능을 고차원 벡터에 매핑하는 작업이 포함되죠.
벡터 표현은 신경망에 입력되어 사용자가 주어진 비디오에 참여할 확률(예: 시청, 좋아요 등)을 예측하는 방법을 학습합니다. 신경망은 네트워크의 가중치를 조정하여 예측 오류를 최소화하는 역전파라는 기술을 사용하여 사용자 활동 데이터의 대규모 데이터 세트에서 훈련됩니다.
훈련이 끝난 신경망은 각 비디오와 사용자 선호도, 평균 조회율 간의 유사성 점수를 매기는 데에 사용할 수 있습니다. 요컨대, 동영상의 임베딩이 사용자의 임베딩과 얼마나 밀접하게 일치하는지 검토하는 것이죠. 뿐만 아니라 동영상의 인기도 및 최신성과 같은 기타 요인을 기반으로 하기도 합니다. 아무리 사용자 선호도가 맞다고 해도 십여 년 전의 영상을 추천 동영상으로 올리기에는 부적합할 수도 있기 때문이죠.
마지막으로 알고리즘은 유사도 점수가 가장 높은 동영상에 순위를 매겨 사용자에게 추천하면서 모든 과정을 갈무리합니다. 순위는 사용자의 시청 기록이나 추천 동영상의 다양성, 사용자의 관심사 등 동영상의 전반적인 관련성과 같은 추가 요소를 고려해 지정되기도 합니다. 유튜브 피드에서 같은 동영상이 몇 번이나 뜨는 현상을 보신 적 있다면, 아마 그 영상은 알고리즘이 보증하는 ‘당신의 취향’일 가능성이 높습니다.
유튜브 알고리즘 머신러닝을 위한 임베딩
알고리즘의 로직 중에서 눈여겨 봐야 할 것은 두 가지가 있습니다. 그 중 첫 번째는 임베딩입니다. 임베딩은 의미론적 의미를 보존하는 방식으로, 데이터를 표현하기 위해 머신러닝에 사용하는 기술입니다. 유튜브 알고리즘의 맥락에서 임베딩은 비디오에 대한 메타데이터와 사용자에 대한 정보를 신경망에서 처리할 수 있도록 고차원의 벡터로 변환하는 데에 사용하고 있습니다.
임베딩의 목표는 입력 데이터의 각 기능을 연속 벡터 공간에 매핑하여, 의미론적으로 유사한 기능이 공간의 가까운 지점에 매핑되도록 하는 것입니다. 예를 들어 비슷한 콘텐츠의 동영상이나 선호도가 비슷한 사용자끼리는 유사한 임베딩을 가질 확률이 높습니다.
임베딩을 생성하는 방법에는 여러가지가 있습니다. 가장 일반적인 접근 방식은 신경망을 사용하는 것입니다. 이 때 신경망은 비디오 메타데이터 및 사용자 활동 데이터의 대규모 데이터 세트를 통해 훈련됩니다. 학습하는 동안 네트워크는 입력 기능을 저차원 임베딩 공간에 매핑하여, 데이터의 일부 측면을 예측하는 방식으로 학습합니다.
임베딩 벡터는 일반적으로 크기가 고정되어 있고, 많은 차원 수를 가지고 있습니다. 신경망 훈련이 끝나면 임베딩 벡터를 유튜브 알고리즘의 추천 엔진과 같은 다른 머신러닝 알고리즘에 대한 입력으로도 사용할 수 있죠.
그 외에도 유튜브 알고리즘에서 임베딩을 사용하면 두 가지 이점이 있습니다. 먼저 임베딩은 복잡한 데이터를 머신러닝 알고리즘을 통해 간결하게 구조화된 형식으로 나타낼 수 있습니다. 또한 임베딩을 통해 알고리즘은 서로 다른 비디오나 사용자 간의 유사성과 같은 복잡한 관계를 캡쳐할 수 있습니다. 기존의 기능 엔지니어링 방법으로는 데이터의 서로 다른 기능 간의 구조 분석이 까다로웠으나, 임베딩으로는 보다 쉽게 처리할 수 있게 된 것이죠.
유튜브 알고리즘의 딥러닝 신경망
유튜브 추천 알고리즘에서 신경망은 ‘역전파’라는 기술을 사용하여 훈련하고 있습니다. 역전파는 신경망의 가중치에 대한 손실 함수의 기울기를 계산하는 프로세스입니다. 그래디언트는 네트워크의 가중치를 업데이트하는 데에 사용하기 때문에, 네트워크는 각 비디오에 대한 사용자 참여 가능성을 훨씬 더 정확하게 예측할 수 있습니다.
유튜브 알고리즘에 사용하는 신경망 아키텍처는 일반적으로 심층 피드포워드 신경망입니다. 네트워크는 임베딩 벡터를 입력으로 사용하고, 후보 비디오 집합에 대한 확률 분포를 출력으로 생성합니다. 또한 신경망 훈련에 사용하는 손실 함수는 교차 엔트로피 손실입니다. 예측된 확률 분포와 각 비디오에 대한 실제 사용자 참여 분포 간의 차이를 최소화하기 위함이죠. 또한 확률적 경사 하강법(SGD) 또는 그와 유사한 최적화 알고리즘을 사용합니다.
최종적으로 레이어 수나 레이어당 뉴런 수, 학습 속도 및 정규화 강도와 같은 신경망의 하이퍼파라미터는 별도의 사용자 활동 데이터 검증 세트를 사용해 튜닝합니다. 또한 과적합을 방지하기 위해 학습 중에 드롭아웃 또는 L2 정규화와 같은 정규화 기술을 네트워크에 적용할 수도 있죠.
신경망의 가중치는 사용자 활동 데이터 배치에서 여러 번 업데이트하는 것을 원칙으로 합니다. 훈련된 신경망을 사용하여 활동 기록 및 선호도를 기반으로 사용자에게 개인화된 동영상을 추천할 수 있게 되죠. 추천 알고리즘의 핵심은 신경망의 학습에 달려있습니다.
비즈니스 모델로서의 유튜브 알고리즘 : 당신의 취향은 돈이 된다
처음 유튜브가 ‘추천 동영상’ 피드를 운영한 것은 플랫폼에 머무르는 시간을 늘리기 위함이었습니다. 덜 클릭하고 더 많이 보게 하기 위함이었죠.
이후 유튜브는 클릭베이트 문제를 해결하면서 알고리즘을 비즈니스 모델로 사용하기 위해 여러 방법을 고안했습니다. 유튜브에서 수익을 창출하는 주요 방법 중 하나는 역시 광고입니다. 하지만 유튜브는 알고리즘을 이용하여 Target 맞춤 광고를 할 수 있게 되었습니다. 사용자의 관심사와 선호도에 따라 사용자와 관련된 광고를 제공하는 것이죠.
하지만 이와 반대로 Youtube Premium이라는 프리미엄 구독 서비스도 제공하고 있습니다. 이 서비스를 통해 독점 콘텐츠와 기능은 물론, 동영상에 광고 없이 접근할 수 있죠. 물론 여기에도 추천 알고리즘의 눈부신 활약이 있습니다. 프리미엄 가입자가 유료 구독을 지속할 수 있도록, 콘텐츠 추천을 개인화하는 데에 사용되고 있죠.
유튜브를 포함해 많은 기업들이 추천 알고리즘을 사용해 사용자 최적화에 나서고 있습니다. 서비스업은 물론 금융업, 소매업 등에서 추천 모델을 통해 ‘개인의 취향’을 파악하기 위해 안달이 나있죠. 잘 만들어진 추천 알고리즘은 소비자의 환심을 살 수 있습니다. 하지만 거기에는 모델을 다루는 전문성과 서비스에 대한 높은 이해를 기반으로 해야 하죠. 당신의 비즈니스에 유튜브와 같은 눈치 빠른 인공지능 모델이 필요하신가요? 수준 높은 AI 기업과 함께해야 할 때입니다.
.svg)
