- 구글의 새로운 다중 벡터 검색 알고리즘(MUVERA)은 검색 속도를 높이고 복잡한 쿼리에 더 뛰어난 성능을 보입니다.
- MUVERA 알고리즘은 검색 속도와 복잡한 쿼리 처리 성능을 크게 개선합니다.
- 다중 벡터 검색 방식으로 효율성을 높이며, 검색 비용 및 운영 자원을 줄입니다.
구글은 MUVERA(Multi-Vector Retrieval Algorithm) 라는 새로운 검색 알고리즘을 발표했습니다.
이 알고리즘은 검색 및 순위 결정 속도를 개선하고 정확도를 높입니다.
MUVERA는 구글 검색뿐 아니라 유튜브 같은 추천 시스템이나 자연어 처리(NLP)에도 활용될 수 있습니다.
비록 구글은 공식 발표문에서 이 알고리즘이 실제 검색에 사용되고 있다고 명시하지는 않았지만,
연구 논문에 따르면 MUVERA는 효율적인 다중 벡터 검색(multi-vector retrieval) 을 가능하게 하며,
이를 단일 벡터 MIPS(Minimum Inner Product Search) 문제로 단순화함으로써,
기존 검색 인프라(off-the-shelf 시스템) 를 활용하고 지연 시간과 메모리 사용량을 줄이면서도 대규모 애플리케이션에 적합한 성능을 보여줍니다.
검색에서의 벡터 임베딩
벡터 임베딩이란 단어나 주제, 구문 간의 관계를 다차원 공간에 표현하는 것을 의미합니다.
이는 기계가 유사성을 이해할 수 있도록 해주며, 예컨대 같은 맥락에서 자주 등장하거나 의미가 유사한 단어/구문이 서로 가까운 공간에 위치하게 됩니다.
예를 들어:
-
“리어왕(King Lear)”이란 말을 보면, AI는 “셰익스피어 비극”과 관련이 있다고 생각합니다.
-
“한여름 밤의 꿈(A Midsummer Night’s Dream)”은 “셰익스피어 희극”과 가까운 단어라고 인식합니다.
단어, 구문, 개념 간의 거리는 수학적으로 유사도를 측정한 값이며, 이 거리 패턴을 통해 인공지능은 이들 간의 연관성을 추론할 수 있습니다.
즉, 단어들이 그냥 철자만 비슷한 게 아니라, 무슨 뜻인지와 어떤 맥락에서 쓰였는지를 바탕으로
비슷한 말들을 가까운 위치에 놓고 비교하게 되는데요, 이걸 벡터 임베딩이라고 합니다.
MUVERA, 다중 벡터 임베딩의 고유 문제를 해결
MUVERA 연구 논문에 따르면, 신경망 임베딩(neural embeddings)은 지난 10년간 정보 검색 분야에서 활용되어 왔으며,
2020년에 발표된 ColBERT 다중 벡터 모델은 하나의 획기적인 성과로 언급됩니다.
하지만 해당 모델은 이상적인 구조라고 보기 어려운 병목 현상(bottleneck) 을 겪고 있다고 지적됩니다.
“최근, ColBERT 논문을 시작으로 각 데이터 포인트마다 다수의 임베딩을 생성하는 다중 벡터 모델들이 IR 작업에서 뚜렷하게 우수한 성능을 보여주고 있습니다. 안타깝게도, 이러한 모델을 정보 검색에 활용하려면 다중 벡터 검색과 점수 계산의 복잡성이 증가하여 연산 비용이 매우 높아지는 문제가 있습니다.”
MUVERA에 대한 구글의 발표는 위와 같은 단점을 반영합니다.
"최근 ColBERT와 같은 다중 벡터 모델의 도입을 통해 정보 검색 작업에서 크게 향상된 성능이 입증되었습니다. 이 다중 벡터 접근법은 정확도를 높이고 더 관련성 높은 문서를 검색할 수 있도록 해주지만, 상당한 연산 비용이 드는 문제도 함께 발생시킵니다. 특히, 임베딩 수의 증가와 다중 벡터 유사도 점수 계산의 복잡성으로 인해 검색 비용이 크게 증가합니다.”
쉽게 말해, 이전에도 비슷한 기술은 있었어. 예를 들어 ColBERT라는 시스템도 있었는데,
그건 좋은 결과를 주긴 했지만 계산이 너무 많아서 느리고 비용도 많이 들었습니다.
하지만 MUVERA는 이 문제를 똑똑하게 해결했습니다.
- 여러 개의 복잡한 계산을 하나의 간단한 계산으로 바꿈
- 기존 시스템(구글이 이미 쓰고 있는 기술)으로도 쉽게 쓸 수 있게 만들었음
- 그래서 더 빠르고 정확하게 검색 결과를 보여주게 됨
MUVERA, , 구글의 RankEmbed 기술의 차세대 기술일 가능성?
미국 법무부(DOJ)의 반독점 소송 과정에서 제출된 증언에 따르면, 구글이 검색 결과 페이지(SERP)를 생성하는 데 사용하는 신호 중 하나는 RankEmbed라는 것이며,
이에 대한 설명은 다음과 같았습니다:
“RankEmbed는 쿼리와 문서를 임베딩 공간에 넣는 듀얼 인코더 모델입니다. 이 임베딩 공간은 쿼리와 문서의 의미적 속성뿐만 아니라 다른 신호들도 함께 고려합니다. 검색 및 순위 매김은 임베딩 공간에서의 내적(dot product) 을 통해 이루어집니다. 속도가 매우 빠르고 일반적인 쿼리에서는 높은 품질을 보이지만, 비주류 쿼리(tail query) 에서는 성능이 떨어질 수 있습니다.”
MUVERA는 다중 벡터 시스템의 성능 및 확장성 한계를 해결한 기술적 진보이며,
이는 듀얼 인코더 모델(RankEmbed와 같은)보다 한 단계 더 진화된 모델로,
더 깊은 의미 이해(semantic depth) 와 비주류 쿼리에 대한 처리 능력을 제공합니다.
MUVERA의 핵심 기술은 고정 차원 인코딩(Fixed Dimensional Encoding, FDE) 이며,
이 기법은 임베딩 공간을 여러 구역으로 나눈 뒤, 각 구역에 해당하는 벡터들을 결합하여 하나의 고정 길이 벡터로 압축합니다.
이 방식은 다수의 벡터를 개별적으로 비교하는 것보다 훨씬 빠른 검색 속도를 가능하게 하며,
의미 기반 표현력을 유지한 채 대규모 시스템에서도 효율적인 다중 벡터 모델 운용을 가능하게 합니다.
공식 발표에 따르면:
“단일 벡터 임베딩과 달리, 다중 벡터 모델은 각 데이터 포인트를 여러 개의 임베딩으로 표현하며, 데이터 간의 더 풍부한 관계를 포착할 수 있는 정교한 유사도 함수를 활용합니다. 이러한 다중 벡터 방식은 정확도를 높이고 보다 관련성 높은 문서를 검색할 수 있게 해주지만, 상당한 연산 부담을 초래합니다. 특히, 임베딩 수의 증가와 다중 벡터 유사도 계산의 복잡성 때문에 검색 비용이 크게 증가합니다.
‘MUVERA: Fixed Dimensional Encoding을 활용한 다중 벡터 검색’에서는 단일 벡터와 다중 벡터 검색 간의 효율성 격차를 해소하기 위해 설계된 새로운 다중 벡터 검색 알고리즘을 소개합니다.
이 새로운 접근법은 고도로 최적화된 MIPS(Most Inner Product Search) 알고리즘을 활용하여 초기 후보 세트를 빠르게 검색한 후, 다중 벡터 유사도로 정밀 재정렬할 수 있게 합니다. 이를 통해 정확도를 희생하지 않으면서도 효율적인 다중 벡터 검색을 실현할 수 있습니다.”
다중 벡터 모델은 듀얼 인코더 모델보다 더 정확한 답변을 제공할 수 있지만,
이러한 정확성은 높은 연산 자원을 요구하는 대가가 따릅니다.
MUVERA는 바로 이 다중 벡터 방식의 복잡성 문제를 해결함으로써,
고정 차원 인코딩(FDE)을 통해 높은 정확도는 유지하면서도 연산 비용을 크게 낮추는 데 성공했습니다.
SEO(검색 최적화)에 어떤 영향이 있을까?
기존에는 SEO를 할 때, 보통은 “정확한 키워드”를 맞추는 데 집중했었습니다.
예를 들어 “청바지 남자 M 사이즈”라는 검색어가 있으면, 그걸 그대로 페이지에 넣어야 했는데요,
하지만 MUVERA는 키워드보다 문장의 의미와 사용자의 의도를 더 중요하게 생각합니다.
예시:
- 그냥 “청바지” “남자” “M”이라는 단어가 들어간 글보다
- 실제 남성용 M 사이즈 청바지를 파는 페이지를 더 위에 노출시키게 됩니다.
즉, 단어 맞추기보다 진짜 유용한 정보를 주는 페이지가 더 유리해질 거라고 예상됩니다.
