Vector DB 벤치마크는 당신을 속이고 있습니다

프로젝트를 위한 신뢰할 수 있는 Vector database를 선택하는 것은 마치 거울의 방을 헤매는 것과 같습니다. 모든 벤더의 벤치마크 페이지는 자사 제품을 최상단에 자랑스럽게 내세우며, 업계 전반에 혼란을 야기하고 게시된 성능 지표에 대한 신뢰를 떨어뜨리는 모순된 상황을 연출합니다. 이러한 광범위한 현상이 반드시 악의적인 의도나 고의적인 기만에서 비롯된 것은 아닙니다.

오히려 이는 정직한 vector search benchmarking이 얼마나 어려운지를 보여줍니다. 이러한 복잡한 시스템을 정확하게 평가하려면 막대한 컴퓨팅 자원과 세심한 방법론이 필요하며, 이로 인해 많은 벤더가 지름길을 택하게 됩니다. 이는 종종 불완전하거나 "설익은" 결과로 이어져, 진정한 성능 통찰력을 찾는 사용자들에게 객관적인 비교를 거의 불가능하게 만듭니다.

이러한 벤치마킹 과제의 핵심은 정확도를 측정하는 가장 중요한 지표인 recall입니다. Recall은 엔진이 데이터셋에서 쿼리의 실제 가장 가까운 이웃(nearest neighbors) 중 얼마나 많은 수를 실제로 검색했는지를 정확하게 수치화합니다. 이 지표를 신뢰성 있게 측정하려면 먼저 이러한 실제 가장 가까운 이웃을 근사치가 아닌 정확하게 계산하여 비교를 위한 기초적인 "ground truth"를 확립해야 합니다.

이러한 정확한 ground truth를 달성하는 것은 대규모 배포 환경에서는 컴퓨팅 비용이 너무 많이 듭니다. 120,000개의 쿼리로 처리되는 100억 개의 벡터 데이터셋을 고려해 보십시오. 이 시나리오에서는 1,000조(10^15) 번 이상의 정확한 거리 계산이 필요합니다. 이러한 천문학적인 계산 장벽 때문에 이전까지는 누구도 이렇게 철저하고 정밀한 계산을 수행하지 못했으며, 이로 인해 벤더의 주장에 대한 깊은 회의론이 조성되고 업계에는 진정으로 신뢰할 수 있는 독립적인 벤치마크가 부재하게 되었습니다.

Vector database의 진정한 성능을 측정하는 것은 주어진 쿼리에 대해 엔진이 검색하는 실제 가장 가까운 이웃의 비율인 recall에 달려 있습니다. 이 지표는 근본적인 딜레마를 제시합니다. recall을 정확하게 평가하려면 먼저 근사치 없이 계산된 가장 가까운 이웃의 정확한 집합인 "ground truth"를 보유해야 합니다. 이 결정적인 답이 없다면, 모든 recall 측정은 본질적으로 추측에 불과합니다.

이 ground truth를 확립하는 것은 컴퓨팅 측면에서 엄청난 작업입니다. 120,000개의 쿼리가 필요한 100억 개의 벡터 데이터셋을 고려할 때, 정확한 가장 가까운 이웃을 결정하려면 1,000조(10^15) 번 이상의 거리 계산이 필요합니다. 이러한 천문학적인 규모는 역사적으로 대다수에게 포괄적이고 편향되지 않은 벤치마킹을 비실용적으로 만든 컴퓨팅 장벽을 나타냅니다.

이러한 막대한 비용은 업계가 진정으로 중립적인 대규모 벤치마크 데이터셋을 개발하는 것을 직접적으로 가로막아 왔습니다. 결과적으로 벤더들은 어쩔 수 없이 자체적인, 종종 더 작은 규모의 벤치마크를 만들게 되었고, 이는 의도치 않게 자기 중심적인 성능 주장이라는 악순환을 지속시켰습니다. 이러한 역사적 장벽이 객관적인 Vector database 평가를 얻는 데 따르는 지속적인 어려움을 설명합니다.

Qdrant는 ground truth(정답 데이터)를 구축하는 계산 집약적인 작업을 수행함으로써 업계 판도를 극적으로 변화시켰습니다. 이전에는 100억 개의 벡터에 대해 정확한 최근접 이웃을 계산하려면 1,000조 번 이상의 거리 계산이 필요했으며, 이는 극복할 수 없는 장벽이었습니다. 하지만 Qdrant는 막대한 GPU 자원을 투입하여 100억 개의 벡터로 구성된 24TB 규모의 데이터셋을 구축했고, 이를 공개했습니다. 이러한 기념비적인 노력은 인터넷 규모의 벡터 검색을 위한 최초의 정밀한 ground truth를 제공합니다. 자세한 내용은 Internet-Scale Knowledge Retrieval: A Novel Vector Search Dataset at 10B Scale - Hugging Face에서 확인하실 수 있습니다.

이 새로운 명확성은 엔진 간의 뚜렷한 성능 차이를 드러냅니다. 이 엄격한 데이터셋의 일부를 사용하여 테스트했을 때, Elasticsearch는 설정과 관계없이 95% 정확도를 넘어서는 데 어려움을 겪었습니다. 반면, Qdrant와 Milvus는 모두 일관되게 98%의 정확도를 달성하여 진정한 최근접 이웃을 검색하는 데 있어 우수한 능력을 입증했습니다.

이러한 결과는 각 엔진의 뚜렷한 운영 프로필을 강조합니다. Elasticsearch는 대략적으로 맞는 결과를 가장 빠르게 얻을 수 있는 방법으로, 리콜(recall) 요구 사항이 덜 중요한 경우에 속도를 제공합니다. 그러나 Qdrant는 높은 정밀도와 빠른 검색을 모두 요구하는 애플리케이션을 위한 확실한 리더로 부상했으며, 경쟁력 있는 속도로 가장 정확한 결과를 제공합니다. 이 데이터셋은 마침내 객관적이고 공정한 비교를 가능하게 합니다.

100억 개의 벡터와 24TB 규모의 데이터셋에 대한 ground truth를 계산해낸 Qdrant의 기념비적인 노력은 전체 업계의 판도를 바꾸고 있습니다. 1,000조 번의 거리 계산을 통해 탄생한 이 공개 리소는 이전에는 너무 비용이 많이 들고 복잡하다고 여겨졌던 리콜 측정을 위한 검증 가능한 기준을 마침내 제공합니다. 이러한 발전은 그 어떤 개별 벤치마크 결과보다 훨씬 더 중요합니다.

벤더가 발표하는 주장을 항상 비판적으로 바라보십시오. 모든 벡터 데이터베이스 벤더는 벤치마크의 본질적인 어려움으로 인해 자사 제품이 우수하다고 홍보합니다. 이러한 선별된 서사에 의존하는 대신, 이 새로운 데이터를 활용하여 스스로 판단하십시오.

이 전례 없는 도구들을 활용하여 귀하의 특정 운영 워크로드(production workload)에 대해 데이터베이스를 엄격하게 테스트하십시오. 이는 귀하만의 고유한 쿼리 패턴과 데이터 특성에 대한 성능을 평가하는 것을 의미합니다. 목표는 단 하나의 '승자'를 선언하는 것이 아니라, 실제 환경에서의 장단점을 면밀히 이해하는 것입니다.

애플리케이션을 위해 검색 속도, 리콜 정확도(recall accuracy), 운영 비용 간의 복잡한 상호 작용을 고려하십시오. 예를 들어, Milvus와 Qdrant 모두 98%의 정확도를 달성할 수 있지만 속도 프로필은 크게 다를 수 있습니다. 귀하의 정보에 입각한 결정은 최적의 시스템 설계를 위해 이러한 중요한 요소들의 균형을 맞추는 데 달려 있습니다.

왜 대부분의 벡터 데이터베이스 벤치마크는 신뢰할 수 없나요?

벤치마크가 신뢰할 수 없는 이유는 '리콜'과 같은 성능 지표를 정확하게 측정하는 데 막대한 계산 비용이 들기 때문입니다. 많은 벤더가 지름길을 택하며, 이로 인해 자사가 경쟁사보다 우수한 것처럼 보이는 편향되고 '설익은' 결과가 도출됩니다.

벡터 데이터베이스 맥락에서 '리콜(recall)'이란 무엇인가요?

리콜은 검색의 정확도를 측정합니다. 이는 주어진 쿼리에 대해 데이터베이스가 성공적으로 검색한 실제 최근접 이웃의 비율입니다. 98% 리콜은 엔진이 실제 가장 가까운 벡터 100개 중 98개를 찾아냈음을 의미합니다.

Qdrant의 100억 개 벡터 데이터셋이 갖는 의미는 무엇인가요?

이 24TB 데이터셋은 정확한 최근접 이웃의 사전 계산된 'ground truth'를 포함하는 최초의 대규모 데이터셋입니다. 이는 서로 다른 벡터 데이터베이스를 정확하게 벤치마킹할 수 있는 공개적이고 편향되지 않은 기반을 제공하여 주요 업계 문제를 해결합니다.

새로운 벤치마크에 따르면 어떤 벡터 데이터베이스가 가장 좋나요?

모든 경우에 '최고'인 것은 없습니다. 테스트 결과 각기 다른 강점이 나타났습니다. Elasticsearch는 '대략적으로 정확한' 결과(~95% 정확도)를 얻는 데 빠르며, Qdrant와 Milvus는 더 높은 정밀도(~98% 정확도)를 달성할 수 있습니다. 특히 Qdrant는 속도와 정밀도 모두 뛰어난 것으로 평가받았습니다.