WeMM-Embedding은 왜 2B로 8B 멀티모달 임베딩을 넘었나
Tencent WeChat Vision의 WeMM-Embedding은 Qwen3.5 기반 2B·4B·9B 멀티모달 임베딩 모델군으로, 데이터 정제·세밀한 관련도 감독·교차 규모 증류와 Matryoshka 차원 절감을 결합해 작은 모델의 검색 효율을 밀...
Tag17 posts
#Retrieval
글 목록
RBE는 heavy ranker의 점수를 support 좌표로 바꿔 후보 검색을 다시 설계한다
Relevance-Based Embeddings는 query와 item을 소수 support 집합에 대한 heavy-ranker relevance 벡터로 표현하고, CUR 또는 경량 신경 변환으로 별도 embedding을 만들어 후보 검색에 쓰는 방법...
SkillComposer는 에이전트 스킬 선택을 검색이 아니라 순서 있는 생성 문제로 바꾼다
arXiv 2606.32025는 LLM 에이전트가 어떤 스킬을 몇 개, 어떤 순서로 불러올지를 하나의 시퀀스 생성 문제로 정식화하고, 3.9M 학습 파라미터의 작은 컴포저가 검색·전체 SFT 방식보다 안정적인 스킬 조합을 만든다는 점을 보여준다.
MCompassRAG는 큰 청크 검색을 토픽 메타데이터로 다시 조준한다
arXiv 2606.18508의 MCompassRAG는 RAG의 청크 크기 trade-off를 작은 청크나 런타임 LLM reranker가 아니라, 청크별 토픽 메타데이터와 LLM-teacher distillation으로 학습한 가벼운 retrieve...
Harness-1은 검색 에이전트 학습을 stateful harness 문제로 본다
Harness-1은 20B 검색 에이전트가 긴 transcript 위에서 모든 상태를 기억하게 하는 대신, 후보 풀·curated set·검증 기록을 하네스가 관리하게 만든 RL 기반 검색 에이전트다.
Efficiency Frontier는 LLM 컨텍스트 관리를 비용-성능 최적화 문제로 바꾼다
The Efficiency Frontier는 긴 컨텍스트를 무조건 늘리는 대신, 검색·압축·전체 컨텍스트 전략을 성능 목표와 재사용 조건에 맞춰 선택하는 배포 지향 평가 프레임워크다.
RAG 청킹 최적화는 검색 단위를 설계하는 일이다
요즘IT의 PyCon Korea 2025 세션 정리를 출발점으로, RAG 청킹을 고정 토큰 수 튜닝이 아니라 문맥 보존·메타데이터·검색 비용을 함께 다루는 데이터 인프라 설계 문제로 정리한다.
ctxl-rerank-v2 seq-cls는 CausalLM reranker를 표준 CrossEncoder로 감싼다
sigridjineth/ctxl-rerank-v2-1b-seq-cls는 Contextual AI Reranker v2 1B의 마지막 토큰 vocab_id=0 logit을 단일 SequenceClassification score head로 옮겨, 원래...
Procrustes alignment는 embedding 모델 교체를 호환성 문제로 바꾼다
arXiv 2510.13406은 서로 다른 embedding 모델이 pairwise dot product 구조를 비슷하게 보존한다면 직교 Procrustes 변환만으로 같은 검색·추천·멀티모달 파이프라인 안에서 호환시킬 수 있음을 이론과 세 가지 실험...
LEAF는 작은 embedding 모델을 teacher와 같은 벡터 공간에 맞춘다
LEAF는 teacher embedding을 직접 근사하는 단순한 증류 목표로 23M text embedding 모델을 만들고, 문서는 큰 teacher로 질의는 작은 leaf로 처리하는 비대칭 검색 구조까지 열어 주는 MongoDB Research의...
ZeroEntropy Models는 검색 품질을 모델·API·배포 옵션까지 한 번에 묶는다
ZeroEntropy의 Models 문서는 zembed-1 임베딩, zerank 계열 reranker, zsearch 검색 엔진, API 요금·rate limit·배포 옵션을 하나의 검색 품질 스택으로 보여 준다.
Direct Corpus Interaction은 검색 에이전트의 병목을 retriever가 아니라 interface로 본다
DCI는 임베딩 인덱스와 top-k 검색 API를 우회하고, 에이전트가 raw corpus를 grep·bash·read로 직접 탐색하게 만드는 검색 인터페이스 제안이다.
Ettin Reranker는 retrieve-then-rerank 스택을 작은 ModernBERT 계열로 압축한다
Hugging Face의 ettin-reranker-v1 계열은 Ettin ModernBERT encoder 위에 17M~1B CrossEncoder를 학습해, 공개 데이터·증류 레시피·MTEB/NanoBEIR·속도 벤치마크를 함께 제공하는 실전형 r...
Grep이 정말 충분한가: Agentic Search에서 검색보다 하네스가 성능을 바꾼다
arXiv 2605.15184는 LongMemEval 기반 실험으로 agentic search의 성능이 grep 대 vector만이 아니라 하네스, 도구 출력 전달 방식, 노이즈 스케일링의 결합으로 결정된다는 점을 보여준다.
Jina Embeddings v5 Omni는 텍스트 인덱스를 그대로 둔 채 모든 미디어를 같은 벡터 공간으로 보낸다
jina-embeddings-v5-omni는 Jina v5 Text의 벡터 geometry를 보존하면서 이미지·비디오·오디오 타워를 frozen projector로 붙여, 기존 텍스트 인덱스를 멀티모달 검색 surface로 확장하려는 compact e...
Skill-RAG는 RAG 실패를 더 검색할지보다 어떤 실패인지 먼저 진단한다
arXiv 2604.15771의 Skill-RAG는 hidden-state prober로 검색 실패 상태를 감지하고, query rewriting·question decomposition·evidence focusing·exit skill 중 하나로...
PageIndex는 RAG를 벡터 검색이 아니라 문서 구조 위의 추론 문제로 바꾼다
VectifyAI/PageIndex는 긴 문서를 청킹해 벡터 DB에 넣는 전통적 RAG 대신, 계층적 문서 인덱스와 LLM 추론으로 관련 섹션을 좁혀 가는 vectorless retrieval 프레임을 제안한다.