Argilla는 라벨링 툴을 넘어 사람·모델·데이터셋을 묶는 AI 데이터 워크벤치가 됐다
Argilla는 단순 주석 UI가 아니라 Python SDK, self-hosted 서버, 협업용 데이터셋 스키마를 결합해 human feedback 루프를 운영 가능한 데이터 워크벤치로 바꾼다.
Category
Data Infrastructure
합성 데이터, 데이터 준비, 검증 파이프라인을 시스템 관점에서 기록합니다.
Distilabel의 Pipeline Samples는 합성 데이터 프레임워크를 연구 재현 카탈로그로 바꾼다
Distilabel의 Tutorials 섹션은 synthetic data framework를 단순 SDK가 아니라 ORPO·DPO·retrieval·judge·structured generation 실험을 바로 복제할 수 있는 실행형 cookbook으로 재포지셔닝한다.
CocoIndex는 에이전트의 신선한 컨텍스트를 배치가 아닌 상태 동기화 문제로 다룬다
cocoindex-io/cocoindex는 RAG와 에이전트용 인덱싱을 단순 임베딩 배치가 아니라 declarative target state와 incremental sync 문제로 재정의해, 코드·문서·회의록·PDF·Slack 같은 소스를 항상 최신 컨텍스트로 유지하려는 엔진이다.
Gemma 4 MTP는 speculative decoding을 제품형 추론 가속 계층으로 밀어 넣는다
Google의 Gemma 4 Multi-Token Prediction drafters는 작은 draft model이 여러 토큰을 미리 제안하고 target model이 이를 병렬 검증하는 구조를 통해, 출력 품질을 바꾸지 않으면서 최대 3배까지 추론 속도를 끌어올리려는 inference acceleration layer다.
AutoKernel은 GPU 커널 최적화를 에이전트 실험 루프로 바꾼다
AutoKernel은 PyTorch 모델을 프로파일링해 병목 GPU 커널을 추출한 뒤, Triton 또는 CUDA C++ 커널을 에이전트가 반복적으로 수정·벤치마크·유지/되돌리기 하도록 설계해 하룻밤 단위의 자동 커널 최적화를 가능하게 하려는 오픈소스 프레임워크다.
POP은 prefill만 가지치기해 LLM 추론을 가속한다
POP은 LLM 추론의 prefill과 decode가 서로 다른 역할을 가진다는 점을 이용해, 문맥 인코딩 단계에서만 깊은 층을 생략하고 decode는 풀모델로 유지함으로써 정확도 손실을 크게 늘리지 않고 prefill 지연을 줄이려는 stage-aware pruning 접근이다.
DataFlow는 LLM 데이터 준비를 스크립트에서 시스템으로 끌어올린다
데이터 중심 AI 시대에는 좋은 모델보다 좋은 데이터 파이프라인이 더 큰 차이를 만든다. DataFlow는 생성, 평가, 필터링, 정제를 하나의 실행 가능한 시스템으로 묶는다.
NeMo Data Designer는 합성 데이터를 프롬프트가 아니라 파이프라인으로 만든다
합성 데이터의 품질은 더 좋은 프롬프트 한 줄보다 컬럼 간 상관관계, 검증, 반복 가능한 생성 파이프라인에서 결정된다.