Sangmin LeeAI Engineer & Researcher

Tips89 tips

WinOS

89 tips for WinOS, 5-8 showing
2 / 23

ExperimentalCommercial / experiment repo unlicensed

Jev-as-a-Judge: LangSmith에서 agent eval 비용·분산을 분리해 보는 작은 실험

LangChain의 Jev-as-a-Judge 실험은 고정한 agent trace를 반복 평가해, typed decision model이 LLM judge의 비용·지연·반복성 문제에 어떤 선택지를 주는지 보여 주는 재현용 예제입니다.

  • 고정한 agent trace를 반복 평가해 judge 분산을 따로 측정
  • Jev의 typed Noul·Choice·Score 신호를 evaluator로 연결
  • 작은 5-case 실험이라 production 일반화 전 인간 검증이 필수
macOS / LinuxWinOS
#Agent Evals#LangSmith#Jev#LLM-as-a-Judge

danielgshea/jev-as-a-judgeSource ↗

Early accessCommercial / terms apply

TypeSafe Use Case Map: AI를 ‘답변기’보다 판단 라우터로 쓰는 법

TypeSafe의 Use Case Map을 바탕으로, 자동화에 AI 판단을 넣을 때 어떤 문제부터 작게 모델링하고 어떻게 사람 검토 경로를 남길지 정리합니다.

  • 분류·탐지·점수·라우팅으로 문제를 잘게 나누기
  • 확신도에 따라 자동 처리와 검토를 분기
  • 질문과 임계값을 코드에서 함께 리뷰
macOS / LinuxWinOS
#typesafe#decision-api#ai-automation

TypeSafe AI / JevSource ↗

Public web indexNot stated

AIE Talks는 AI Engineer 영상에서 필요한 10분만 찾게 해준다

AIE Talks는 AI Engineer YouTube 채널의 발표 1,135개 이상을 문장형 의미 검색, 핵심 타임스탬프 요약, 주제별 시청 순서(Packs)로 재구성한 공개 웹 인덱스다.

  • AI Engineer YouTube 발표를 1,135개 이상 정리하고, 키워드뿐 아니라 완전한 문장으로 의미 검색할 수 있다.
  • 각 talk는 3줄 TL;DR, 요약, 주제별 timestamp 링크, 인용문, tag로 재구성돼 있어 영상 전체를 훑기 전에 판단할 수 있다.
  • Packs는 같은 주제의 여러 발표를 왜 그 순서로 봐야 하는지까지 붙여, coding agents·evals·context engineering 같은 학습 경로를...
macOS / LinuxWinOS
#AI Engineering#Talks#Video Search#Learning

AIE Talks / KitaruSource ↗