FVQ: 시각 토큰을 이산화해도 이해 성능을 지킬 수 있을까
FVQ는 시각 특징의 재구성 오차와 멀티모달 이해 성능을 분리하고, 병렬 코드북의 비트 예산을 확장해 이산 표현의 가능성을 검증한다. 통제 실험과 대규모 학습 결과, 실제 모델 공개 상태를 구분해 살펴본다.
AI Engineer & Researcher · Showreel 2026
이상Ideal은 높게, 평균Mean은 넘게.
龍飛御天歌(용비어천가) “뿌리 깊은 나무는 바람에 흔들리지 않으니, 꽃이 좋고 열매가 많다.”
석사 과정의 연구로 뿌리와 기둥을 단단히 세웠고, 현업에서 AI 프로젝트마다 가지를 하나씩 뻗어 성과를 맺고 있습니다.
아래로 내리거나 ▶ 재생을 누르세요
ROOTS → TRUNK → BRANCHES → FRUIT
연구로 뿌리 내리고,
프로젝트로 가지를 뻗었습니다
뿌리 · 연구
가지 · 프로젝트
— / 08
설치 한 줄로 받는 AI 역량
연구와 프로젝트에서 쌓은 역량을 여섯 묶음으로 정리했습니다.
묶음마다 실제로 쓴 곳을 함께 적었습니다.
0/ 46 CAPABILITIES
심사를 거친 기록
정부, 산업계, 학회에서 받은 상입니다.
도장이 찍힐 때마다 해당 줄이 확인됩니다.
- 행정안전부 장관상Plan2Do · 한국건설기술연구원 원장상 동시 수상
- 과학기술정보통신부 장관상WIS 2025 혁신상
- 대한상공회의소 회장상기업혁신대상 · AI 항공조업 안전기술 (A-VLAN 전신)
- CES Innovation AwardsbooxTory Best of Innovation · arti Honoree
- APIC-IST Best PaperXception 기반 퇴행성 관절염 분류
- KIIT Best Paper · 우수논문상PoseNet 헬스 트레이너 웹 서비스
Award Sheet · 이상민No. 2026-06
논문과 대회를 한 장에
SCIE 1저자 3편, KCI 2편, 국제학회, 경진대회 기록입니다.
추천 시스템에서 그래프 컨볼루션 네트워크 최적화 방법
임베딩 값 손실과 깊은 층 구성 한계를 Egress 초기화와 Weighted Forwarding으로 완화했습니다.
FilmTrust, MovieLens-1M, Yelp2018, Douban-book에서 검증했습니다. Recall@20 · NDCG@20 · 4 benchmarks Embedding Enhancement method for LightGCN in Recommendation Information Systems 1st author · DOI → Weighted Forwarding in GCN for Recommendation 1st author · DOI → Deep Learning Model Ensemble for Degenerative Arthritis Acc 77.05% · F1 0.78 GNN 추천 성능 향상을 위한 유저 행동 시간 기반 데이터 분석 1저자 · DOI → 다중 연쇄 U-Net으로 개선한 췌장 영역 분할 DSC 0.916 · U-Net 0.896 Egress Initialization · Thin GCN · Over-smoothing in LightGCN 1st author ×3 DACON 39개 대회 · HD현대 AI Challenge 4위 · LG Aimers 팀리더 Top 1% ×7
FilmTrust, MovieLens-1M, Yelp2018, Douban-book에서 검증했습니다. Recall@20 · NDCG@20 · 4 benchmarks Embedding Enhancement method for LightGCN in Recommendation Information Systems 1st author · DOI → Weighted Forwarding in GCN for Recommendation 1st author · DOI → Deep Learning Model Ensemble for Degenerative Arthritis Acc 77.05% · F1 0.78 GNN 추천 성능 향상을 위한 유저 행동 시간 기반 데이터 분석 1저자 · DOI → 다중 연쇄 U-Net으로 개선한 췌장 영역 분할 DSC 0.916 · U-Net 0.896 Egress Initialization · Thin GCN · Over-smoothing in LightGCN 1st author ×3 DACON 39개 대회 · HD현대 AI Challenge 4위 · LG Aimers 팀리더 Top 1% ×7
좋아졌다는 말 대신 숫자로 남깁니다
기준과 비교 대상이 있는 값만 적었습니다.
화면에 들어오면 한 줄씩 검수합니다.
0/ 6 PASS
- 표 구조 복원 TEDS온독스(ONDOKS)0.9188HTML table GT 기준 · TEDS-S 0.9506
- 셀 단위 Cell F1온독스(ONDOKS)0.9702셀 매칭 · CER · Row/Col 일치 병행 측정
- 췌장 분할 DSCMCU-Net M50.916U-Net 0.896 · Pancreas-CT 82 scans · 4-fold
- SCIE Q2 저널1저자3편Electronics · CMC ×2
- DACON 상위 1%경진대회7회39개 대회 참여 · Top 5% 10회
- HD현대 AI Challenge작업 중량 예측4위Public 98.21432 · 시계열 Transformer
AI Engineer & Researcher · AsianaIDT
이상민SANGMIN LEE
연구의 언어를 제품, 운영, 비즈니스 가치의 언어로 번역합니다.
다음 프로젝트는 이 나무의 다음 가지입니다.
dodo9249@gmail.com
NEXT BRANCH09 · 다음 프로젝트
Credits3 roles
실무 및 연구 경력
2025.07 - now
AsianaIDTAI/ML Engineer & Researcher
사내 지식 관리부터 산업안전 RAG, 시장 인텔리전스, 문서 OCR, 영상·멀티모달 관제까지 — 엔터프라이즈 AI 제품을 리서치에서 운영까지 직접 설계하고 구축합니다.
- AIO·Harmony에서 사내 지식 에이전트 플랫폼을 설계 — Graph + Vector 하이브리드 RAG에 ACL 기반 permission-aware retrieval을 결합해 팀·직급별로 답이 달라지는 접근 제어를 구현하고, persona·session·tool trace와 human review queue로 운영 신뢰성까지 확보했습니다.
- Plan2Do에서 현장 이미지·문서와 산업안전 법령 corpus를 Qdrant 검색·LangGraph workflow로 엮어 위험성평가를 자동 생성하는 산업안전 RAG API를 제품화 — 행정안전부 장관상을 받은 AI 산업안전 플랫폼의 핵심 기능으로 탑재됐습니다.
- Jeani에서 RFP를 넣으면 market·competitor·tech 에이전트가 병렬로 조사하고 synthesizer가 리포트를 합성하는 멀티에이전트 시장조사 시스템을 구축 — Bedrock Knowledge Base sync와 S3 산출물 lifecycle로 반복 가능한 운영 루프까지 완성했습니다.
- ONDOKS(온독스)에서 표 구조 복원과 PDF 문서 조립을 중심으로 템플릿 추출·검수·대용량 비동기 처리를 통합 — 페이지별 결과 조회·수정, Word·검색 가능한 PDF 내보내기, API·MCP 연동과 온프레미스 보호 납품까지 구축했습니다.
- A-VLAN에서 영상·탐지·매뉴얼·항공법령을 근거로 조합하는 목표기반 멀티에이전트 관제 시스템을 설계 — GoalOrchestrator의 SELECT→COMPOSE→EVALUATE→REFINE 루프로 스킬을 동적 조합하고, Text2SQL·Chroma RAG·듀얼 RAG(리터럴+벡터)를 엮어 지상조업 상황을 자동 판정·브리핑하도록 구현했습니다.
- BEV에서 단일 카메라 주기장 영상만으로 미터 척도 3D 조감도를 복원하는 파이프라인을 연구·구현 — 개방어휘 검출과 VLM 공시제원으로 실척을 추정하고 지면 호모그래피로 조감도·위험영역을 생성, 소실점·화면밖 처리로 정확도(R2)를 고도화했습니다.
2024.07 - 2025.07
ArtygenSpaceAI/ML Engineer
AI 기반 콘텐츠 제품의 모델 설계, 추천, 생성, 편집 워크플로를 담당하며 CES 2025 수상 제품의 AI 기능 개발을 주도했습니다.
- booxTory와 arti의 AI 기능을 설계해 CES 2025 AI Innovation Awards 성과에 기여했습니다.
- StoryMate, Booxedit, KOCCA AI 콘텐츠 지원 사업, AI 바우처 공급기업 프로젝트를 수행했습니다.
- 콘텐츠 생성, 사용자 선호 기반 추천, 편집 자동화 기능을 제품 요구사항에 맞춰 연결했습니다.
2022 - 2024
Kyonggi UniversityComputer Science M.S.
추천 시스템에서 그래프 컨볼루션 네트워크 최적화 방법을 연구하고 LightGCN, WF-GCN, 의료영상 딥러닝 논문을 발표했습니다.
- 석사 논문: 추천 시스템에서 그래프 컨볼루션 네트워크 최적화 방법.
- 석사 GPA 4.25/4.5, 학부 GPA 3.62/4.5, ABEEK 공학인증.
- APIC-IST 2022 Best Paper Award, KIIT Best Paper Award를 수상했습니다.
요약
- research
- SCIE 3 / KCI 2
- domain
- Knowledge AI / Safety RAG / OCR / Market Intel
Blog6 latest
최근 지식
ChronoReplay: 공간 VLM의 답 형식과 시간순 이력을 함께 학습한다
ChronoReplay는 범주·거리·시간 질문의 정답을 원래 형식과 인과적 관찰 이력에 붙여 재생하고, 학습 손실의 비중을 조절한다. 같은 관찰 조건에서의 학습 효과와 추론 시 프레임 선택 효과를 나눠 읽는다.
LFM3: 작은 공통 백본에서 멀티모달 전문 모델을 만든다
Liquid AI의 LFM3는 1.7B급 tri-hybrid 백본에서 텍스트·시각·음성·Omni·결정 모델을 파생한다. 전문화 경로와 성능을 살펴보고, 모델별 컨텍스트·메모리·런타임·라이선스의 차이를 구분한다.
Novelty Judge Bench: 연구 아이디어를 평가하는 LLM은 얼마나 흔들리는가
Ai2의 Novelty Judge Bench는 리뷰에서 추출한 신규성 신호와 생성 아이디어를 이용해 LLM 평가기의 프롬프트 민감도, 검색 효과, 비용을 비교한다. 높은 판정 점수보다 먼저 확인할 것은 평가 설정과 라벨의 근거다.
Genie 4: 세계를 그리는 모델에 관찰하고 계획하는 Gemini를 붙이다
Genie 4는 실시간 월드 생성에 네이티브 오디오와 Gemini의 관찰·계획 루프를 결합한다. 공개 시연의 의미와 로봇 시뮬레이터로 해석할 때의 경계, 연구 프리뷰의 접근 범위를 살펴본다.
WeVisOne-VL: 물체를 찾는 좌표에서 머리카락의 투명도까지
텐센트 WeChat Vision의 WeVisOne-VL은 Qwen3-VL의 좌표·인스턴스 토큰과 9.6M 픽셀 디코더를 연결해 탐지·OCR·분할·매팅을 통합한다. 구조, 학습 과정과 평가 조건, 실제 공개 범위를 살펴본다.