Sangmin LeeAI Engineer & Researcher

Tips4 tips

#Local AI

4 tips tagged #Local AI, 1-4 showing
1 / 1

Open sourceApache-2.0

ai-knowledge-graph는 문서 더미를 탐색 가능한 관계도로 바꾼다

ai-knowledge-graph는 OpenAI 호환 LLM으로 비정형 텍스트에서 SPO 트리플을 추출하고, 엔티티 표준화·관계 추론·PyVis 시각화를 거쳐 대화형 HTML 지식 그래프와 JSON을 만드는 Python 도구입니다.

  • 텍스트를 청크로 나눈 뒤 LLM이 Subject-Predicate-Object 트리플을 추출해 대화형 HTML 그래프와 JSON으로 저장합니다.
  • 엔티티 표준화와 관계 추론은 각각 끌 수 있어, 원문 근거만 보려는 작업과 탐색용 관계 확장을 분리할 수 있습니다.
  • Ollama·LM Studio·vLLM·LiteLLM 등 OpenAI 호환 endpoint를 지원하므로 로컬 LLM이나 사내 gateway에 붙일 수 있습니다.
macOS / LinuxWinOS
#Python#Knowledge Graph#LLM#Visualization

robert-mcdermott/ai-knowledge-graphSource ↗

Open source research codeApache-2.0

Lucebox Hub는 특정 소비자 GPU에 맞춰 손으로 튜닝한 로컬 LLM 추론 실험장이다

Luce-Org/lucebox-hub는 RTX 3090/5090 같은 NVIDIA CUDA GPU와 Ryzen AI MAX+ 395 HIP 경로까지 겨냥해 Megakernel, DFlash, PFlash로 로컬 LLM 추론 병목을 직접 줄이는 오픈소스 연구 코드 허브다.

  • Megakernel, DFlash, PFlash 세 프로젝트를 한 저장소에 묶어 RTX 3090/5090/GB10/Jetson Thor 같은 CUDA GPU와 Ryz...
  • 공식 배포 패키지나 Release가 아니라 source build 중심이며, DFlash는 `git clone --recurse-submodules`, CUDA 12...
  • Megakernel은 Qwen 3.5-0.8B 전체 forward를 단일 CUDA dispatch로 묶고, DFlash/PFlash는 27B GGUF target의...
macOS / LinuxWinOS
#Local AI#LLM Inference#CUDA#HIP

Luce-Org/lucebox-hubSource ↗

Open source betaApache-2.0

Rapid-MLX는 Apple Silicon에서 로컬 LLM을 OpenAI API처럼 빠르게 서빙한다

raullenchai/Rapid-MLX는 Apple Silicon Mac에서 MLX 기반 로컬 LLM을 OpenAI-compatible API로 서빙하고, Cursor·Claude Code·Aider 같은 도구를 로컬 모델에 붙이기 쉽게 만드는 Python inference 서버다.

  • Apple Silicon Mac에서 `rapid-mlx serve qwen3.5-4b`만으로 OpenAI-compatible `/v1` 서버를 띄우는 것이 핵심 사용...
  • Cursor, Claude Code, Aider, OpenCode, PydanticAI, LangChain, smolagents, Open WebUI, LibreCh...
  • Qwen3.5, Qwen3-Coder, Nemotron, DeepSeek, GLM, Kimi, GPT-OSS 등 모델 alias와 tool-call/reasoning...
macOS / Linux
#Local AI#Apple Silicon#MLX#OpenAI API

raullenchai/Rapid-MLXSource ↗

Source available desktop appBusiness Source License 1.1

Anything(Docufinder)는 HWP·PDF·Office 문서 내용을 로컬에서 찾아주는 데스크톱 검색 엔진이다

Anything은 HWP/HWPX, Office, PDF, 이미지 OCR까지 로컬에서 인덱싱하고, 선택적으로 Gemini 기반 문서 질의응답을 붙일 수 있는 Tauri 데스크톱 문서 검색 앱이다.

  • 파일명이 아니라 문서 본문으로 HWP/HWPX, Office, PDF, 이미지 OCR 결과를 검색하는 로컬 데스크톱 앱이다.
  • SQLite FTS5, usearch 벡터 인덱스, KoSimCSE ONNX, PaddleOCR ONNX를 조합해 키워드·파일명·시맨틱·하이브리드 검색 모드를 제공한...
  • Gemini API 키를 넣으면 인덱싱된 문서를 근거로 자연어 질의응답과 온라인 요약을 사용할 수 있지만, AI를 끄면 검색·임베딩·OCR은 로컬 중심으로 동작한다.
WinOSmacOS / Linux
#Document Search#Local AI#OCR#Tauri

chrisryugj/DocufinderSource ↗