Open source research code
Apache-2.0Luce-Org/lucebox-hub는 RTX 3090/5090 같은 NVIDIA CUDA GPU와 Ryzen AI MAX+ 395 HIP 경로까지 겨냥해 Megakernel, DFlash, PFlash로 로컬 LLM 추론...
- Megakernel, DFlash, PFlash 세 프로젝트를 한 저장소에 묶어 RTX 3090/5090/GB10/Jetson Thor 같은 CUDA GPU와 Ryz...
- 공식 배포 패키지나 Release가 아니라 source build 중심이며, DFlash는 `git clone --recurse-submodules`, CUDA 12...
- Megakernel은 Qwen 3.5-0.8B 전체 forward를 단일 CUDA dispatch로 묶고, DFlash/PFlash는 27B GGUF target의...
- RTX 5090에서는 Qwen 3.6-27B DFlash+DDTree가 205 tok/s, AMD Strix Halo HIP path에서는 Qwen 3.5-27B가...
- Apache-2.0 top-level LICENSE가 확인되지만, 하위 bench harness metadata와 외부 submodule/모델 weight 라이선스는...
- Linux/CUDA 개발자가 가장 자연스러운 대상이고, Windows는 community benchmark 신호가 있으며, macOS Metal이나 범용 하드웨어 지...
Open source beta
Apache-2.0raullenchai/Rapid-MLX는 Apple Silicon Mac에서 MLX 기반 로컬 LLM을 OpenAI-compatible API로 서빙하고, Cursor·Claude Code·Aider 같은 도구를 로컬 모델...
- Apple Silicon Mac에서 `rapid-mlx serve qwen3.5-4b`만으로 OpenAI-compatible `/v1` 서버를 띄우는 것이 핵심 사용...
- Cursor, Claude Code, Aider, OpenCode, PydanticAI, LangChain, smolagents, Open WebUI, LibreCh...
- Qwen3.5, Qwen3-Coder, Nemotron, DeepSeek, GLM, Kimi, GPT-OSS 등 모델 alias와 tool-call/reasoning...
- 텍스트 기본 설치는 비교적 작게 유지하고, vision·audio·embeddings·chat UI·guided decoding은 extras로 분리한다.
- 기본 서버는 인증 없이 `0.0.0.0:8000`에 바인딩될 수 있으므로 개인 노트북 밖으로 노출할 때는 `--host`, `--api-key`, 방화벽, rate...
Source available desktop app
Business Source License 1.1Anything은 HWP/HWPX, Office, PDF, 이미지 OCR까지 로컬에서 인덱싱하고, 선택적으로 Gemini 기반 문서 질의응답을 붙일 수 있는 Tauri 데스크톱 문서 검색 앱이다.
- 파일명이 아니라 문서 본문으로 HWP/HWPX, Office, PDF, 이미지 OCR 결과를 검색하는 로컬 데스크톱 앱이다.
- SQLite FTS5, usearch 벡터 인덱스, KoSimCSE ONNX, PaddleOCR ONNX를 조합해 키워드·파일명·시맨틱·하이브리드 검색 모드를 제공한...
- Gemini API 키를 넣으면 인덱싱된 문서를 근거로 자연어 질의응답과 온라인 요약을 사용할 수 있지만, AI를 끄면 검색·임베딩·OCR은 로컬 중심으로 동작한다.
- 최신 Release는 Windows x64 설치 파일과 macOS Apple Silicon DMG를 제공하며, macOS는 수동 업데이트와 ad-hoc 서명 cave...
- BSL 1.1 라이선스라 비프로덕션 사용은 열려 있지만 프로덕션·상용 사용은 별도 라이선스 확인이 필요하다.