
- Published on
GitHub Trending에 오른 LMCache는 또 하나의 LLM 서빙 라이브러리가 아니다. 긴 컨텍스트, RAG, 멀티턴 에이전트가 늘어날수록 병목은 모델 호출보다 prefill 재사용과 KV 캐시 운영으로 이동한다.
What I learned, What I did, What I thought

GitHub Trending에 오른 LMCache는 또 하나의 LLM 서빙 라이브러리가 아니다. 긴 컨텍스트, RAG, 멀티턴 에이전트가 늘어날수록 병목은 모델 호출보다 prefill 재사용과 KV 캐시 운영으로 이동한다.

NVIDIA SkillSpector는 AI 에이전트 스킬을 설치 전 검사하는 보안 스캐너다. 중요한 점은 도구 하나의 등장이 아니라, 에이전트 스킬·플러그인·MCP 번들이 코드 공급망과 같은 검증 대상으로 올라왔다는 신호다.

Activeloop의 Hivemind는 단순한 에이전트 메모리 플러그인이 아니다. Claude Code, Codex, Cursor, Hermes 같은 도구가 각자 다시 배워야 하는 문제를 팀 단위의 공유 기억과 재사용 가능한 스킬 계층으로 바꾸려는 시도다.

GitHub Trending에 오른 whichllm은 로컬 LLM 선택 문제를 모델 순위표가 아니라 현재 하드웨어, VRAM, 양자화, 토큰 속도, 최신 벤치마크 증거를 합친 운영 문제로 다시 정의한다. 한국 개발팀이 로컬 모델을 도입할 때 봐야 할 기준을 정리했다.

Roboflow Supervision이 GitHub Trending에서 다시 강하게 떠오른 이유는 단순한 CV 유틸리티 인기가 아니다. 모델 출력 이후의 주석, 추적, 구역 카운팅, 데이터셋 처리, 평가를 하나의 재사용 가능한 운영 계층으로 묶는 흐름이 컴퓨터 비전 제품화의 핵심 병목이 됐다는 신호다.

Microsoft pg_durable은 Postgres 안에서 장기 실행 SQL 워크플로를 정의하고 체크포인트·재시작·재시도·병렬 실행을 다루려는 확장이다. AI embedding, 문서 ingest, 외부 API 호출, 운영 runbook처럼 상태가 데이터베이스에 붙어 있는 작업에서 왜 이 접근이 중요한지 정리한다.