nanoMuse: An Open-Source Personal Agent for Every Device You Own
- 게시일: 2026-10-07
- arXiv: 2610.08699v1 · PDF
- 저자: Guangyi Liu, Yong Liu, Jiangning Zhang
- 분야: cs.AI
- 선정 점수: 6.69
- 선정 이유: 최근성 1.3, 인용 영향 0.0 (인용 0회), 저자 영향 0.0 (최고 h-index 0), AI 주제 적합성 2.2, 개발자 관심 0.9, 학술 신호 0.5, 오픈 웨이트·주요 연구조직 신호 1.8
← 2026-10-07 목록으로 돌아가기
한 문장 요약
nanoMuse는 개인이 소유한 기기마다 전체 에이전트를 실행하고 선택한 모델을 호출하도록 설계된 GPL-3.0 오픈소스 개인 에이전트로, 각 기기는 자체 에이전트와 Sentinel(결재·허가 경계)을 갖고 선택적 공개 릴레이를 통해 대화와 로그를 동기화하며 메모리는 사람이 읽고 편집 가능한 파일로 보관한다.
해결하려는 문제
2026년 상용 개인 에이전트(예: Meta Muse)는 한 사람당 클라우드 VM·사내 모델·폐쇄 코드 기반으로 동작해 검사 가능성·사용자 소유 실행 환경·메모리의 투명성에서 제약이 있었다. 또한 많은 앱(특히 네이티브 앱, 은행·정부 서비스 등)은 벤더 클라우드만으로 조작할 수 없어 화면을 직접 조작하는 능력(‘hands’)이 필요하다. 연구 질문은 ‘개인 에이전트를 오픈 소스·사용자 소유 환경에서 어떻게 구현하고, 손(화면 조작), 메모리의 가독성·출처(provenance), 권한(approvals) 등을 안전하고 실용적으로 제공할 수 있는가’이다.
핵심 기여
- 개인 에이전트의 정의와 역사(어시스턴트→에이전트)를 정리하고, 개인 에이전트가 답해야 할 다섯 질문(무엇을 아는가, 어디서 행동하는가, 누구에게 답하는가, 어떻게 배우는가, 어떻게 비용·거버넌스되는가)과 세 단계의 전망을 제시함(섹션 2·4).
- Meta Muse의 공개 문서와(런칭 에세이·안전 아키텍처·디자인 문서) 입수한 프로덕션 시스템 프롬프트 사본을 기반으로 Muse의 구조와 설계 결정을 문서별로 표기해 해석함(섹션 3).
- GPL-3.0 하에 nanoMuse라는 오픈소스 개인 에이전트를 설계·구현해 공개하고, 기기별 전체 에이전트·Sentinel·Hands(화면 조작)·메모리 파일 구조·선택적 공개 릴레이 아키텍처를 제시함(섹션 5).
- nanoMuse의 초기 구현(버전 0.1.40, 2026-09-25 발표)을 기반으로 실제 빌드·구성(안드로이드 앱: OpenMinis 변형, 데스크톱: DeepSeek 플러그인 등), 파일 크기·메모리·릴레이 경량화 요구사항·호스팅 비용 추정치를 제시함(테이블 2, 섹션 5).
- 오픈 커뮤니티를 위한 로드맵(지금-다음-나중)을 제안하고, 평가 스위트(AndroidWorld, OSWorld, MemGUI-Bench, OS-Harm 등)·핸즈용 공개 모델·물리적 세계(로봇·가전) 통합 같은 우선 과제를 제시함(섹션 6).
접근 방법
- nanoMuse는 ‘기기마다 전체 에이전트’ 원칙을 따른다.
- 아키텍처 핵심은: 각 기기(안드로이드, iOS(TestFlight), 데스크톱(macOS/Windows/Linux), 웹)가 자체 에이전트와 Sentinel을 실행하고, 선택적 공유 컴포넌트인 오픈 릴레이(nanoMuse Cloud)는 기기들 간 대화(텍스트)를 동기화한다.
- 메모리는 사람이 열어볼 수 있는 평문 파일로 구성(SOUL.md, USER.md, GLOBAL.md, 다이어리, HEARTBEAT.md 등)되며, 데스크톱에서는 각 메모리를 라인 단위 변경 로그·undo로 관리한다.
- Sentinel은 모든 툴 호출을 중앙에서 검증하는 정책 경계로 동작(거부 목록 → 사용자 규칙 → 항상 허용/항상 물어보기 → taint 검사(대화가 개인정보를 읽으면 외부 전송 시 ask) → 위험/경고 순서).
- ‘Hands’는 앱 조작을 위해 가능한 최저 레벨(스킬·명령줄·MCP 서버·브라우저·디바이스 스크린)을 시도하고, 마지막 수단으로 한 단계-한 스크린샷 루프(한 스텝당 스크린샷) 방식으로 동작한다.
- 이때 모델에게 스크린샷·목표·한 문장 이력·접근성 트리가 주어지고, 모델은 ‘생각(thought)’, ‘행동 예정 문장’과 ‘제스처’를 출력한다.
- 실행 전 모델의 문장(무엇을 누를지 설명)은 정책이 판단할 수 있는 표면으로 사용되며, 라벨 혹은 접근성 텍스트에 ‘확정어’가 있으면 민감 단계로 분류하여 항상 허가 요구 또는 경고를 발생시킨다.
- 모델은 사용자가 선택한 외부 공급자(API 키) 또는 커뮤니티 릴레이의 공급자를 통해 호출되며(프로젝트가 목록화한 18개 공급자), 단일 기기에서는 릴레이 없이도 ‘자기 키’만으로 동작할 수 있다.
- 릴레이가 보관하는 항목은 계정 해시 식별자·발급 키·호출 원장(모델·토큰 수·비용, 내용 없음)·에이전트 프로필·허브 프레즌스·사용자가 동기화하기로 선택한 대화 텍스트(기본: 메인 대화) 등이다.
주요 결과
- 시스템 구현 및 배포: nanoMuse의 초기 공개 릴리스(버전 0.1.40, 첫 릴리스 2026-09-25). 코드·데모·프로젝트 페이지 공개(논문에 GitHub와 데모 URL 명시).
- 플랫폼 지원 및 구성요소: Android(앱 파일 38 MB 다운로드), Desktop(릴리스 파일 256–498 MB, 설치 후 Linux 기준 928 MB, 대략 0.5 GB 메모리 유휴), Relay(단일 Python 프로세스 + SQLite, 유휴 시 약 85 MB 메모리) — 이러한 수치는 테이블 2에서 측정·제시됨(섹션 5·테이블 2).
- 호스팅·비용 추정: 개인이 릴레이를 자체 호스팅할 경우(가장 작은 서버) 중국 내 월 약 ¥30–¥60, 국외 약 US$4–6(릴레이 서버 비용, 섹션 5·테이블 2). 모델 호출 비용 예시(2026년 10월 Bailian 가격표 인용): 채팅 모델에 대해 입력 ¥2/백만 토큰, 출력 ¥8/백만 토큰(혼잡 시간 기준); 핸즈 모델은 입력 ¥3/백만, 출력 ¥12/백만 토큰 — 논문은 이를 ‘추정’으로 표기함(섹션 5·테이블 2).
- 프라이버시·데이터 보관 설계: 릴레이는 모델 호출 내역(토큰·비용)은 보관하되 대화·파일 등 민감한 산출물은 기본적으로 보관하지 않으며, 동기화된 대화는 사용자가 켜야 저장됨. 계정 삭제 시 해당 데이터 삭제 정책과 폐기 해시 보관(90일) 규칙을 명시(섹션 5).
- 보안·허가 메커니즘: Sentinel을 통한 scoped grant(once / this conversation / always for named recipient/site/folder/device/app) 설계와 taint 규칙, 결제·암호 같은 민감 항목은 절대 기억하지 않음 등 실무적 안전 규칙을 구현(섹션 5).
한계
- 저자 언급 — Sentinel은 정책 경계지만 호스트권한 경계가 아니다: nanoMuse의 Sentinel은 동일 디바이스의 같은 신뢰 도메인 내에서 동작하므로(프로세스 계열) 디바이스가 탈취되면 에이전트·Sentinel·자격증명이 모두 침해될 수 있음(섹션 7).
- 저자 언급 — 핸즈에 대한 정량적 성능 없음: 핸즈 실패율, 사람에 의한 인계 수(인계 빈도) 등 성공률·실패 데이터가 존재하지 않음(섹션 7).
- 저자 언급 — 메모리의 출처 메타데이터 부재: 현재 저장소는 변경 로그·undo를 제공하지만 ‘어떤 모델이 언제 어느 신뢰도(confidence)로 작성했는지’를 기록하지 않음; 재검증 규칙 미비로 인해 약한 모델이 쓴 라인이 강한 모델에 의해 사실처럼 읽힐 위험이 있음(섹션 7).
- 저자 언급 — 릴레이 공유와 기본 설정 위험: 커뮤니티 릴레이는 프로젝트가 운영하는 단일 프로세스이며 ‘모델 개선을 위한 대화 수집’ 기본이 켜져 있어(신규 계정) 이 기본 설정이 보안·프라이버시 측면에서 논란의 소지가 있음(섹션 7). 다른 한계로 프롬프트 기반 Muse 해석은 프롬프트 사본의 출처 검증 불가(섹션 7).
개발자 관점
- 재현·코드 접근: 전체 코드는 GPL-3.0로 공개되어 있으며(버전 0.1.40 기준) GitHub·데모·프로젝트 페이지에 접근해 빌드·실행 가능하다(문서에 self-hosting 가이드·한 스크립트로 TLS 포함 배포 지침 포함).
- 배포·호스팅 비용: 릴레이는 경량(단일 Python 프로세스 + SQLite, 유휴 약 85 MB); 개인이 릴레이를 호스팅할 경우 저가 VPS로도 운용 가능(제시된 월 비용 ¥30–¥60 또는 US$4–6). 그러나 모델 호출 비용은 별도로 발생하므로 실제 운영비는 모델 사용량에 따라 달라짐(테이블 2).
- 구현·통합: 안드로이드 앱은 OpenMinis를 기반으로 수정 통합했고 데스크톱은 DeepSeek 및 UI-TARS 요소를 사용했음. 기기마다 전체 에이전트를 실행하는 구조이므로 업데이트·마이그레이션 전략(예: 앱 내 Alpine Linux, 홈 디렉토리 유지)이 필요하다(섹션 5).
- 안전성·권한 설계: 권한 모델은 ‘scoped grant’와 taint 규칙(대화가 개인정보를 읽으면 외부 전송 시 추가 승인 필요)을 채택. 그러나 Sentinel이 동일 장치 내에서 실행되므로 민감 작업(결제·암호 관리 등)은 하드웨어·호스트 수준의 권한 경계(예: 별도 인증·하드웨어 키 보관) 없이는 완전 안전하지 않음(섹션 5·7).
- 평가·테스트 필요성: 핸즈(화면 조작)와 개인 에이전트 전반에 대해 공개적·자동화된 평가 스위트(예: AndroidWorld, OSWorld, MemGUI-Bench, OS-Harm)에 따른 정량적 측정이 선행되어야 하며, 실패 추적(failed runs) 수집이 우선 과제임(섹션 6). 또한 핸즈 전용의 오픈 모델을 트레이닝하려면 참여자 기여 트레이스와 익명화·동의 프로세스 설계가 필요함(섹션 6).
근거 범위: 논문 PDF 본문(페이지 1–12, nanoMuse: arXiv:2610.08699v1, 초판 2026-10-06)을 기반으로 정리함. 수치(파일 크기, 메모리 사용, 서버 비용 추정, 토큰 가격 등)와 구현 세부는 본문(테이블 2·섹션 5)에 명시된 값을 그대로 사용했음. Muse 관련 해석 중 ‘prompt’로 표기한 항목은 논문이 입수했다고 밝힌 프로덕션 시스템 프롬프트 사본에 근거하지만, 본문에서도 해당 프롬프트의 출처(provenance)는 검증 불가하다고 명시되어 있어 그 점은 주의해 읽어야 함. 본문에서 정량적 실험 결과(예: 핸즈 성공률)는 제공되지 않으므로 해당 항목은 보고서에 없음.