README.md

metadata

title: Lily LLM API Server
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: docker
sdk_version: \"1.0.0\"
app_port: 7860
app_file: app.py
pinned: false

250826 v1.0.3

• cloudtype migrate, supabase db 연결 계층적 메모리 테스트

250825 v1.0.2 test

• lily 컨텍스트 메모리 supabase 데이터베이스 연결

250824

• 계층적 메모리 구조 통합 리팩토링, 장기, 중기, 단기

250823

• 컨텍스트 매니저, lora, rag 시스템, 문서 요약 + 컨텍스트 확장 시스템 통합

250822

• polyglot 1.3b lora 파라메터 조절, 응답 품질 향상

250821

• polyplot 5.8b 응답 속도 개선, 모델별 tokenizer config settings json 변수 명시적으로 기입

250820

• lily llm kanana 3b 멀티모달 개선, polyglot 1.3b, 5.8b 응답 품질 개선

250819 v1.0.1

• 컨텍스트 창, lora 추가, kanana model 공식 문서대로 다시 다운로드 후 app_v2 및 프로필 리팩토링

Lily LLM API Server

FastAPI 기반 멀티모달 AI 서버입니다.

Features

• 텍스트 생성
• 이미지 인식
• RAG 시스템
• 수학 공식 처리

API Endpoints

• `GET /health` - 서버 상태 확인
• `POST /generate` - 텍스트/이미지 생성
• `POST /upload-document` - 문서 업로드
• `POST /rag-query` - RAG 질의

Model

• Kanana-1.5-v-3b-instruct (한국어 멀티모달)
• 자동 다운로드: gbrabbit/lily-math-model" > README.md

Lily LLM API - Hugging Face Spaces

🤖 소개

Lily LLM API는 다중 모델 지원과 RAG(Retrieval Augmented Generation) 시스템을 갖춘 고성능 AI API 서버입니다.

✨ 주요 기능

• 🧠 멀티모달 AI: Kanana-1.5-v-3b-instruct 모델을 통한 텍스트 및 이미지 처리
• 📚 RAG 시스템: 문서 기반 질의응답 및 컨텍스트 검색
• 🔍 벡터 검색: FAISS 기반 고속 유사도 검색
• 📄 문서 처리: PDF, DOCX, TXT 등 다양한 문서 형식 지원
• 🖼️ 이미지 OCR: LaTeX-OCR을 통한 수학 공식 인식
• ⚡ 비동기 처리: Celery 기반 백그라운드 작업
• 🌐 RESTful API: FastAPI 기반 고성능 웹 API

🚀 사용 방법

1. 텍스트 생성

import requests

response = requests.post(
    "https://huggingface.co/spaces/gbrabbit/lily_fast_api/generate",
    data={"prompt": "안녕하세요! 오늘 날씨가 어떤가요?"}
)
print(response.json())

2. 이미지와 함께 질의

import requests

with open("image.jpg", "rb") as f:
    response = requests.post(
        "https://https://huggingface.co/spaces/gbrabbit/lily_fast_api/generate",
        data={"prompt": "이미지에서 무엇을 볼 수 있나요?"},
        files={"image1": f}
    )
print(response.json())

3. RAG 기반 질의응답

import requests

# 문서 업로드
with open("document.pdf", "rb") as f:
    upload_response = requests.post(
        "https://huggingface.co/spaces/gbrabbit/lily_fast_api/upload-document",
        files={"file": f},
        data={"user_id": "your_user_id"}
    )

document_id = upload_response.json()["document_id"]

# RAG 질의
response = requests.post(
    "https://huggingface.co/spaces/gbrabbit/lily_fast_api/rag-query",
    json={
        "query": "문서의 주요 내용은 무엇인가요?",
        "user_id": "your_user_id",
        "document_id": document_id
    }
)
print(response.json())

📋 API 엔드포인트

기본 엔드포인트

• GET /health - 서버 상태 확인
• GET /models - 사용 가능한 모델 목록
• POST /load-model - 모델 로드
• POST /generate - 텍스트/이미지 생성

RAG 시스템

• POST /upload-document - 문서 업로드
• POST /rag-query - RAG 기반 질의
• GET /documents/{user_id} - 사용자 문서 목록
• DELETE /document/{document_id} - 문서 삭제

고급 기능

• POST /batch-process - 배치 문서 처리
• GET /task-status/{task_id} - 작업 상태 확인
• POST /cancel-task/{task_id} - 작업 취소

🛠️ 기술 스택

• Backend: FastAPI, Python 3.11
• AI Models: Transformers, PyTorch
• Vector DB: FAISS, ChromaDB
• Task Queue: Celery, Redis
• OCR: LaTeX-OCR, EasyOCR
• Document Processing: LangChain

📊 모델 정보

Kanana-1.5-v-3b-instruct

• 크기: 3.6B 매개변수
• 언어: 한국어 특화
• 기능: 텍스트 생성, 이미지 이해
• 컨텍스트: 최대 4096 토큰

🔧 설정

환경 변수를 통해 다음 설정을 조정할 수 있습니다:

# 서버 설정
HOST=0.0.0.0
PORT=7860

# 모델 설정
DEFAULT_MODEL=kanana-1.5-v-3b-instruct
MAX_NEW_TOKENS=256
TEMPERATURE=0.7

# 캐시 설정
TRANSFORMERS_CACHE=/app/cache/transformers
HF_HOME=/app/cache/huggingface

📝 라이선스

이 프로젝트는 MIT 라이선스 하에 배포됩니다.

🤝 기여

버그 리포트, 기능 제안, 풀 리퀘스트를 환영합니다!

📞 지원

문의사항이 있으시면 GitHub Issues를 통해 연락해 주세요.