Spaces:
Running
Running
Update app.py
Browse files
app.py
CHANGED
|
@@ -4,9 +4,10 @@ from typing import List, Dict, Any, Tuple
|
|
| 4 |
import torch
|
| 5 |
|
| 6 |
# CPU-модели (только одна маленькая модель для экономии памяти)
|
|
|
|
| 7 |
MODELS = {
|
| 8 |
-
"Qwen/Qwen2.5-0.5B-Instruct",
|
| 9 |
-
"Qwen/Qwen2.5-1.5B-Instruct",
|
| 10 |
}
|
| 11 |
|
| 12 |
def load_model(model_key: str):
|
|
@@ -76,7 +77,8 @@ with gr.Blocks(title="🚀 Локальный HF Чат (на слабом CPU!)
|
|
| 76 |
gr.Markdown("# Локальный Inference (без API!)\n**Маленькие модели** — 1-3 сек CPU. Большие думают ооочень долго. Нет limits/token. В качестве примера.")
|
| 77 |
|
| 78 |
with gr.Row():
|
| 79 |
-
|
|
|
|
| 80 |
system_prompt = gr.Textbox(label="📝 System", placeholder="Ты весёлый ИИ.", lines=2)
|
| 81 |
|
| 82 |
chatbot = gr.Chatbot(height=500, label="Чат") # ← без type
|
|
|
|
| 4 |
import torch
|
| 5 |
|
| 6 |
# CPU-модели (только одна маленькая модель для экономии памяти)
|
| 7 |
+
# Исправлено: используем словарь вместо множества
|
| 8 |
MODELS = {
|
| 9 |
+
"Qwen2.5-0.5B": "Qwen/Qwen2.5-0.5B-Instruct",
|
| 10 |
+
"Qwen2.5-1.5B": "Qwen/Qwen2.5-1.5B-Instruct",
|
| 11 |
}
|
| 12 |
|
| 13 |
def load_model(model_key: str):
|
|
|
|
| 77 |
gr.Markdown("# Локальный Inference (без API!)\n**Маленькие модели** — 1-3 сек CPU. Большие думают ооочень долго. Нет limits/token. В качестве примера.")
|
| 78 |
|
| 79 |
with gr.Row():
|
| 80 |
+
# Исправлено: первое значение должно быть ключом из словаря MODELS
|
| 81 |
+
model_dropdown = gr.Dropdown(choices=list(MODELS.keys()), value="Qwen2.5-0.5B", label="🧠 Модель")
|
| 82 |
system_prompt = gr.Textbox(label="📝 System", placeholder="Ты весёлый ИИ.", lines=2)
|
| 83 |
|
| 84 |
chatbot = gr.Chatbot(height=500, label="Чат") # ← без type
|