Update app.py

app.py

@@ -19,8 +19,7 @@ documents_paths = {
     'payment': 'data/payment'
 }
 
-
-# initialize backend (not ideal as global variable...)
+# initialize backend
 backend = Backend()
 
 cv2.setNumThreads(1)
@@ -36,33 +35,20 @@ def respond(
     top_p,
     top_k,
     repeat_penalty,
+    selected_topic
 ):
     chat_template = MessagesFormatterType.GEMMA_2
 
     print("HISTORY SO FAR ", history)
+    print("Selected topic:", selected_topic)
 
-    matched_path = None
-    words = message.lower() 
-
-    for key, path in documents_paths.items():
-        if len(history) == 1 and key in words: # check if the user mentions a path word only during second interaction (i.e history has only one entry)
-            matched_path = path
-            break     
-    print("matched_path", matched_path) 
-
-    if matched_path:  # this case would only be true in second interaction
-        original_message = history[0][0]
-        print("** matched path!!")
-        query_engine = backend.create_index_for_query_engine(matched_path)
-        message = backend.generate_prompt(query_engine, original_message)
-        
-        gr.Info("Relevant context indexed from docs...")
-
-    elif (not matched_path) and (len(history) > 1):
-        print("Using context from storage db")         
+    if selected_topic:
+        query_engine = backend.create_index_for_query_engine(documents_paths[selected_topic])
+        message = backend.generate_prompt(query_engine, message)
+        gr.Info(f"Relevant context indexed from {selected_topic} docs...")
+    else:
         query_engine = backend.load_index_for_query_engine()
         message = backend.generate_prompt(query_engine, message)
-
         gr.Info("Relevant context extracted from db...")
 
     # Load model only if it's not already loaded or if a new model is selected
@@ -98,7 +84,6 @@ def respond(
         messages.add_message(user)
         messages.add_message(assistant)
 
-    
     try:
         stream = agent.get_chat_response(
             message, 
@@ -114,73 +99,80 @@ def respond(
             yield outputs
     except Exception as e:
         yield f"Error during response generation: {str(e)}"
-        
 
+def select_topic(topic):
+    return gr.update(visible=True), gr.update(value=topic)
 
-demo = gr.ChatInterface(
-    fn=respond,
-    css="""
+with gr.Blocks(css="""
     .gradio-container {
         background-color: #B9D9EB;
         color: #003366;
-    }""",
-    additional_inputs=[
-        gr.Dropdown([
-                'Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf',
-                'Mistral-Nemo-Instruct-2407-Q5_K_M.gguf',
-                'gemma-2-2b-it-Q6_K_L.gguf',
-                'openchat-3.6-8b-20240522-Q6_K.gguf',
-                'Llama-3-Groq-8B-Tool-Use-Q6_K.gguf',
-                'MiniCPM-V-2_6-Q6_K.gguf',
-                'llama-3.1-storm-8b-q5_k_m.gguf',
-                'orca-2-7b-patent-instruct-llama-2-q5_k_m.gguf'
-            ],
-            value="gemma-2-2b-it-Q6_K_L.gguf",
-            label="Model"
-        ),
-        gr.Textbox(value="""Solamente all'inizio, presentati come Odi, un assistente ricercatore italiano creato dagli Osservatori del Politecnico di Milano e specializzato nel fornire risposte precise e pertinenti solo ad argomenti di innovazione digitale. 
-        Solo nella tua prima risposta, se non è chiaro, chiedi all'utente di indicare a quale di queste tre sezioni degli Osservatori si riferisce la sua domanda: 'Blockchain', 'Payment' o 'Metaverse'. Nel fornire la risposta cita il report da cui la hai ottenuta.
-Per le risposte successive, utilizza la cronologia della chat o il contesto fornito per aiutare l'utente a ottenere una risposta accurata. 
-Non rispondere mai a domande che non sono pertinenti a questi argomenti.""", label="System message"),
-        gr.Slider(minimum=1, maximum=4096, value=3048, step=1, label="Max tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=1.2, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p",
-        ),
-        gr.Slider(
-            minimum=0,
-            maximum=100,
-            value=30,
-            step=1,
-            label="Top-k",
-        ),
-        gr.Slider(
-            minimum=0.0,
-            maximum=2.0,
-            value=1.1,
-            step=0.1,
-            label="Repetition penalty",
-            
-        ),
-
-    ],
-    retry_btn="Riprova",
-    undo_btn="Annulla",
-    clear_btn="Riavvia chat",
-    submit_btn="Invia",
-    title="Odi, l'assistente ricercatore degli Osservatori",
-    chatbot=gr.Chatbot(
+    }
+""") as demo:
+    gr.Markdown("# Odi, l'assistente ricercatore degli Osservatori")
+    
+    with gr.Row():
+        blockchain_btn = gr.Button("🔗 Blockchain", scale=1)
+        metaverse_btn = gr.Button("🌐 Metaverse", scale=1)
+        payment_btn = gr.Button("💳 Payment", scale=1)
+
+    selected_topic = gr.State(value="")
+
+    chatbot = gr.Chatbot(
         scale=1,
         likeable=False,
-        show_copy_button=True
-    ),
-    examples=[["Ciao, in cosa puoi aiutarmi?"],["Quanto vale il mercato italiano?"], ["Per favore dammi informazioni sugli ambiti applicativi"], ["Chi è Francesco Bruschi?"], ["Svelami una buona ricetta milanese"] ],
-    cache_examples=False,
-)
+        show_copy_button=True,
+        visible=False
+    )
+
+    with gr.Row():
+        msg = gr.Textbox(
+            scale=4,
+            show_label=False,
+            placeholder="Inserisci il tuo messaggio...",
+            container=False,
+        )
+        submit_btn = gr.Button("Invia", scale=1)
+
+    with gr.Accordion("Advanced Options", open=False):
+        model = gr.Dropdown([
+            'Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf',
+            'Mistral-Nemo-Instruct-2407-Q5_K_M.gguf',
+            'gemma-2-2b-it-Q6_K_L.gguf',
+            'openchat-3.6-8b-20240522-Q6_K.gguf',
+            'Llama-3-Groq-8B-Tool-Use-Q6_K.gguf',
+            'MiniCPM-V-2_6-Q6_K.gguf',
+            'llama-3.1-storm-8b-q5_k_m.gguf',
+            'orca-2-7b-patent-instruct-llama-2-q5_k_m.gguf'
+        ],
+        value="gemma-2-2b-it-Q6_K_L.gguf",
+        label="Model"
+        )
+        system_message = gr.Textbox(value="""Solamente all'inizio, presentati come Odi, un assistente ricercatore italiano creato dagli Osservatori del Politecnico di Milano e specializzato nel fornire risposte precise e pertinenti solo ad argomenti di innovazione digitale. 
+        Nel fornire la risposta cita il report da cui la hai ottenuta.
+        Utilizza la cronologia della chat o il contesto fornito per aiutare l'utente a ottenere una risposta accurata. 
+        Non rispondere mai a domande che non sono pertinenti a questi argomenti.""", label="System message")
+        max_tokens = gr.Slider(minimum=1, maximum=4096, value=3048, step=1, label="Max tokens")
+        temperature = gr.Slider(minimum=0.1, maximum=4.0, value=1.2, step=0.1, label="Temperature")
+        top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p")
+        top_k = gr.Slider(minimum=0, maximum=100, value=30, step=1, label="Top-k")
+        repeat_penalty = gr.Slider(minimum=0.0, maximum=2.0, value=1.1, step=0.1, label="Repetition penalty")
+
+    blockchain_btn.click(select_topic, inputs="blockchain", outputs=[chatbot, selected_topic])
+    metaverse_btn.click(select_topic, inputs="metaverse", outputs=[chatbot, selected_topic])
+    payment_btn.click(select_topic, inputs="payment", outputs=[chatbot, selected_topic])
+
+    submit_btn.click(
+        respond,
+        inputs=[msg, chatbot, model, system_message, max_tokens, temperature, top_p, top_k, repeat_penalty, selected_topic],
+        outputs=chatbot
+    )
+
+    msg.submit(
+        respond,
+        inputs=[msg, chatbot, model, system_message, max_tokens, temperature, top_p, top_k, repeat_penalty, selected_topic],
+        outputs=chatbot
+    )
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()