Update app.py

app.py

@@ -11,6 +11,36 @@ from llama_index.llms.huggingface import (
     HuggingFaceLLM,
 )
 from huggingface_hub import login
+CHROMA_DATA_PATH = "chroma_data/"
+EMBED_MODEL = "BAAI/bge-m3"
+# all-MiniLM-L6-v2
+CHUNK_SIZE = 800
+CHUNK_OVERLAP = 50
+max_results = 3
+min_len = 40
+min_distance = 0.35
+max_distance = 0.6
+temperature = 0.55
+max_tokens=3072
+top_p=0.8
+frequency_penalty=0.0
+presence_penalty=0.15
+
+system_sr = "Zoveš se U-Chat AI asistent i pomažeš korisniku usluga kompanije United Group. Korisnik postavlja pitanje ili problem, upareno sa dodatnima saznanjima. Na osnovu toga napiši korisniku kratak i ljubazan odgovor koji kompletira njegov zahtev ili mu daje odgovor na pitanje. "
+# " Ako ne znaš odgovor, reci da ne znaš, ne izmišljaj ga."
+system_sr += "Usluge kompanije United Group uključuju i kablovsku mrežu za digitalnu televiziju, pristup internetu, uređaj EON SMART BOX za TV sadržaj, kao i fiksnu telefoniju."
+
+chroma_client = chromadb.PersistentClient(CHROMA_DATA_PATH)
+embedding_func = embedding_functions.SentenceTransformerEmbeddingFunction(
+        model_name=EMBED_MODEL
+    )
+
+collection = chroma_client.get_or_create_collection(
+        name="chroma_data",
+        embedding_function=embedding_func,
+        metadata={"hnsw:space": "cosine"},
+    )
+
 #
 HF_TOKEN = "wncSKewozDfuZCXCyFbYbAMHgUrfcrumkc"
 #