Update app.py

app.py

@@ -6,23 +6,33 @@ import numpy as np
 import faiss
 from sentence_transformers import SentenceTransformer
 
-# Gunakan model SBERT yang cenderung lebih kuat dan ringan
-model = SentenceTransformer('sentence-transformers/all-MiniLM-L12-v2')
+# Gunakan model SBERT khusus Indonesia
+model = SentenceTransformer('denaya/indoSBERT-large')
 
 index = None
 sentences = []
 
-# Contoh korpus (10 kalimat)
-contoh_korpus = """Kucing adalah hewan peliharaan yang sangat populer di seluruh dunia.
-Bahasa pemrograman Python banyak digunakan untuk analisis data dan kecerdasan buatan.
-Teknologi energi terbarukan semakin penting untuk mengatasi perubahan iklim.
-Sepak bola adalah olahraga paling populer di dunia.
-Kopi hitam sering diminum untuk menambah energi di pagi hari.
-Musik dapat memengaruhi suasana hati seseorang secara signifikan.
-Gunung adalah destinasi favorit bagi para pendaki alam.
-Internet telah mengubah cara manusia berkomunikasi dan bekerja.
-Matematika adalah dasar dari banyak disiplin ilmu pengetahuan.
-Transportasi umum membantu mengurangi kemacetan di kota besar.
+# Contoh korpus
+contoh_korpus = """Teknologi blockchain memungkinkan pencatatan transaksi terdistribusi yang sulit dipalsukan.
+Jaringan Internet of Things menghubungkan perangkat fisik ke sistem daring.
+Kecerdasan buatan mampu mengenali pola dari data besar untuk pengambilan keputusan.
+Komputasi awan menyediakan sumber daya komputasi fleksibel melalui internet.
+Enkripsi kriptografi menjaga kerahasiaan komunikasi elektronik.
+Fotosintesis mengubah energi cahaya menjadi senyawa organik pada tumbuhan.
+Ekosistem hutan hujan menopang keanekaragaman hayati yang tinggi.
+Migrasi burung terjadi mengikuti perubahan musim dan ketersediaan makanan.
+DNA menyimpan informasi genetik yang diwariskan antar generasi.
+Terumbu karang menyediakan habitat penting bagi organisme laut.
+Inflasi mencerminkan kenaikan harga barang dan jasa secara berkelanjutan.
+Pasar saham mempertemukan investor untuk memperjualbelikan kepemilikan perusahaan.
+Permintaan dan penawaran menentukan harga dalam mekanisme pasar.
+Kebijakan moneter bank sentral memengaruhi tingkat suku bunga.
+Kewirausahaan mendorong inovasi dan penciptaan lapangan kerja baru.
+Olahraga aerobik teratur meningkatkan kapasitas paru dan jantung.
+Tidur nyenyak mendukung konsolidasi memori dan fungsi kognitif.
+Pola makan seimbang membantu menjaga metabolisme tubuh.
+Meditasi rutin dapat menurunkan tingkat stres psikologis.
+Vaksinasi melindungi populasi dari penyebaran penyakit menular.
 """
 
 def build_index(korpus_text):
@@ -36,51 +46,54 @@ def build_index(korpus_text):
     index = faiss.IndexFlatIP(dim)
     index.add(embeddings)
     
-    return f"✅ Embedding dan Indeksasi untuk {len(sentences)} korpus berhasil dibangun. Anda boleh lanjut mengetes query pencarian di bawah ini, yang nantinya akan mengembalikan daftar hasil korpus yang paling sesuai berdasarkan skor kemiripan."
+    return f"✅ Embedding dan Indeksasi untuk {len(sentences)} korpus berhasil dibangun. Anda boleh lanjut mengetes query pencarian di bawah ini."
 
-def search_query(query, top_k=3, threshold=0.4):
+def search_query(query):
     global index, sentences
+    
     if index is None or not sentences:
-        return "⚠️ Indeks belum dibangun."
+        return [[ "⚠️ Indeks belum dibangun.", "" ]], "⚠️ Pastikan daftar korpus telah terisi, kemudian menekan tombol 'Proses Korpus'."
+    
     if not query.strip():
-        return "⚠️ Masukkan query terlebih dahulu."
+        return [[ "⚠️ Masukkan query terlebih dahulu.", "" ]], "⚠️ Query masih kosong."
     
     q_emb = model.encode([query.lower()], convert_to_numpy=True, normalize_embeddings=True)
-    D, I = index.search(q_emb, top_k)
+    D, I = index.search(q_emb, len(sentences))
     
-    hasil = []
-    for idx, score in zip(I[0], D[0]):
-        if score >= threshold:
-            hasil.append([sentences[idx], float(score)])
-    if not hasil:
-        return [["⚠️ Tidak ada hasil yang cukup relevan", ""]]
-    return hasil
+    hasil = [[sentences[idx], float(score)] for idx, score in zip(I[0], D[0])]
+    return hasil, f"✅ Pencarian selesai. Berikut daftar {len(hasil)} hasil dengan skor kemiripan dari tertinggi ke terendah. Sebagai catatan bahwa bisa saja query yang anda masukkan tidak relevan dengan korpus yang mempunyai skor tertinggi, ini disebabkan karena model dan korpus belum melewati fase fine tunning."
 
 def reset_korpus():
-    # fungsi untuk mengisi korpus_box dengan contoh korpus
     return contoh_korpus
 
-with gr.Blocks() as demo:
-    gr.Markdown("## 🔎 Semantic Search dengan SBERT (Optimized) + FAISS")
+# CSS untuk alignment teks di dalam textbox
+custom_css = """
+.centered textarea {text-align: center;}
+.lefted textarea {text-align: left;}
+"""
+
+with gr.Blocks(css=custom_css) as demo:
+    gr.Markdown("## 🔎 DEMO SBERT | model IndoSBERT")
     korpus_box = gr.Textbox(
-        label="Silakan masukkan korpus anda, satu korpus dihitung ketika Anda menekan enter (baris baru)",
+        label="Silakan masukkan korpus anda",
         lines=8,
-        placeholder="Contoh: Sepak bola adalah olahraga paling populer di dunia."
+        placeholder="Contoh: Vaksinasi melindungi populasi dari penyebaran penyakit menular.\nTidur nyenyak mendukung konsolidasi memori dan fungsi kognitif.",
+        elem_classes="lefted"
     )
     
     with gr.Row():
-        build_btn = gr.Button("⚙️ Bangun Embedding dan Indeksnya")
+        build_btn = gr.Button("⚙️ Proses Korpus")
         reset_btn = gr.Button("🔄 Gunakan Contoh Korpus")
     
-    status = gr.Textbox(label="Status", interactive=False)
+    status = gr.Textbox(lines=2, label="Status", interactive=False)
     build_btn.click(fn=build_index, inputs=korpus_box, outputs=status)
     reset_btn.click(fn=reset_korpus, inputs=None, outputs=korpus_box)
 
-    with gr.Row():
-        query_box = gr.Textbox(label="Query",placeholder="Terkait dengan olahraga")
-        topk_slider = gr.Slider(1, 10, value=3, step=1, label="Jumlah hasil (Top-K)")
+    query_box = gr.Textbox(label="Query", placeholder="Masukkan pertanyaan atau kata kunci, contoh pertanyaan: Apa istilah untuk kondisi ekonomi ketika ongkos hidup meningkat terus menerus?")
+    
     hasil_box = gr.Dataframe(headers=["Kalimat", "Skor"], wrap=True)
     cari_btn = gr.Button("Cari 🔍")
-    cari_btn.click(fn=search_query, inputs=[query_box, topk_slider], outputs=hasil_box)
+    # sekarang search_query mengembalikan 2 output: hasil + status
+    cari_btn.click(fn=search_query, inputs=query_box, outputs=[hasil_box, status])
 
 demo.launch(share=True, inline=False)