MOHAMMED-N commited on
Commit
0f97739
·
verified ·
1 Parent(s): 0de70e8

Delete app.py

Browse files
Files changed (1) hide show
  1. app.py +0 -111
app.py DELETED
@@ -1,111 +0,0 @@
1
- import streamlit as st
2
- import os
3
- from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
4
- from langchain_community.document_loaders import PyPDFLoader
5
- from langchain_experimental.text_splitter import SemanticChunker
6
- from langchain_huggingface import HuggingFaceEmbeddings
7
- from langchain_community.vectorstores import FAISS
8
- from langchain.memory import ConversationBufferMemory
9
-
10
- # --- 1) إعداد الصفحة ---
11
- st.title("💬 المحادثة التفاعلية - إدارة البيانات وحماية البيانات الشخصية")
12
- local_file = "Policies001.pdf"
13
-
14
- index_folder = "faiss_index"
15
-
16
- # إضافة CSS مخصص لدعم النصوص من اليمين لليسار
17
- st.markdown(
18
- """
19
- <style>
20
- .rtl {
21
- direction: rtl;
22
- text-align: right;
23
- }
24
- </style>
25
- """,
26
- unsafe_allow_html=True
27
- )
28
-
29
- # --- 2) تحميل أو بناء قاعدة بيانات FAISS ---
30
- embeddings = HuggingFaceEmbeddings(
31
- model_name="CAMeL-Lab/bert-base-arabic-camelbert-mix",
32
- model_kwargs={"trust_remote_code": True}
33
- )
34
-
35
- if os.path.exists(index_folder):
36
- # تحميل قاعدة البيانات إذا كانت موجودة
37
- vectorstore = FAISS.load_local(index_folder, embeddings, allow_dangerous_deserialization=True)
38
- else:
39
- # تحميل PDF وتقسيم النصوص
40
- loader = PyPDFLoader(local_file)
41
- documents = loader.load()
42
-
43
- text_splitter = SemanticChunker(
44
- embeddings=embeddings,
45
- breakpoint_threshold_type='percentile',
46
- breakpoint_threshold_amount=90
47
- )
48
- chunked_docs = text_splitter.split_documents(documents)
49
-
50
- # إنشاء قاعدة بيانات FAISS
51
- vectorstore = FAISS.from_documents(chunked_docs, embeddings)
52
- vectorstore.save_local(index_folder)
53
-
54
- # --- 3) إعداد المسترجع ---
55
- retriever = vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 5})
56
-
57
- # --- 4) إعداد نموذج النص ---
58
- model_name = "CohereForAI/c4ai-command-r7b-arabic-02-2025" # اسم النموذج
59
-
60
- # التأكد من وجود توكن Hugging Face
61
- hf_token = os.getenv("HF_TOKEN")
62
- if hf_token is None:
63
- st.error("Hugging Face token not found. Please set the 'HF_TOKEN' environment variable.")
64
- st.stop()
65
-
66
- # تحميل النموذج والمحول
67
- tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token)
68
- model = AutoModelForCausalLM.from_pretrained(model_name, use_auth_token=hf_token)
69
-
70
- # إعداد pipeline لتوليد النصوص
71
- qa_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
72
-
73
- # --- 5) إعداد الذاكرة ---
74
- memory = ConversationBufferMemory(
75
- memory_key="chat_history",
76
- return_messages=True
77
- )
78
-
79
- # --- 6) إدارة رسائل المستخدم ---
80
- if "messages" not in st.session_state:
81
- st.session_state["messages"] = [
82
- {"role": "assistant", "content": "👋 مرحبًا! اسألني أي شيء عن إدارة البيانات وحماية البيانات الشخصية!"}
83
- ]
84
-
85
- # عرض الرسائل الحالية
86
- for msg in st.session_state["messages"]:
87
- with st.chat_message(msg["role"]):
88
- st.markdown(f'<div class="rtl">{msg["content"]}</div>', unsafe_allow_html=True)
89
-
90
- # --- 7) إدخال المستخدم ---
91
- user_input = st.chat_input("اكتب سؤالك هنا")
92
-
93
- # --- 8) معالجة رسالة المستخدم ---
94
- if user_input:
95
- # عرض رسالة المستخدم
96
- st.session_state["messages"].append({"role": "user", "content": user_input})
97
- with st.chat_message("user"):
98
- st.markdown(f'<div class="rtl">{user_input}</div>', unsafe_allow_html=True)
99
-
100
- # استرجاع المستندات ذات الصلة
101
- retrieved_docs = retriever.get_relevant_documents(user_input)
102
- context = "\n".join([doc.page_content for doc in retrieved_docs])
103
- full_input = f"السياق:\n{context}\n\nالسؤال:\n{user_input}"
104
-
105
- # توليد الإجابة باستخدام النموذج
106
- response = qa_pipeline(full_input, max_length=500, num_return_sequences=1)[0]["generated_text"]
107
-
108
- # عرض الإجابة
109
- st.session_state["messages"].append({"role": "assistant", "content": response})
110
- with st.chat_message("assistant"):
111
- st.markdown(f'<div class="rtl">{response}</div>', unsafe_allow_html=True)