files uploaded

app.py

@@ -21,15 +21,13 @@ import torch.nn as nn
 import json
 import gensim
 import torch.nn.functional as F
-
-from nltk.corpus import stopwords
-stop_words = set(stopwords.words('english'))
+from transformers import GPT2LMHeadModel, GPT2Tokenizer
 
 
 st.title('10-я неделя DS. Классификация отзывов, определение токсичности и генерация текста')
 
 st.sidebar.header('Выберите страницу')
-page = st.sidebar.radio("Выберите страницу", ["Вводная информация", "Классификация отзывов", "Определение токсичности", "Генерация текста"])
+page = st.sidebar.radio("Выберите страницу", ["Вводная информация", "Классификация отзывов", "Классификация отзывов: неважная информация", "Определение токсичности", "Генерация текста"])
 
 if page == "Вводная информация":
         
@@ -60,6 +58,8 @@ if page == "Классификация отзывов":
         vocab_to_int = json.load(f)
 
     word2vec_model = gensim.models.Word2Vec.load("lstm/word2vec.model")
+
+    stop_words = ['и', 'в', 'во', 'не', 'что', 'он', 'на', 'я', 'с', 'со', 'как', 'а', 'то', 'все', 'она', 'так', 'его', 'но', 'да', 'ты', 'к', 'у', 'же', 'вы', 'за', 'бы', 'по', 'только', 'ее', 'мне', 'было', 'вот', 'от', 'меня', 'еще', 'нет', 'о', 'из', 'ему', 'теперь', 'когда', 'даже', 'ну', 'вдруг', 'ли', 'если', 'уже', 'или', 'ни', 'быть', 'был', 'него', 'до', 'вас', 'нибудь', 'опять', 'уж', 'вам', 'ведь', 'там', 'потом', 'себя', 'ничего', 'ей', 'может', 'они', 'тут', 'где', 'есть', 'надо', 'ней', 'для', 'мы', 'тебя', 'их', 'чем', 'была', 'сам', 'чтоб', 'без', 'будто', 'чего', 'раз', 'тоже', 'себе', 'под', 'будет', 'ж', 'тогда', 'кто', 'этот', 'того', 'потому', 'этого', 'какой', 'совсем', 'ним', 'здесь', 'этом', 'один', 'почти', 'мой', 'тем', 'чтобы', 'нее', 'сейчас', 'были', 'куда', 'зачем', 'всех', 'никогда', 'можно', 'при', 'наконец', 'два', 'об', 'другой', 'хоть', 'после', 'над', 'больше', 'тот', 'через', 'эти', 'нас', 'про', 'всего', 'них', 'какая', 'много', 'разве', 'три', 'эту', 'моя', 'впрочем', 'хорошо', 'свою', 'этой', 'перед', 'иногда', 'лучше', 'чуть', 'том', 'нельзя', 'такой', 'им', 'более', 'всегда', 'конечно', 'всю', 'между']
     
     def data_preprocessing(text: str) -> str:
         text = text.lower()
@@ -137,15 +137,19 @@ if page == "Классификация отзывов":
     model_lstm.load_state_dict(torch.load("lstm/lstm_model.pth"))
     model_lstm.eval()
 
-    def text_to_vector(text, max_len=SEQ_LEN, unknown_token_id=VOCAB_SIZE-1):
-        words = text.split()
-        vector = [vocab_to_int.get(word, unknown_token_id) for word in words]  
-        vector = vector[:max_len]  # Обрезка, если вектор слишком длинный
-        while len(vector) < max_len:  # Добавление паддинга, если вектор слишком короткий
-            vector.append(0)
-        return np.array(vector, dtype=np.int64)  # Указываем явный тип данных
+        # Проверка и добавление токена <UNK>, если он отсутствует
+    if '<UNK>' not in vocab_to_int:
+        vocab_to_int['<UNK>'] = len(vocab_to_int)  # Присвоение нового уникального индекса
+
+    # Проверка и добавление токена <PAD>, если он отсутствует
+    if '<PAD>' not in vocab_to_int:
+        vocab_to_int['<PAD>'] = len(vocab_to_int)  # Присвоение нового уникального индекса
+
+    def text_to_vector(text, unknown_token_id=0):
+            words = text.split()
+            vector = [vocab_to_int.get(word, unknown_token_id) for word in words]  # здесь unknown_token_id - это ID для "неизвестных" слов
+            return np.array(vector, dtype=np.int64)  # Убедитесь, что тип данных int64
 
-    
     def classify_review_lstm(review):
         # Векторизация отзыва
         review_vector = text_to_vector(review)
@@ -161,6 +165,25 @@ if page == "Классификация отзывов":
         # Время предсказания
         prediction_time = end_time - start_time
         return prediction, prediction_time
+    
+    tokenizer_rubert = AutoTokenizer.from_pretrained("cointegrated/rubert-tiny2")
+    model_rubert = AutoModel.from_pretrained("cointegrated/rubert-tiny2")
+    clf_rubert = LogisticRegression(max_iter=1000)  # Предполагается, что ваша модель уже обучена
+
+    with open('rubert/logistic_regression_model.pkl', 'rb') as f:
+        clf_rubert = pickle.load(f)
+
+    # Функция для предсказания
+    def make_prediction(text):
+        start_time = time.time()
+        encoded = tokenizer_rubert(text, add_special_tokens=True, max_length=128, padding='max_length', truncation=True, return_tensors="pt")
+        with torch.no_grad():
+            outputs = model_rubert(**encoded)
+        features = outputs.last_hidden_state[:, 0, :].numpy()
+        prediction = clf_rubert.predict(features)
+        end_time = time.time()
+        prediction_time = end_time - start_time
+        return prediction[0], prediction_time
 
     # Создание интерфейса Streamlit
     st.title('Классификатор отзывов на клиники')
@@ -177,17 +200,118 @@ if page == "Классификация отзывов":
             prediction_lstm, pred_time_lstm = classify_review_lstm(user_review)
             st.write(f'Предсказанный класс LSTM: {prediction_tf}')
             st.write(f'Время предсказания LSTM: {pred_time_tf:.4f} секунд')
+            prediction_rubert, pred_time_rubert = make_prediction(user_review)
+            prediction_ru = 'negative' if prediction_rubert == 0 else 'positive'
+            st.write(f'Предсказанный класс RuBERT: {prediction_ru}')
+            st.write(f'Время предсказания RuBERT: {pred_time_rubert:.4f} секунд')
         else:
             st.write('Пожалуйста, введите отзыв')
 
+if page == "Классификация отзывов: неважная информация":
+# Создание данных для таблицы
+    data = {
+        "Название модели": ["TF-IDF", "LSTM", "RuBert tiny-2"],
+        "F-1 macro score": ["0,94", "0,89", "0,90"]
+    }
 
+    # Создание DataFrame
+    df = pd.DataFrame(data)
 
+    # Отображение таблицы в Streamlit
+    st.table(df)
 
 
-# if page == "Определение токсичности":
-    
-    
-# if page == "Генерация текста":
+if page == "Определение токсичности":
 
+    # Функция для загрузки обученной модели
+    def load_model(model_path):
+        with open(model_path, 'rb') as file:
+            model = pickle.load(file)
+        return model
 
+    # Загрузка обученной модели
+    clf = load_model('toxic/logistic_regression_model_toxic.pkl')  # Укажите путь к файлу модели
+
+    # Загрузка токенизатора и модели BERT
+    tokenizer = AutoTokenizer.from_pretrained("cointegrated/rubert-tiny-toxicity")
+    model = AutoModel.from_pretrained("cointegrated/rubert-tiny-toxicity")
+
+    # Функция для предсказания токсичности сообщения
+    def predict_toxicity(text):
+        encoded = tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=512)
+        with torch.no_grad():
+            outputs = model(**encoded)
+        features = outputs.last_hidden_state[:, 0, :].numpy()
+        prediction = clf.predict(features)
+        return prediction[0]
 
+    # Создание интерфейса Streamlit
+    st.title("Оценка токсичности сообщения")
+
+    # Текстовое поле для ввода сообщения
+    user_input = st.text_area("Введите сообщение для оценки")
+
+    if st.button("Оценить"):
+        if user_input:
+            # Оценка токсичности сообщения
+            prediction = predict_toxicity(user_input)
+            if prediction > 0.5:
+                st.write("Сообщение токсично")
+                st.write(prediction)
+            else:
+                st.write("Сообщение не токсично")
+                st.write(prediction)
+        else:
+            st.write("Пожалуйста, введите сообщение")
+
+    
+    
+if page == "Генерация текста":
+    # Путь к вашим весам модели
+    model_weights_path = 'gpt-2/model.pt'
+
+    # Загружаем токенизатор от GPT-2
+    tokenizer = GPT2Tokenizer.from_pretrained("sberbank-ai/rugpt3small_based_on_gpt2")
+
+    # Создаем экземпляр модели с архитектурой GPT-2, но без предварительно обученных весов
+    model = GPT2LMHeadModel.from_pretrained('sberbank-ai/rugpt3small_based_on_gpt2')
+
+    # Загружаем веса вашей модели
+    model.load_state_dict(torch.load(model_weights_path, map_location='cpu'))
+
+    # Переноси�� модель на устройство (GPU или CPU)
+    device = 'cpu'
+    model.to(device)
+    model.eval()
+
+    def main():
+        st.title("Генератор плохих отзывов больниц от ruGPT3")
+
+        # Ввод текста от пользователя
+        user_prompt = st.text_area("Введите текст-промпт:", "Я была в этой клинике..")
+
+        # Виджеты для динамической регуляции параметров
+        max_length = st.slider("Выберите max_length:", 10, 300, 100)
+        temperature = st.slider("Выберите temperature:", 1.0, 10.0, step=0.2)
+        top_k = st.slider("Выберите top_k:", 100, 500, 50)
+        top_p = st.slider("Выберите top_p:", 0.1, 1.0, 0.95, step=0.05)
+        num_beams = st.slider('Выберите num_beams:', 5, 40, step=1)
+
+        # Генерация текста при нажатии на кнопку
+        if st.button("Сгенерировать текст"):
+            with torch.no_grad():
+                prompt = tokenizer.encode(user_prompt, return_tensors='pt').to(device)
+                out = model.generate(
+                    input_ids=prompt,
+                    max_length=max_length,
+                    num_beams=num_beams,
+                    temperature=temperature,
+                    top_k=top_k,
+                    top_p=top_p,
+                    no_repeat_ngram_size=2,
+                ).cpu().numpy()
+                generated_text = tokenizer.decode(out[0], skip_special_tokens=True)
+                st.subheader("Сгенерированный текст:")
+                st.write(generated_text)
+if __name__ == "__main__":
+    main()

gpt-2/model.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:58b8435eaabf77d3e051ef7971d32e4db2d2af2a785cd08a31b88b19f50c2ddb
+size 500972122

rubert/logistic_regression_model.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3a7080b96e67f49e95633afb9f73f8df4c42859da5c72777cd4e5fb5c21373b3
+size 3210

toxic/logistic_regression_model_toxic.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0a7214a8bbc6c4fde231a013fe2808d94532d6a84f054740cf6e897e86e9cd6b
+size 3176