Update app.py

app.py

@@ -6,7 +6,7 @@ import spaces
 import transformers
 from transformers import pipeline
 
-# 모델과 토크나이저 로딩
+# Loading model and tokenizer
 model_name = "meta-llama/Llama-3.1-8B-Instruct"
 if gr.NO_RELOAD:
     pipe = pipeline(
@@ -16,33 +16,33 @@ if gr.NO_RELOAD:
         torch_dtype="auto",
     )
 
-# 최종 답변을 감지하기 위한 마커
-ANSWER_MARKER = "**답변**"
+# Marker for detecting final answer
+ANSWER_MARKER = "**Answer**"
 
-# 단계별 추론을 시작하는 문장들
+# Sentences to start step-by-step reasoning
 rethink_prepends = [
-    "자, 이제 다음을 파악해야 합니다 ",
-    "제 생각에는 ",
-    "다음 사항이 맞는지 확인해 보겠습니다 ",
-    "또한 기억해야 할 것은 ",
-    "또 다른 주목할 점은 ",
-    "그리고 저는 다음과 같은 사실도 기억합니다 ",
-    "이제 충분히 이해했다고 생각합니다 ",
+    "Now, I need to understand the following ",
+    "In my opinion ",
+    "Let me verify if the following is correct ",
+    "Also, I should remember that ",
+    "Another point to note is ",
+    "And I also remember the following fact ",
+    "Now I think I understand sufficiently ",
 ]
 
-# 최종 답변 생성을 위한 프롬프트 추가
+# Prompt addition for generating final answer
 final_answer_prompt = """
-지금까지의 추론 과정을 바탕으로, 원래 질문에 사용된 언어로 답변하겠습니다:
+Based on my reasoning process so far, I will answer the original question in the language it was asked:
 {question}
 
-아래는 내가 추론한 결론입니다:
+Here is the conclusion I've reasoned:
 {reasoning_conclusion}
 
-위 추론을 기반으로 최종 답변:
+Based on the above reasoning, my final answer:
 {ANSWER_MARKER}
 """
 
-# 수식 표시 문제 해결을 위한 설정
+# Settings for displaying formulas
 latex_delimiters = [
     {"left": "$$", "right": "$$", "display": True},
     {"left": "$", "right": "$", "display": False},
@@ -50,9 +50,9 @@ latex_delimiters = [
 
 
 def reformat_math(text):
-    """Gradio 구문(Katex)을 사용하도록 MathJax 구분 기호 수정.
-    이것은 Gradio에서 수학 공식을 표시하기 위한 임시 해결책입니다. 현재로서는
-    다른 latex_delimiters를 사용하여 예상대로 작동하게 하는 방법을 찾지 못했습니다...
+    """Modify MathJax delimiters to use Gradio syntax (Katex).
+    This is a temporary fix for displaying math formulas in Gradio. Currently,
+    I haven't found a way to make it work as expected with other latex_delimiters...
     """
     text = re.sub(r"\\\[\s*(.*?)\s*\\\]", r"$$\1$$", text, flags=re.DOTALL)
     text = re.sub(r"\\\(\s*(.*?)\s*\\\)", r"$\1$", text, flags=re.DOTALL)
@@ -60,7 +60,7 @@ def reformat_math(text):
 
 
 def user_input(message, history_original, history_thinking):
-    """사용자 입력을 히스토리에 추가하고 입력 텍스트 상자 비우기"""
+    """Add user input to history and clear input text box"""
     return "", history_original + [
         gr.ChatMessage(role="user", content=message.replace(ANSWER_MARKER, ""))
     ], history_thinking + [
@@ -69,7 +69,7 @@ def user_input(message, history_original, history_thinking):
 
 
 def rebuild_messages(history: list):
-    """중간 생각 과정 없이 모델이 사용할 히스토리에서 메시지 재구성"""
+    """Reconstruct messages from history for model use without intermediate thinking process"""
     messages = []
     for h in history:
         if isinstance(h, dict) and not h.get("metadata", {}).get("title", False):
@@ -90,16 +90,16 @@ def bot_original(
     do_sample: bool,
     temperature: float,
 ):
-    """원본 모델이 질문에 답변하도록 하기 (추론 과정 없이)"""
+    """Make the original model answer questions (without reasoning process)"""
 
-    # 나중에 스레드에서 토큰을 스트림으로 가져오기 위함
+    # For streaming tokens from thread later
     streamer = transformers.TextIteratorStreamer(
         pipe.tokenizer,  # pyright: ignore
         skip_special_tokens=True,
         skip_prompt=True,
     )
 
-    # 보조자 메시지 준비
+    # Prepare assistant message
     history.append(
         gr.ChatMessage(
             role="assistant",
@@ -107,10 +107,10 @@ def bot_original(
         )
     )
 
-    # 현재 채팅에 표시될 메시지
-    messages = rebuild_messages(history[:-1])  # 마지막 빈 메시지 제외
+    # Messages to be displayed in current chat
+    messages = rebuild_messages(history[:-1])  # Excluding last empty message
     
-    # 원본 모델은 추론 없이 바로 답변
+    # Original model answers directly without reasoning
     t = threading.Thread(
         target=pipe,
         args=(messages,),
@@ -140,34 +140,34 @@ def bot_thinking(
     do_sample: bool,
     temperature: float,
 ):
-    """추론 과정을 포함하여 모델이 질문에 답변하도록 하기"""
+    """Make the model answer questions with reasoning process"""
 
-    # 나중에 스레드에서 토큰을 스트림으로 ��져오기 위함
+    # For streaming tokens from thread later
     streamer = transformers.TextIteratorStreamer(
         pipe.tokenizer,  # pyright: ignore
         skip_special_tokens=True,
         skip_prompt=True,
     )
 
-    # 필요한 경우 추론에 질문을 다시 삽입하기 위함
+    # For reinserting the question into reasoning if needed
     question = history[-1]["content"]
 
-    # 보조자 메시지 준비
+    # Prepare assistant message
     history.append(
         gr.ChatMessage(
             role="assistant",
             content=str(""),
-            metadata={"title": "🧠 생각 중...", "status": "pending"},
+            metadata={"title": "🧠 Thinking...", "status": "pending"},
         )
     )
 
-    # 현재 채팅에 표시될 추론 과정
+    # Reasoning process to be displayed in current chat
     messages = rebuild_messages(history)
     
-    # 전체 추론 과정을 저장할 변수
+    # Variable to store the entire reasoning process
     full_reasoning = ""
     
-    # 추론 단계 실행
+    # Run reasoning steps
     for i, prepend in enumerate(rethink_prepends):
         if i > 0:
             messages[-1]["content"] += "\n\n"
@@ -185,7 +185,7 @@ def bot_thinking(
         )
         t.start()
 
-        # 새 내용으로 히스토리 재구성
+        # Reconstruct history with new content
         history[-1].content += prepend.format(question=question)
         for token in streamer:
             history[-1].content += token
@@ -193,21 +193,21 @@ def bot_thinking(
             yield history
         t.join()
         
-        # 각 추론 단계의 결과를 full_reasoning에 저장
+        # Save the result of each reasoning step to full_reasoning
         full_reasoning = history[-1].content
 
-    # 추론 완료, 이제 최종 답변을 생성
-    history[-1].metadata = {"title": "💭 사고 과정", "status": "done"}
+    # Reasoning complete, now generate final answer
+    history[-1].metadata = {"title": "💭 Thought Process", "status": "done"}
     
-    # 추론 과정에서 결론 부분을 추출 (마지막 1-2 문단 정도)
+    # Extract conclusion part from reasoning process (approximately last 1-2 paragraphs)
     reasoning_parts = full_reasoning.split("\n\n")
     reasoning_conclusion = "\n\n".join(reasoning_parts[-2:]) if len(reasoning_parts) > 2 else full_reasoning
     
-    # 최종 답변 메시지 추가
+    # Add final answer message
     history.append(gr.ChatMessage(role="assistant", content=""))
     
-    # 최종 답변을 위한 메시지 구성
-    final_messages = rebuild_messages(history[:-1])  # 마지막 빈 메시지 제외
+    # Construct message for final answer
+    final_messages = rebuild_messages(history[:-1])  # Excluding last empty message
     final_prompt = final_answer_prompt.format(
         question=question,
         reasoning_conclusion=reasoning_conclusion,
@@ -215,7 +215,7 @@ def bot_thinking(
     )
     final_messages[-1]["content"] += final_prompt
     
-    # 최종 답변 생성
+    # Generate final answer
     t = threading.Thread(
         target=pipe,
         args=(final_messages,),
@@ -228,7 +228,7 @@ def bot_thinking(
     )
     t.start()
     
-    # 최종 답변 스트리밍
+    # Stream final answer
     for token in streamer:
         history[-1].content += token
         history[-1].content = reformat_math(history[-1].content)
@@ -238,10 +238,21 @@ def bot_thinking(
     yield history
 
 
-with gr.Blocks(fill_height=True, title="Vidraft ThinkFlow") as demo:
-    # 제목과 설명
-    gr.Markdown("# Vidraft ThinkFlow")
-    gr.Markdown("### 추론 기능이 없는 LLM 모델의 수정 없이도 추론 기능을 자동으로 적용하는 LLM 추론 생성 플랫폼")
+with gr.Blocks(fill_height=True, title="ThinkFlow") as demo:
+    # Title and description
+    gr.Markdown("# ThinkFlow")
+    gr.Markdown("### An LLM reasoning generation platform that automatically applies reasoning capabilities to LLM models without modification")
+    
+    # Features and benefits section
+    with gr.Accordion("✨ Features & Benefits", open=True):
+        gr.Markdown("""
+        - **Enhanced Reasoning**: Transform any LLM into a step-by-step reasoning engine without model modifications
+        - **Transparency**: Visualize the model's thought process alongside direct answers
+        - **Improved Accuracy**: See how guided reasoning leads to more accurate solutions for complex problems
+        - **Educational Tool**: Perfect for teaching critical thinking and problem-solving approaches
+        - **Versatile Application**: Works with mathematical problems, logical puzzles, and complex questions
+        - **Side-by-Side Comparison**: Compare standard model responses with reasoning-enhanced outputs
+        """)
     
     with gr.Row(scale=1):
         with gr.Column(scale=2):
@@ -263,36 +274,36 @@ with gr.Blocks(fill_height=True, title="Vidraft ThinkFlow") as demo:
             )
     
     with gr.Row():
-        # msg 텍스트박스를 먼저 정의
+        # Define msg textbox first
         msg = gr.Textbox(
             submit_btn=True,
             label="",
             show_label=False,
-            placeholder="여기에 질문을 입력하세요.",
+            placeholder="Enter your question here.",
             autofocus=True,
         )
     
-    # 예제 섹션 - msg 변수 정의 이후에 배치
+    # Examples section - placed after msg variable definition
     with gr.Accordion("EXAMPLES", open=False):
         examples = gr.Examples(
             examples=[
-                "[출처: MATH-500)] 처음 100개의 양의 정수 중에서 3, 4, 5로 나누어 떨어지는 수는 몇 개입니까?",
-                "[출처: MATH-500)] 잉크의 땅에서 돈 시스템은 독특합니다. 트링킷 1개는 블링킷 4개와 같고, 블링킷 3개는 드링크 7개와 같습니다. 트링킷에서 드링크 56개의 가치는 얼마입니까?",
-                "[출처: MATH-500)] 에이미, 벤, 크리스의 평균 나이는 6살입니다. 4년 전 크리스는 지금 에이미와 같은 나이였습니다. 4년 후 벤의 나이는 그때 에이미의 나이의 $\\frac{3}{5}$가 될 것입니다. 크리스는 지금 몇 살입니까?",
-                "[출처: MATH-500)] 노란색과 파란색 구슬이 들어 있는 가방이 있습니다. 현재 파란색 구슬과 노란색 구슬의 비율은 4:3입니다. 파란색 구슬 5개를 더하고 노란색 구슬 3개를 제거하면 비율은 7:3이 됩니다. 더 넣기 전에 가방에 파란색 구슬이 몇 개 있었습니까?"                
+                "[Source: MATH-500)] How many numbers among the first 100 positive integers are divisible by 3, 4, and 5?",
+                "[Source: MATH-500)] In the land of Ink, the money system is unique. 1 trinket equals 4 blinkets, and 3 blinkets equal 7 drinkits. What is the value of 56 drinkits in trinkets?",
+                "[Source: MATH-500)] The average age of Amy, Ben, and Chris is 6 years. Four years ago, Chris was the same age as Amy is now. Four years from now, Ben's age will be $\\frac{3}{5}$ of Amy's age at that time. How old is Chris now?",
+                "[Source: MATH-500)] A bag contains yellow and blue marbles. Currently, the ratio of blue marbles to yellow marbles is 4:3. After adding 5 blue marbles and removing 3 yellow marbles, the ratio becomes 7:3. How many blue marbles were in the bag before any were added?"                
             ],
             inputs=msg
         )
     
     with gr.Row():
         with gr.Column():
-            gr.Markdown("""## 매개변수 조정""")
+            gr.Markdown("""## Parameter Adjustment""")
             num_tokens = gr.Slider(
                 50,
                 4000,
                 2000,
                 step=1,
-                label="추론 단계당 최대 토큰 수",
+                label="Maximum tokens per reasoning step",
                 interactive=True,
             )
             final_num_tokens = gr.Slider(
@@ -300,17 +311,20 @@ with gr.Blocks(fill_height=True, title="Vidraft ThinkFlow") as demo:
                 4000,
                 2000,
                 step=1,
-                label="최종 답변의 최대 토큰 수",
+                label="Maximum tokens for final answer",
                 interactive=True,
             )
-            do_sample = gr.Checkbox(True, label="샘플링 사용")
-            temperature = gr.Slider(0.1, 1.0, 0.7, step=0.1, label="온도")
+            do_sample = gr.Checkbox(True, label="Use sampling")
+            temperature = gr.Slider(0.1, 1.0, 0.7, step=0.1, label="Temperature")
+    
+    # Community link at the bottom
+    gr.Markdown("<p style='font-size: 12px;'>Community: <a href='https://discord.gg/openfreeai' target='_blank'>https://discord.gg/openfreeai</a></p>")
 
-    # 사용자가 메시지를 제출하면 두 봇이 동시에 응답합니다
+    # When user submits a message, both bots respond simultaneously
     msg.submit(
         user_input,
-        [msg, chatbot_original, chatbot_thinking],  # 입력
-        [msg, chatbot_original, chatbot_thinking],  # 출력
+        [msg, chatbot_original, chatbot_thinking],  # inputs
+        [msg, chatbot_original, chatbot_thinking],  # outputs
     ).then(
         bot_original,
         [
@@ -319,7 +333,7 @@ with gr.Blocks(fill_height=True, title="Vidraft ThinkFlow") as demo:
             do_sample,
             temperature,
         ],
-        chatbot_original,  # 출력에서 새 히스토리 저장
+        chatbot_original,  # save new history in outputs
     ).then(
         bot_thinking,
         [
@@ -329,7 +343,7 @@ with gr.Blocks(fill_height=True, title="Vidraft ThinkFlow") as demo:
             do_sample,
             temperature,
         ],
-        chatbot_thinking,  # 출력에서 새 히스토리 저장
+        chatbot_thinking,  # save new history in outputs
     )
 
 if __name__ == "__main__":