add gpt model health check (#21)

bot_microservice/core/commands.py

@@ -1,18 +1,14 @@
 import asyncio
-import random
 import tempfile
 from urllib.parse import urljoin
-from uuid import uuid4
 
-import httpx
-from httpx import AsyncClient, AsyncHTTPTransport
 from loguru import logger
 from telegram import InlineKeyboardMarkup, Update
 from telegram.ext import ContextTypes
 
-from constants import CHAT_GPT_BASE_URI, BotEntryPoints
+from constants import BotEntryPoints
 from core.keyboards import main_keyboard
-from core.utils import SpeechToTextService
+from core.utils import ChatGptService, SpeechToTextService
 from settings.config import settings
 
 
@@ -38,7 +34,7 @@ async def about_bot(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None:
         return None
     await update.effective_message.reply_text(
         f"Бот использует бесплатную модель {settings.GPT_MODEL} для ответов на вопросы. "
-        f"Принимает запросы на разных языках.\n\nБот так же умеет переводить русские голосовые сообщения в текст. "
+        f"\nПринимает запросы на разных языках.\n\nБот так же умеет переводить русские голосовые сообщения в текст. "
         f"Просто пришлите голосовуху и получите поток сознания в виде текста, но без знаков препинания",
         parse_mode="Markdown",
     )
@@ -71,38 +67,9 @@ async def ask_question(update: Update, context: ContextTypes.DEFAULT_TYPE) -> No
 
     await update.message.reply_text("Пожалуйста подождите, ответ в среднем занимает 10-15 секунд")
 
-    chat_gpt_request = {
-        "conversation_id": str(uuid4()),
-        "action": "_ask",
-        "model": settings.GPT_MODEL,
-        "jailbreak": "default",
-        "meta": {
-            "id": random.randint(10**18, 10**19 - 1),  # noqa: S311
-            "content": {
-                "conversation": [],
-                "internet_access": False,
-                "content_type": "text",
-                "parts": [{"content": update.message.text, "role": "user"}],
-            },
-        },
-    }
-
-    transport = AsyncHTTPTransport(retries=3)
-    async with AsyncClient(base_url=settings.GPT_BASE_HOST, transport=transport, timeout=50) as client:
-        try:
-            response = await client.post(CHAT_GPT_BASE_URI, json=chat_gpt_request, timeout=50)
-            status = response.status_code
-            if status != httpx.codes.OK:
-                logger.info(f"got response status: {status} from chat api", data=chat_gpt_request)
-                await update.message.reply_text(
-                    "Что-то пошло не так, попробуйте еще раз или обратитесь к администратору"
-                )
-                return
-
-            await update.message.reply_text(response.text)
-        except Exception as error:
-            logger.error("error get data from chat api", error=error)
-            await update.message.reply_text("Вообще всё сломалось :(")
+    chat_gpt_service = ChatGptService(chat_gpt_model=settings.GPT_MODEL)
+    answer = await chat_gpt_service.request_to_chatgpt(question=update.message.text)
+    await update.message.reply_text(answer)
 
 
 async def voice_recognize(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None:

bot_microservice/core/utils.py

@@ -1,10 +1,14 @@
 import os
+import random
 import subprocess  # noqa
 from concurrent.futures.thread import ThreadPoolExecutor
 from datetime import datetime, timedelta
 from functools import lru_cache, wraps
 from typing import Any
+from uuid import uuid4
 
+import httpx
+from httpx import AsyncClient, AsyncHTTPTransport, Response
 from loguru import logger
 from pydub import AudioSegment
 from speech_recognition import (
@@ -13,7 +17,12 @@ from speech_recognition import (
     UnknownValueError as SpeechRecognizerError,
 )
 
-from constants import AUDIO_SEGMENT_DURATION
+from constants import (
+    AUDIO_SEGMENT_DURATION,
+    CHAT_GPT_BASE_URI,
+    INVALID_GPT_MODEL_MESSAGE,
+)
+from settings.config import settings
 
 
 def timed_cache(**timedelta_kwargs: Any) -> Any:
@@ -103,3 +112,49 @@ class SpeechToTextService:
                 os.remove(tmp_filename)
                 logger.error("error recognizing text with google", error=error)
                 raise error
+
+
+class ChatGptService:
+    def __init__(self, chat_gpt_model: str) -> None:
+        self.chat_gpt_model = chat_gpt_model
+
+    async def request_to_chatgpt(self, question: str | None) -> str:
+        question = question or "Привет!"
+        chat_gpt_request = self.build_request_data(question)
+        try:
+            response = await self.do_request(chat_gpt_request)
+            status = response.status_code
+            if response.text == INVALID_GPT_MODEL_MESSAGE:
+                message = f"{INVALID_GPT_MODEL_MESSAGE}: {settings.GPT_MODEL}"
+                logger.info(message, data=chat_gpt_request)
+                return message
+            if status != httpx.codes.OK:
+                logger.info(f"got response status: {status} from chat api", data=chat_gpt_request)
+                return "Что-то пошло не так, попробуйте еще раз или обратитесь к администратору"
+            return response.text
+        except Exception as error:
+            logger.error("error get data from chat api", error=error)
+        return "Вообще всё сломалось :("
+
+    @staticmethod
+    async def do_request(data: dict[str, Any]) -> Response:
+        transport = AsyncHTTPTransport(retries=3)
+        async with AsyncClient(base_url=settings.GPT_BASE_HOST, transport=transport, timeout=50) as client:
+            return await client.post(CHAT_GPT_BASE_URI, json=data, timeout=50)
+
+    def build_request_data(self, question: str) -> dict[str, Any]:
+        return {
+            "conversation_id": str(uuid4()),
+            "action": "_ask",
+            "model": self.chat_gpt_model,
+            "jailbreak": "default",
+            "meta": {
+                "id": random.randint(10**18, 10**19 - 1),  # noqa: S311
+                "content": {
+                    "conversation": [],
+                    "internet_access": False,
+                    "content_type": "text",
+                    "parts": [{"content": question, "role": "user"}],
+                },
+            },
+        }