Свій ШІ

Введіть токен панелі (MANAGER_TOKEN).

Свій ШІ

Зараз

Як підключити сервіс

Сервіси (promo-sender, бот) звертаються сюди так само, як до OpenRouter, лише з іншою адресою і ключем:

Адреса:
Ключ: створюється на вкладці «Сервіси», для кожного сервісу свій.
Модель у запиті може бути будь-якою: якщо такої немає, береться модель за замовчуванням або закріплена за сервісом.

Тексти запитів і відповідей тут не зберігаються - лише кількість токенів і час.

Завантажені моделі

Завантажити модель

Рекомендовані для початку

Будь-яка інша

Назви - з бібліотеки ollama.com або GGUF з Hugging Face (hf.co/...). Модель займає диск і, поки працює, пам'ять сервера.

Сервіси з доступом

Кожен сервіс отримує свій ключ. Тут же можна закріпити за сервісом модель - це і є перемикач: міняєте тут, у сервісі нічого не чіпаєте.

Додати сервіс

Пісочниця

Перевірити модель руками: скільки думає і що відповідає. Запит стає в ту саму чергу, що й сервіси.


  






  

    
Статистика

      
    

    
За сервісами

    
За моделями

    
Час - повний час відповіді, включно з чеканням у черзі. Читання - скільки токенів запиту модель обробляє за секунду (довгі запити бота впираються саме сюди). Написання - токенів відповіді за секунду.

  






  

    
Журнал запитів

    

  






  

    
Налаштування

    

    

    

      Ядра процесора - скільки з 6 ядер сервера модель бере під час відповіді. Решта лишається іншим сервісам.

      Одночасно - скільки запитів модель обробляє паралельно. На процесорі краще 1: два запити разом не швидші, ніж по черзі.

      Тримати в пам'яті - скільки модель лишається завантаженою після запиту (30m, 2h, -1 = завжди, 0 = вивантажувати одразу). Довше - швидша перша відповідь, але пам'ять зайнята.

      Роздуми - думаючі моделі (qwen3) спершу пишуть міркування. На процесорі це хвилини, тому вимкнено.