Перейти к основному содержимому

Частые вопросы об AIaaS

Чем API отличается от подписки ChatGPT за $20 в месяц​

Подписка — это готовое приложение-чат для одного человека: фиксированная плата за место, лимиты на число сообщений, работа только в интерфейсе сервиса. API — доступ к модели для ваших систем: оплата за фактический объём в токенах, без привязки к числу пользователей, подключение к своим приложениям, ботам, агентам и обработке документов.

Что из этого выгоднее, зависит от нагрузки. Сотруднику, который задаёт модели несколько вопросов в день, оплата по API обычно обходится дешевле места в подписке. Для интенсивной работы — например, кодинг-агента, который весь день читает и правит код, — счёт по API может быть заметно выше. Прикинуть свой случай поможет калькулятор стоимости.

Через AIaaS доступны сотни моделей разных разработчиков через один ключ, а не одна линейка. Ещё отличия: единый счёт на компанию, квоты по подразделениям и защита персональных данных.

Почему цена за API может меняться​

Цену модели задают её поставщики, а не мы. Она меняется по нескольким причинам:

  • поставщики меняют цены — чаще в сторону снижения, особенно у новых моделей;
  • акции — поставщик временно снижает цену, а когда акция заканчивается, цена возвращается;
  • у одной модели несколько поставщиков с разной ценой, и запрос может уйти к любому из них;
  • длина запроса — у части моделей вход дороже, если запрос длиннее порога, например 272 тыс. токенов;
  • рассуждения и кэш — см. вопросы ниже.

Актуальные цены всех поставщиков — на странице Модели и поставщики. Если нужна предсказуемая цена, мы закрепим за вашим маршрутом конкретных поставщиков.

Что такое квантизация и как она влияет на качество​

Квантизация — запуск модели с меньшей точностью чисел в её весах: 16 бит (bf16, fp16), 8 бит (fp8) или 4 бита (fp4, int4). Модель занимает меньше памяти, отвечает быстрее и стоит дешевле, но ответы могут немного отличаться от эталонных.

На практике 8 бит почти не отличаются от 16 на большинстве задач. 4 бита заметнее сказываются на сложных рассуждениях, математике, коде и длинных документах. Для массовых простых задач — классификации, извлечения данных, коротких ответов — разница обычно незаметна.

Точность весов у каждого поставщика указана в колонке «Веса» на странице моделей; там же есть фильтр «не ниже 8 бит». Прочерк означает, что поставщик точность не раскрывает.

Как выбрать поставщика модели​

Смотрите на четыре показателя на странице Модели и поставщики:

  • цена — сравнивайте по колонке «Типичный», а не только по входу: дешёвый вход нередко идёт вместе с дорогим выходом;
  • задержка и скорость — важны для чатов и интерактивных сценариев;
  • аптайм — важен, если сбой поставщика останавливает ваш процесс;
  • точность весов и политика данных — см. вопросы о квантизации и об обучении на запросах.

Самый дешёвый поставщик не всегда самый надёжный. Можно закрепить минимальную цену или отказоустойчивость с запасными поставщиками — подробнее в примечании «Цена или доступность» на странице моделей.

Что такое токен и сколько их в тексте​

Токен — кусочек текста, которым модель считает объём: часть слова, слово или знак. Ориентиры для русского текста:

  • страница А4 — примерно 600–800 токенов;
  • минута разговора в расшифровке — около 200–250 токенов;
  • английский текст того же смысла короче примерно на треть.

Оплачиваются и входные токены (ваш запрос, история диалога, документы, инструкция), и выходные (ответ модели). Выход обычно в 2–8 раз дороже входа.

Почему рассуждающие модели дороже​

Перед ответом такая модель «думает»: пишет для себя промежуточные рассуждения. Они не показываются в ответе, но оплачиваются как выходные токены — иногда их в несколько раз больше, чем самого ответа. Для простых задач выгоднее модели без рассуждений или режим с отключёнными рассуждениями, если модель его поддерживает.

Что такое кэш и почему он важен для кодинг-агентов​

Когда модель много раз получает одно и то же начало запроса — инструкцию, код проекта, историю диалога, — поставщик может не обрабатывать его заново, а прочитать из кэша. Чтение из кэша обычно стоит в 2–20 раз дешевле обычного входа, у части поставщиков скидки нет; цены — в колонке «Кэш» на странице моделей.

Кодинг-агенты на каждом шаге заново отправляют почти весь контекст. На сценариях разработки ITGLOBAL.COM 98% входа агентов — чтение из кэша, поэтому от цены кэша стоимость строки кода зависит сильнее, чем от цены входа и выхода вместе: со скидкой за кэш строка кода обходится примерно в 10 раз дешевле, чем без неё. Калькулятор считает кодинг-агента со скидкой за кэш и показывает, сколько стоила бы та же работа без неё.

Обучаются ли поставщики на наших запросах​

Каждый поставщик сам заявляет, использует ли он запросы для обучения моделей и хранит ли их. Мы показываем это в колонке «Данные» на странице Модели и поставщики:

  • «обучается» — поставщик использует запросы для обучения;
  • «хранит N дн.» — поставщик хранит запросы ограниченное время, обычно для контроля злоупотреблений, но не обучается на них;
  • «не хранит» — поставщик заявляет, что не хранит запросы и не обучается на них.

По умолчанию запрос может уйти к любому из этих поставщиков. Те, кто обучается на запросах или хранит их, нередко дешевле остальных. Если для вас это неприемлемо, мы исключим таких поставщиков из вашего маршрута. Посмотреть, кто останется и сколько это будет стоить, можно фильтрами «без обучения на запросах» и «без хранения запросов» на странице моделей.

Где обрабатываются данные​

  • Внешние модели работают у их поставщиков — страны их дата-центров указаны в колонке «Данные».
  • Локальные модели работают в контуре ITGLOBAL.COM и данные наружу не передают.
  • Защищённые маршруты перед отправкой во внешнюю модель заменяют персональные данные в запросе на плейсхолдеры — подробнее в разделе Protected-эндпоинты и защита персональных данных.

Если данные не должны покидать РФ, скажите об этом при подключении: подберём локальные модели и подходящую площадку.

Что такое окно контекста и почему длинные запросы дороже​

Окно контекста — сколько токенов модель может прочитать за один запрос: инструкцию, историю диалога, документы и ответ вместе. Чем длиннее запрос, тем больше входных токенов в каждом вызове. В длинном диалоге модель заново читает всю историю на каждом шаге, поэтому стоимость растёт быстрее, чем число сообщений. Кроме того, у части моделей вход дорожает выше порога длины.

Экономят на длинном контексте так: сокращают инструкцию, подают в модель только нужные фрагменты документов, а не документ целиком, и начинают новый диалог, когда старая история больше не нужна.

Чем отличаются версии одной модели — Flash, Mini, Pro, Max​

Обычно это одна линейка в разных размерах: младшие версии (Flash, Mini, Lite) быстрее и в разы дешевле, старшие (Pro, Max) лучше справляются со сложными рассуждениями, длинными документами и кодом. Начинать стоит с младшей версии и переходить на старшую, только если качества не хватает. Подробнее — в разделе Как выбрать модель.

Почему у одной модели разная скорость у разных поставщиков​

Поставщики запускают модель на разном оборудовании, с разной точностью весов и разной нагрузкой. Поэтому время до начала ответа и скорость выдачи у них различаются — иногда в разы. Сравнить можно по колонкам «Задержка», «Медленные» и «Скорость» на странице моделей.

Что такое акция у поставщика​

Поставщик временно снижает цену — такие цены отмечены на странице моделей значком со скидкой. Дату окончания поставщики не публикуют, поэтому акционную цену стоит считать временной.

Можно ли подключить свои агенты, IDE и SDK​

Да. AIaaS совместим с OpenAI API, поэтому подходят библиотеки OpenAI и большинство инструментов, которые с ними работают. Готовые инструкции — в разделах Инструкция по подключению, Подключение агентов и IDE и Примеры подключения и использования.