Google Cloud только что объяснил, как AI-проектам перестать сжигать деньги на дорогих моделях: открытые LLM рядом с большой моделью помогают сократить расходы на ИИ, а в одном из примеров задержка упала на 44% — с 876 до 488 мс. Логика простая: держи Gemini для сложных рассуждений и планирования, а массовые предсказуемые задачи отдавай компактной Gemma 4. Классификация запросов, вытаскивание JSON из текста, маршрутизация агентов — всё это больше не нужно гонять через самую дорогую модель. Именно на таких мелочах, которые повторяются тысячи раз в день, и набегает основной счёт.
Что именно посоветовал Google
В блоге Google Cloud вышла статья о том, почему AI-продуктам стоит сочетать большие модели с компактными open-weight LLM. «Open-weight» — это значит, что веса модели открыты: её можно скачать и запустить на своём железе, а не дёргать чужой сервер за деньги. «Frontier-модель» — наоборот, самая мощная и самая дорогая, к которой ты обращаешься по API.
Проблема, которую описали в Google, знакомая до боли: даже простые операции — классификация запросов, извлечение JSON, маршрутизация агентов — часто выполняются через дорогие frontier-модели. Как если бы ты нанимал профессора математики, чтобы он раскладывал носки по цветам. Работает? Да. Стоит ли этого? Нет.
Google предлагает разделять нагрузку. Gemini — для сложных рассуждений и планирования, небольшие Gemma 4 — для массовых предсказуемых задач. Такая схема называется гибридной, и она уже работает у реальных команд.
Три примера, в которых видно выгоду
Первый — голосовой ассистент Cue. Разработчики перевели обработку транскрипций на локальную Gemma 4 E4B через Ollama, то есть на свою машину, без похода в облако. Задержка снизилась на 44%, с 876 до 488 мс. Для голосового помощника это разница между «живым» разговором и «роботом на связи».
Второй — BetterSpeak, мобильный преподаватель английского. Команда разместила 4-битную Gemma 4 E2B размером около 2,9 ГБ прямо на устройстве. Приложение работает офлайн, без расходов на серверный инференс — то есть без платы за каждый запуск модели на чужом сервере. Скачал один раз — и пользуешься.
Третий — вариант для серверов: Gemma 4 26B A4B, MoE-модель, которая использует около 4 млрд активных параметров на токен. Смесь экспертов — это когда на каждый кусочек текста включается не вся модель целиком, а лишь нужная её часть. Получается: мозгов много, а вычислительной работы — как у маленькой модели.
Где именно прячутся твои деньги
Совет для ML-инженеров из статьи звучит так: прежде чем оптимизировать промпты дорогой модели, проверь, какие этапы пайплайна можно перенести на маленькую специализированную LLM. Пайплайн — это цепочка шагов: принять запрос, понять тему, вытащить данные, сходить в базу, сформулировать ответ.
Дорогая модель нужна для сложных рассуждений и планирования, а массовые предсказуемые задачи спокойно тянет маленькая. Остальные — это чистая механика: определить тип обращения, выдрать из письма имя и сумму, разложить текст по полям. Эффективность LLM здесь измеряется не в вау-эффекте, а в количестве токенов, за которые ты заплатил зря.
И честная оговорка из того же материала: экономию нужно считать с учётом стоимости GPU, качества ответов и задержек, а не только цены API. Если ты развернул модель на своём сервере, она всё равно потребляет электричество и занимает железо.
Что это даёт лично тебе
Маме двоих детей, которая вечером проверяет английский у сына. Приложение вроде BetterSpeak держит модель прямо в телефоне — около 2,9 ГБ, 4-битная Gemma 4 E2B. Работает без интернета: заниматься можно в метро, в поезде и на даче, где связь ловит через раз. И никаких расходов на серверный инференс.
Владельцу кофейни. У него в директе и на картах сотни отзывов и сообщений в месяц. Разложить их по темам — «сервис», «еда», «цена», «ждал долго» — это классификация, а не философия. Такая задача отлично уходит на маленькую модель, а дорогую ты бережёшь для чего-то посерьёзнее.
Фрилансеру-дизайнеру. Клиенты пишут в почту и мессенджеры, из каждого письма надо вытащить бриф: бюджет, сроки, формат, ссылки. Это извлечение JSON в чистом виде. Гонять его через топовую модель — это как платить курьеру за каждый шаг.
Небольшой онлайн-школе. Заявки сыплются в разные каналы, и кто-то должен решать, кому их отдать: продажам, методисту или в поддержку. Маршрутизация агентов — ровно тот случай, о котором пишет Google. Тут маленькая специализированная LLM экономит и деньги, и время менеджера.
Студенту или репетитору. Конспекты, черновики, разбор однотипных упражнений. Всё это можно делать на локальной модели и не думать, сколько стоит очередной запрос.
Инди-разработчику. Когда счёт за API съедает всю маржу проекта, гибридные AI-модели — не теория, а вопрос выживания. Это не оптимизация на слайдах, а реальная экономия в бухгалтерии.
Как попробовать прямо сейчас
1. Открой исходную статью Google Cloud — «Why your startup needs open models alongside frontier APIs». Это бесплатно и займёт минут десять. Читай не как инженер, а как владелец процесса: ищи свои рутинные операции.
2. Зайди в Gemini — бесплатно — и опиши ему свой рабочий день простыми словами: «я владелец кофейни, вот какие сообщения мне приходят». Попроси разложить процесс на шаги и отметить, где нужно реально думать, а где просто сортировать.
3. Выпиши список повторяющихся операций за последнюю неделю. Не «вести бизнес», а конкретно: разобрать отзывы, ответить на 40 однотипных вопросов, вытащить данные из писем.
4. Раздели список на две колонки. Слева — сложное: планирование, длинные тексты, нестандартные решения, туда идёт Gemini. Справа — массовое и предсказуемое: классификация, извлечение JSON, маршрутизация, туда просится компактная Gemma 4.
5. Если дружишь с терминалом — попробуй локальный запуск через Ollama, как это сделали разработчики Cue с Gemma 4 E4B. Если нет — начни с готовых приложений и с того же Gemini: сначала пойми, какие шаги у тебя механические.
6. Посчитай экономию честно. Не только цену API, но и стоимость GPU, качество ответов и задержки. Прогони один и тот же набор задач через большую и маленькую модель и сравни, где маленькая реально справляется.
7. Оставь гибрид. Сложное — большой модели, рутину — маленькой. Именно так это работает у команд из статьи.
Плюсы, минусы и чего ждать дальше
Плюсы очевидны: дешевле, быстрее, а иногда и автономнее. Снижение задержки на 44% у Cue — это не абстрактная метрика, а разница в ощущениях пользователя. Приложение, которое работает офлайн, как BetterSpeak, вообще не зависит от того, оплачен ли у тебя сервер. А компактные open-weight модели можно ставить на своё железо.
Минусы тоже есть, и о них говорят сами авторы статьи. Маленькая модель ошибается там, где нужны сложные рассуждения, — это не замена большой, а её помощник. Локальный запуск требует железа, и экономию нужно считать с учётом стоимости GPU, качества ответов и задержек, а не только цены API. Плюс конкретные цифры по Cue Google приводит в своей статье, но независимого подтверждения из официальных источников нет — воспринимай их как ориентир, а не как гарантию. И да, разбираться в разделении задач придётся головой, а не кнопкой.
Приложения уже так и делают: тихо держат маленькую модель на телефоне и зовут большую только на действительно трудный вопрос. Для обычного человека это значит более быстрые приложения и работу без интернета.
Что сделать сегодня
Открой Gemini, скинь туда список своих повторяющихся задач и попроси разложить их на «думать» и «сортировать». Это займёт пять минут — и ты своими глазами увидишь, где твой проект переплачивает. А если хочешь разобраться глубже, начни с официального материала Google про семейство Gemma, разбора от NVIDIA и обзора Analytics Vidhya. Ссылку на анонс Gemini тоже сохрани — пригодится, когда захочешь понять, какие задачи остаются за большой моделью.
И напиши в комментариях в @aigoby: какую свою рутину ты бы отдал маленькой модели? Самые частые ответы разберём отдельным постом.
🎁 Бонус: промпт, который разложит твои задачи по моделям
Скопируй это в Gemini и подставь своё:
```
Ты — архитектор AI-решений для малого бизнеса. Вот список задач, которые я делаю руками каждый день:
[вставь список: например, «разбираю отзывы», «вытаскиваю данные из писем», «пишу ответы клиентам», «планирую неделю»]
Раздели их на три группы:
1. Массовые и предсказуемые (сортировка, классификация, извлечение данных) — кандидаты на компактную открытую модель.
2. Сложные (планирование, нестандартные решения, длинные тексты) — оставить большой модели.
3. Пограничные — объясни, почему они спорные.
Для каждой задачи из первой группы укажи: какие входные данные нужны, что должно получиться на выходе и как я пойму, что модель ошиблась. Не выдумывай цифр и не обещай экономию — только логика разделения.
```
Сохрани пост в избранное — он пригодится в тот момент, когда очередной счёт за API заставит схватиться за голову.
Комментарии 0