Нейросеть картинки по описанию теперь умеет рисовать лицо 64×64 за 5,4 секунды прямо на ESP32-S3 — без облака. Ты пишешь «улыбающаяся девушка со светлыми волосами», и чип с 512 КБ оперативки, двумя ядрами по 240 МГц и без тензорных ядер честно прогоняет диффузию.
Что вообще случилось: нейросеть картинки теперь в тренде
Автор разобрал задачу по кускам и часть выкинул. Промпт уходит по USB, ESP32 отвечает логом шагов и картинкой, которую клиент рисует в терминале полублоками. Внутри — латентная диффузия с диффузионным трансформером (DiT), int8-квантование и ассемблер под векторные инструкции S3. Звучит страшно, но по сути это набор инженерных компромиссов, каждый из которых понятен даже без диплома.
Вот как он сжимал модель:
• Домен. Вместо «нарисуй что угодно» — только лица. Для этого взяли открытый датасет CelebA: 200 тысяч фотографий и 40 атрибутов вроде «улыбается», «очки», «борода».
• Разрешение. 64×64. Меньше — лицо уже не узнать, больше — не влезает в память.
• Латентная диффузия. Картинку гоняют не по пикселям, а по сжатому латенту 16×16×4 — это в 12 раз меньше данных, чем само изображение. Декодер в пиксели включается один раз, в самом конце.
• Свой текстовый энкодер. Веса одного только текстового энкодера CLIP из Stable Diffusion весят 250 МБ — в 500 раз больше, чем вся оперативка чипа. Поэтому вместо CLIP сделали крошечный трансформер на 300 тысяч параметров со словарём из 45 «слов».
• Квантование. Веса int8, активации int8, аккумулятор int32. Это не только экономия памяти: векторные инструкции чипа перемножают по 16 пар int8 за одну инструкцию.
• Мало шагов. Вместо классического DDPM на 50–1000 проходов — rectified flow, где хорошая картинка выходит за 8 шагов.
• Хитрость с guidance. Обычно classifier-free guidance — это две прогонки сети на каждый шаг. Здесь обе ветви склеили в один батч, чтобы веса читались из flash один раз, а не дважды.
Итого: генерация изображений на микроконтроллере перестала быть теоретической шуткой. Пишешь «улыбающаяся девушка со светлыми волосами» — и получаешь лицо. Пока маленькое и почти всегда одно и то же по смыслу, но своё, локальное и мгновенное.
Что это даёт лично тебе: сгенерировать картинку нейросеть стало доступно
Владелец кофейни у метро. Ты хочешь быстро придумать лицо для постера или маскота кафе, но не готов платить за подписку облачного генератора и держать открытым ноутбук. Коробочка за несколько сотен рублей лежит у тебя на стойке, работает без интернета и рисует набросок за 5,4 секунды — от него уже можно отталкиваться в дизайне.
Фрилансер-дизайнер. Тебе заказывают «портрет для мудборда, но чтобы не сток». Вместо того чтобы каждый раз идти в облако и ждать очередь, ты накидываешь десяток вариантов лиц локально и показываешь клиенту подборку. Да, 64×64 — это эскиз, а не финальная обложка, но именно эскизы съедают больше всего времени.
Студент. У тебя курсовая или диплом про нейросети, и надо чем-то удивить комиссию. Проект «микроконтроллер с ИИ, который рисует по тексту» — это готовая тема с цифрами, а не очередная презентация про «машинное обучение в современном мире». Плюс на Хабре есть полный разбор от автора, включая подписи к датасету на русском с согласованием по родам.
Родитель, чей ребёнок ходит в кружок робототехники. Плата ESP32-S3 стоит несколько сотен рублей — это дешевле одной поездки в кино. Можно собрать устройство, которое отвечает картинкой на текст, и показать ребёнку, что ИИ — это не «магия из интернета», а код, который можно потрогать руками.
Предприниматель, которому важна приватность. Облачные генераторы отправляют твой промпт на чужие серверы. Здесь ничего никуда не уходит: чип считает всё сам. Для фотобудок, арт-инсталляций, сувенирных автоматов и стендов на выставке это даёт больше контроля над данными.
Тот, кто ищет нишу. Появляется целый класс дешёвых устройств «ИИ без интернета»: игрушки, рамки, автоматы с предсказаниями, подарочные гаджеты. Не обещаю золотых гор, но сама ниша только открылась — и занять её можно раньше других.
Как попробовать прямо сейчас: нейросеть создать картинку онлайн
Шаг 1. Самый быстрый способ — вообще без своего железа: открой FLUX (Black Forest Labs), но помни, что ему нужна видеокарта на 12 ГБ, а лучше 24. Бесплатно вводишь описание, например «улыбающаяся девушка со светлыми волосами», и смотришь результат. Так ты за минуту поймёшь, как в принципе работает генерация по описанию, — а уже потом решаешь, надо ли тебе своё железо.
Шаг 2. Если хочешь «в руках» — закажи плату ESP32-S3. Она стоит несколько сотен рублей. Никаких видеокарт на 4–8 ГБ и отдельного компьютера — только плата за несколько сотен рублей, кабель USB и промпт.
Шаг 3. Подключи её к компьютеру по USB. Промпт уходит по проводу, а ответ приходит в терминал: сначала лог шагов диффузии, потом сама картинка, нарисованная полублоками прямо в консоли.
Шаг 4. Напиши простой промпт. Начни с того же «улыбающаяся девушка со светлыми волосами» и дождись — на всё про всё около 5,4 секунды.
Шаг 5. Разберись в деталях по исходнику. Полный разбор со схемами, кодом квантования и текстовым энкодером лежит в статье Nikuson на Хабре. Там же объясняется, как генерировались русские подписи к CelebA — с учётом рода и неполных описаний.
Шаг 6. Поэкспериментируй. Поменяй слова в словаре, добавь свои атрибуты, попробуй другие комбинации. Модель маленькая — значит, её реально переучить под свою задачу, а не просто «пользоваться чужой».
Плюсы и что изменится дальше: нейросеть для создания картинок и её будущее
Главный плюс — цена входа. Тысячи людей откладывали знакомство с генерацией картинок, потому что «нужна дорогая видеокарта». Теперь барьер падает до нескольких сотен рублей — и это уже реальный запуск модели на устройстве, а не игрушка.
Второе — автономность. Нет интернета — нет проблемы: устройство работает в подвале, в лесу, на складе, в самолёте. Нет подписки, нет лимитов, нет чужого сервера, который читает твои промпты.
Третье — что станет возможным. Если диффузия влезает в 512 КБ оперативки, через полгода-год похожие штуки полезут в датчики, кассы, бытовую технику и дешёвые игрушки. ИИ перестанет быть «тем, что живёт в телефоне» и станет функцией микросхемы за копейки.
Минусы, честно: пока это только лица 64×64, словарь — 45 слов, никакого «нарисуй мне дракона на фоне гор». Настроить и прошить плату сложнее, чем открыть сайт, а PSRAM на 2 МБ работает медленно, по quad SPI. Для финальной картинки в соцсети результат всё ещё слабоват — это стартовая точка, а не замена FLUX.
Вывод: ии рисует – это реальность
Нейросеть картинки создать теперь можно не в облаке, а на плате за несколько сотен рублей — и это упрощает создание ИИ-устройств с небольшим бюджетом. Тебе не обязательно быть инженером-электронщиком, чтобы понять масштаб: то, что вчера требовало видеокарты с 4–8 ГБ памяти, сегодня считается на чипе с 512 КБ.
Что сделать сейчас: зайди на FLUX (Black Forest Labs), вбей один промпт — «улыбающаяся девушка со светлыми волосами» — и посмотри, как текст превращается в лицо. Это 30 секунд, но после этого ты уже не сможешь сказать, что генерация картинок — «не для тебя». А если хочешь разобраться в железячной стороне — читай дальше: разберём, что пришлось ужать, где схитрить и обо что я споткнулся по дороге.
🎁 Бонус: как сгенерировать картинку нейросеть бесплатно
Чек-лист для первого запуска генерации по тексту:
1. Сформулируй промпт одним живым описанием: кто на картинке + одна-две детали («улыбающаяся девушка со светлыми волосами»).
2. Проверь, что описание не противоречит само себе — модели с крошечным словарём путаются на «высокой блондинке с тёмными волосами».
3. Начни с 8 шагов генерации — это оптимум для rectified flow, больше не значит лучше.
4. Сохрани удачный промпт и меняй в нём ровно одну деталь за раз, чтобы понять, что реально влияет на результат.
5. Запиши время генерации и сравни свой результат с эталонными 5,4 секунды — так сразу видно, всё ли пошло правильно.
И сам промпт, который можно скопировать и вставить в генератор:
```
улыбающаяся девушка со светлыми волосами, волнистые волосы, чёлка, молодое лицо, портрет крупным планом, естественный свет
```
Комментарии 0