Уже доступны Google Gemma 3n и Gemma 3 270M: мультимодальный ИИ прямо на устройстве

Две новые модели семейства Gemma от Google DeepMind уже работают на шлюзе Hanzo AI.

Gemma 3n — мультимодальный ИИ для телефона и периферии

Вышла 11 февраля как предварительная версия для разработчиков. Gemma 3n — первая модель Google, изначально собранная для запуска на устройстве. Архитектура MatFormer с Per-Layer Embeddings даёт поразительно малый объём памяти:

• E2B — 5B параметров всего, 2B эффективных, помещается в 2 GB оперативной памяти
• E4B — 8B параметров всего, 4B эффективных, помещается в 3 GB оперативной памяти
• Мультимодальность — вход текста, изображения, аудио и видео
• 140 языков — самая широкая языковая поддержка в модели мобильного класса
• Открытые веса — Gemma Terms of Use

Командам, которые собирают периферийных ИИ-агентов, голосовых помощников или мобильные приложения, Gemma 3n даёт мультимодальность, для которой раньше нужен был инференс в облаке.

curl https://llm.hanzo.ai/v1/chat/completions \
  -H "Authorization: Bearer $HANZO_API_KEY" \
  -d '{"model": "google/gemma-3n-e4b-it", "messages": [{"role": "user", "content": "..."}]}'

Gemma 3 270M — самая маленькая Gemma

Тоже вышла 11 февраля. Gemma 3 270M — текстовая модель на 270M параметров, заточенная под дообучение на конкретную задачу на устройствах с жёсткими ограничениями. Это самая энергоэффективная модель в семействе Gemma: версия INT4-quantized тратит всего 0.75% батареи на 25 разговоров на Pixel 9 Pro. Веса лежат на Hugging Face для локального развёртывания.

Больше 100 моделей, один API

Gemma 3n входит в растущий каталог шлюза Hanzo AI. Та же конечная точка, тот же ключ API и тот же биллинг, будь то маленькая модель на устройстве или модель на 744B в облаке.

Полный каталог — на hanzo.ai.