AIMusk Wiki

Concept

Полезный расчёт на ватт (Useful Compute per Watt)

ДальшеПолитическая философия

Определение

“Useful compute per watt” — количество полезных вычислений, которые можно выполнить на единицу потребляемой энергии. Это метрика эффективности, которую Маск считает критически важной для всех технологических систем, но особенно для ИИ.

Почему это важно для ИИ

Масштабирование требует энергии

Современные большие языковые модели потребляют огромное количество энергии:

  • Grok обучена на 8,000 A100 GPU, работающих на максимальной эффективности
  • По мере улучшения Grok, Маск планирует увеличивать вычислительный потенциал в 2+ раза каждые несколько месяцев

Энергетическое узкое место

Маск предсказывает последовательное появление “узких мест”:

  1. Сейчас: Нехватка кремния (чипы)
  2. ~1 год: Нехватка трансформаторов напряжения
    • Забавное совпадение: нужны трансформаторы для запуска трансформерных моделей ИИ
  3. ~2 года: Общая нехватка электричества

Требует тройного увеличения электроэнергии

Маск утверждает, что для электрификации:

  • Транспорта (Tesla, электромобили в целом)
  • Отопления (вместо газа)
  • Вычислений (ИИ)

Нужно втрое увеличить мировую генерацию электроэнергии.

Сейчас потребление примерно:

  • 1/3 электричества
  • 1/3 транспорта (бензин, дизель)
  • 1/3 отопления (газ, уголь)

Для полной электрификации нужно 3x текущей электроэнергии.

Применение к любой системе

Маск подчёркивает, что это не только для ИИ:

“Even at the Kardashev scale, meaning even if you harness the entire power of the sun, you’ll still care about useful compute per watt.”

Смысл: Даже если бы вы контролировали всю энергию звезды, эффективность всё равно была бы критичной. Вселенная имеет фундаментальные ограничения на скорость и количество вычислений, которые можно выполнить из энергии.

2024 earnings calls: distributed inference

В verified Earnings Calls Tesla за 2024 год Маск переносит compute-per-watt логику из дата-центров в physical fleet: автомобили и позднее роботы имеют onboard AI compute, который простаивает значительную часть недели. Если этот compute можно использовать для distributed inference, полезность ватта растёт без строительства отдельного дата-центра под каждый запрос.

Первые принципы и физика

Маск рекомендует применять физику первых принципов к проблеме энергоэффективности:

“The tools of physics are very powerful and can be applied to really any arena in life.”

Подход:

  1. Определить фундаментальные физические ограничения
  2. Рассчитать теоретический минимум энергии для вычисления
  3. Разработать системы, приближающиеся к этому минимуму

Батареи и балансировка сети

Маск обсуждает необходимость батарей в электросети:

Проблема: пиковое спрос vs. базовая нагрузка

  • Сейчас сеть сизирована на пиковый спрос
  • Если спрос падает (ночью), ёмкость теряется
  • Соотношение пик-тrough: 2-5 раз

Решение: батареи для буферизации

Батареи позволяют:

  • Производить энергию ночью (или когда спрос низкий)
  • Хранить её и использовать днём (пиковый спрос)
  • Значительно улучшить эффективность всей системы

Связь с видеоигр

Интересно, что Маск переносит эту логику и на развлечения. Он упоминает, что видеоигры требуют такого же типа оптимизации эффективности:

GPU (графические процессоры) в видеоиграх также должны достигать максимума “полезного расчёта на ватт” для работы на мобильных устройствах или в облачных сервисах.

Парадокс “трансформаторов для трансформеров”

Маск любит иронию в этом:

“We have a silicon shortage now that will transition to a voltage transformer shortage in about a year. Ironically, transformers for transformers.”

Забавно, что:

  • Transformer neural networks (трансформеры) требуют трансформаторы электрические (electrical transformers)
  • Названия совпадают, что создаёт комический эффект

Долгосрочные выводы

  1. Энергоэффективность — не опция, а необходимость
  2. Требует интегрированного подхода: производство электроэнергии, хранение, распределение
  3. Ограничивает темп развития ИИ — не архитектура, а энергия

Видение будущего

Маск предвидит, что ИИ будет ограничен не интеллектом, а физическими ресурсами:

  • Количеством энергии, доступной для вычисления
  • Эффективностью преобразования энергии в информацию
  • Количеством материалов для создания вычислительных устройств

Это фундаментальное ограничение на развитие технологии, которое нельзя обойти с помощью “лучших алгоритмов” — нужна физическая инфраструктура.

Связанные концепции