ChatGPT потребляет более 500 000 кВтч электроэнергии в день, и именно энергия застряла в развитии ИИ?

Житель Нью-Йорка недавно сообщил, что ChatGPT потребляет более 500 000 киловатт-часов электроэнергии в день, что в 17 000 раз больше, чем среднее домохозяйство в США. Илон · Маск также предсказал, что нехватка электроэнергии станет основным фактором, ограничивающим развитие искусственного интеллекта в ближайшие два года. Однако так ли это на самом деле?

Текущие взгляды на энергопотребление ИИ во многом основаны на оценках, а не на реальных измерениях. В отчете, опубликованном Фондом информационных технологий и инноваций США (ITIF), утверждается, что отдельные неточные исследования значительно переоценивают энергопотребление ИИ, что может отрицательно повлиять на развитие ИИ и препятствовать потенциалу ИИ по вкладу в энергосбережение и сокращение выбросов, а также решать экологические проблемы. Игроки отрасли призывают к большей прозрачности в отрасли и сокращению злоупотреблений технологиями искусственного интеллекта.

Проблемы оценки энергопотребления ИИ:

Есть много влияющих факторов

ITIF — некоммерческий аналитический центр со штаб-квартирой в Вашингтоне, США. В отчете «Возврат к проблемам энергопотребления ИИ» ITIF отмечает, что энергопотребление и выбросы углекислого газа различных моделей ИИ сильно различаются и зависят от ряда факторов, включая конструкцию чипа, системы охлаждения, конструкцию центра обработки данных, технология программного обеспечения, рабочая нагрузка, источники питания и многое другое.

В результате выводы различных исследований разошлись, когда дело доходит до оценки энергопотребления ИИ. Препринт исследования, опубликованный в 2019 году командой Массачусетского университета в Амхерсте, подсчитал, что BERT, ведущая на тот момент модель большого языка Google, за 79 часов обучения выбросила около 1438 фунтов углекислого газа (652 килограмма), что эквивалентно выбросу пассажира, летающего между Нью-Йорк и Сан-Франциско. Исследование также пришло к аналогичным выводам о таких технологиях, как поиск нейронной архитектуры искусственного интеллекта (NAS). Статья была процитирована почти 3000 раз в Google Scholar и получила широкое освещение в средствах массовой информации.

Однако компании и учреждения, занимающиеся исследованиями и разработками в области ИИ, пришли к совершенно другим выводам. В 2021 году Google и Калифорнийский университет в Беркли опубликовали препринт исследования, в котором выяснилось, что исследование переоценило выбросы углекислого газа Google в 88 раз. Но этому исследованию было уделено гораздо меньше внимания, чем первому, и было всего около 500 цитирований. ...

Из-за тенденции средств массовой информации и общественности концентрировать внимание на негативной информации, исследования с неожиданными выводами имеют большую вероятность распространения. Слова и поступки знаменитостей технологической индустрии также усиливают информацию о том, что «ИИ потребляет много энергии», и Маск предсказал, что «факторы, ограничивающие развитие ИИ, изменятся от «недостатка кремния» до «отсутствие электричества»; Генеральный директор Open AI Сэм Альтман также заявил, что ИИ будет потреблять больше электроэнергии и вкладывать значительные средства в ядерный синтез.

Оцените энергопотребление ИИ

от перспектива полного жизненного цикла

Согласно отчету ITIF, большая часть текущих исследований и политики сосредоточена на обучении ИИ, но несколько исследований показали, что ИИ более энергозатратен в процессе вывода, то есть в процессе, в котором люди используют ИИ для вывода результатов. Кроме того, энергопотребление разных моделей ИИ для разных типов задач вывода сильно различается. Например, если рассчитано 1000 запросов, энергопотребление задачи классификации изображений составит 0,007 кВтч, а энергопотребление задачи генерации изображений — 2,907 кВтч.

Авторы доклада отмечают, что обучение ИИ — разовое мероприятие, а его использование — долгосрочный процесс, и что обсуждение энергопотребления ИИ должно фокусироваться не на взрывном росте, а на долгосрочных последствиях. А с точки зрения истории технологий рост искусственного интеллекта и его энергопотребление будут ограничены следующими четырьмя факторами:

• 1. Стоимость строительства инфраструктуры будет сдерживать быстрый рост ИИ.

Вывод о том, что «ChatGPT потребляет более 500 000 кВтч электроэнергии в день», основан на оценке Алекса де Фриза, автора технологического блога Digiconomist·· Alex de Vries. Де · Фрайс также предсказал, что в худшем случае потребление электроэнергии ИИ Google будет сопоставимо с потреблением электроэнергии во всей Ирландии, достигнув 29,3 ТВтч (тераватт-часов) в год. Но он также отметил, что для достижения такого масштаба Google потребуется инвестировать 100 миллиардов долларов в чипы, в дополнение к миллиардам долларов в эксплуатацию центров обработки данных и счета за электроэнергию. Если операционные затраты на ИИ останутся высокими, коммерческие компании, стремящиеся к прибыли, естественным образом замедлят темпы и сократят свои инвестиции.

• 2. Влияние на рост производительности ИИ незначительно.

За последние годы ИИ добился прорыва во многих областях, а это означает, что вскоре он может столкнуться с узким местом. Отдача от разработки и эксплуатации более крупных моделей будет все ниже и ниже, а повысить точность будет все труднее. Поэтому оптимизация моделей ИИ может стать следующим направлением исследований и разработок.

• 3. Повышение производительности программного и аппаратного обеспечения позволит снизить энергопотребление ИИ.

Ожидается, что оптимизация моделей ИИ, а также достижения в области аппаратных технологий приведут к снижению энергопотребления ИИ. Согласно исследованию, опубликованному в журнале Science, в период с 2010 по 2018 год объем вычислений в глобальных центрах обработки данных увеличился на 550%, а объем памяти увеличился на 2400%, но энергопотребление увеличилось всего на 6%. Инновации в аппаратном обеспечении, технологиях виртуализации и проектировании центров обработки данных повысили энергоэффективность и сделали облачные вычисления возможными в больших масштабах.

Аналогичным образом ожидается, что такие методы, как обрезка, квантование и дистилляция, приведут к созданию более совершенных алгоритмов, которые сделают модели ИИ более быстрыми и энергоэффективными. Исследовательская группа из Google и Калифорнийского университета в Беркли отметила, что благодаря различным технологическим достижениям доля энергопотребления ИИ в Google в последние годы оставалась стабильной, хотя машинное обучение выросло до 70–80% вычислительная стоимость.

• 4. Применение ИИ в конечном итоге в некотором роде сократит выбросы углекислого газа.

В целом, когда люди заменяют традиционные письма электронной почтой и ходят в кино с DVD или потоковыми каналами, оцифровка этой деятельности снижает выбросы углекислого газа. Ожидается, что ИИ продолжит играть свою роль в этом отношении, например, улучшая качество видеозвонков и перенося больше встреч в удаленные места. Кроме того, технология искусственного интеллекта может использоваться для диспетчеризации энергетических сетей и анализа климатических данных, тем самым помогая бороться с изменением климата.

Точно оценить энергопотребление

ИИ для содействия здоровому развитию отрасли

Исторически опасения по поводу выбросов углерода ИИ не новы. В 90-х годах было предсказано, что половина будущего производства электроэнергии будет использоваться для обеспечения интернет-активности; Во времена появления потокового вещания высказывались аналогичные мнения. Сегодня мы знаем, что ни одно из этих опасений не оправдалось. Согласно отчету ITIF, спешка с контролем ИИ без полного понимания проблем его энергопотребления может помешать повышению производительности ИИ и ограничить его потенциал. Например, чтобы ИИ мог устранить предвзятость и разжигание ненависти, а также избежать вывода вредной информации, потребуется больше умозаключений для увеличения потребления энергии.

В докладе рекомендуется, чтобы в ответ на обеспокоенность общественности по поводу энергопотребления ИИ политикам следует:

(1) Разработать соответствующие стандарты, чтобы сделать энергопотребление моделей ИИ открытым и прозрачным;

(2) поощрять отрасль к активному раскрытию информации о потреблении энергии моделями ИИ, чтобы общественность могла сделать осознанный выбор;

(3) рассмотреть непредвиденные последствия регулирования ИИ по использованию энергии;

(4) Использовать ИИ для декарбонизации государственных операций.

Некоторые организации уже настаивают на раскрытии информации об ИИ. В декабре 2023 года Европейский Союз принял Закон об искусственном интеллекте — первый в мире нормативный акт в области искусственного интеллекта. Законопроект призывает разработчиков ИИ взять на себя обязательство сделать свои модели энергоэффективными и устойчивыми и требует соответствующего раскрытия информации.

Де · также призвал к раскрытию информации и хотел своевременно ограничить развитие ИИ, так же, как это произошло с криптовалютной технологией. «Развитие новых технологий, таких как искусственный интеллект и предшествующий блокчейн, сопровождаемое большим безумием и страхом упустить выгоду (FOMO), часто приводит к созданию приложений, которые приносят мало пользы конечному пользователю», — отмечается в блоге Digiconomist. '

А в репортаже New Yorker известная научная журналистка Элизабет Кольберт (Elizabeth Kolbert) сказала: «Каждый раз, когда ChatGPT выдает сообщение (или пишет для кого-то школьное эссе), требуется много вычислений». По оценкам, ChatGPT отвечает примерно на 200 миллионов запросов в день, потребляя при этом более 500 000 кВтч электроэнергии. Другими словами, ответ на энергетический кризис ИИ может начаться с ограничения использование ИИ для рабочих мест.