国家発展改革委員会は、データセンターの国内配置の構想を公表している。太陽光発電、水力などのグリーン電力が得やすい地域にAIデータセンターを配置し、電力の地産地消を図るというものだ。中国はAIとビッグデータを重要な国家産業として位置付けていると中国日報網が報じた。
AIの最大の弱点ーー電力不足
イーロン・マスク氏は、2023年9月にxAIを起業し、大規模言語モデル(LLM)「Grok」を開発した。この際、xAIは半導体不足に悩まされた。LLMを訓練するには大量の並列計算をこなしてくれるGPUが必要になる。xAIは、NVIDIAのH100を2万枚調達することで解決をし、現在Grok2の訓練を進めている。しかし、今度はこの大量のGPUを動かす電力が社会的に不足をするのではないかと警告をしている。
現在のChatGPT以降のLLMに基づく対話型AI、生成AIのブームのきっかけになっているのは規模効果(Scaling Law)の発見だった。それまでも言語モデルは開発されていたが、小規模であったために華々しい成果をあげることはできなかった。ところが、OpenAI社は、乱暴に言えば「パラーメーターをむちゃくちゃ増やしてみたらいいのではないか?」と考え、試してみたところ、ある規模を超えたところで急速に精度があがっていく現象を発見した。
ディープラーニングの時は、ニューラルネットワークの各ノードの重みづけを効率的に調整する誤差逆伝播法(Back Propagation)というアルゴリズムが確立したことにより成果が生まれるようになった。つまり、知恵によるブレイクスルーだった。しかし、LLMでは大規模にすればうまくいくというもので、物量によるブレイクスルーとなっている。このため、米国だけでなく、中国からも優れたLLMが登場し、世界各国でLLMの開発が進んで一定の成果をあげている。しかし、これも乱暴な言い方をすれば「GPUをたくさん確保したところが勝つ」というレースであるため、今度はそのGPUを動かすための電力が不足をすることになる。
AIの訓練に必要な数千世帯分の電力
OpenAI社によると、GPT-3の訓練では、約128.7万kWhの電力を消費したという。日本の平均的な家庭の年間電力消費量は4175kWhなので、約300世帯分の年間電力を消費したことになる。
OpenAI社だけでなく、多くのLLM開発企業が訓練に使用した電力に関する情報を開示しなくなっているため、近年の電力消費についてはわからないが、GPT-4は1.8兆パラメーターで、GPT-3の1750億パラメーターの10倍以上になっている。単純に考えても訓練には10倍の電力が必要で、実際はパラメーター同士の相互関係も学習する必要があるために、単純に10倍ではなく、指数関数的に増加をしているはずだ。だとすると、訓練には数千世帯分の年間電力使用量を使っていることになる。
AIを使うには、日本全体の発電量と同じ電力が必要になる
一方、私たちがChatGPTを対話型AIとして使う時に消費される電力はどの程度だろうか。国際エネルギー機関(IEA)の「Electricity 2024」(https://iea.blob.core.windows.net/assets/6b2fd954-2017-408e-bf08-952fdd62118a/Electricity2024-Analysisandforecastto2026.pdf)によると、私たちがChatGPTを使うと、サーバーでは2.9ワット時の電力を消費するという。電球が60ワットであることを考えると、非常に些細な電力だ。しかし、ChatGPTには毎日90億回のアクセスがあるため、2610万kWhの電力を消費することになる。年間にすると、95.26億kWhとなる。これは日本全体の発電量8600億kWhの1%程度になる。さらに、IEAの予測によると、2026年には2023年の10倍の電力がAIのために必要になるという。さらに、データセンター、仮想通貨などを加えると8000億kWh程度の電力が必要となり、つまりは日本全体の発電量と同じ規模の電力が新たに必要となるのだ。
中国でも続々登場する対話型AI
中国でもLLMの開発は進み、国際的な性能ランキングでも上位にマークされ、LLMに関しては米国と中国が競い合っている。最も安定した性能を出しているのはアリババの「通義」(トンイー)で、さらに、近年では使いやすさからスタートアップの「月之暗面」(Moonshot)が開発した「Kimi」が人気となっている。このムーンショットはバイトダンスの創業者、張一鳴(ジャン・イーミン)が出資をしていることでも話題となった。また、百度(バイドゥ)の「文心」(ウェンシン)も英語での性能があまり高くないために国際的には話題にならないが、中国語での性能は通義を上回る評価をされており、中国国内では人気がある。
西部の砂漠に大規模太陽光発電所が増加中
AI開発と使用による電力増加にどう応えるか。一方、世界では温暖化による気候変動対策としてパリ協定を結び、各国が厳しいCO2排出量削減を世界に対して約束している。中国の場合は、2030年までに「GDPあたりの排出量を2005年度比で60-65%削減」が目標になっている。
幸いなことに、中国は砂漠、山地、平原といった従来は利用価値のない土地が広大にある。そこに太陽光、水力、風力といったグリーン電力の発電施設が急速に増え始めている。これまで中国は石炭火力を中心に発電してきたが、これを再生可能エネルギーに転換することで、CO2の削減目標を達成し、なおかつ必要な電力量を確保しようとしている。
電力の地産地消とAIデータセンター
砂漠の多い青海省では、太陽光発電が急速に進み、2023年末にはすでに発電量の92.8%がグリーン電力になっている。しかし、問題は、電力というのは遠くには輸送できないということだ。そのため、現地で使用するしかないが、砂漠の多い青海省ではそのような大量の電力は使いきれない。
そこで、中央政府はこのような電力の産地に、大規模なデータセンターを建設する計画を進めている。すでに中国電信デジタル青海グリーンセンターでは、豊富な電力資源を利用したデータセンターが稼働をしている。また、青海省の気候は寒冷で乾燥をしているため、多くのデータセンターが年間300日以上、空冷で放熱をすることができるため、電力消費量も従来のデータセンターから大きく削減される。
東数西算=東部でAIを開発し、西部のデータセンターを利用する
同様の計画が進んでいるのが貴州省だ。貴州省は山地が多く水資源が豊富であるため、水力発電を主体にし、多くのデータセンターが貴州省に建設をされている。ファーウェイは貴陽市貴安新区政府と提携し、ファーウェイが開発しているLLM「盤古」(ぱんぐー)、科大訊飛(シュンフェイ)のLLM「星火」(シンフオ)の開発と訓練を行なっている。開発企業のスタッフが貴州省に移住をする必要はなく、深圳市などの開発拠点から遠くにある貴州省のデータセンターを利用することになる。
このため、東部地域で開発をし、西部地域で演算を行なうことから、中央政府は2021年5月に「東数西算」工程と名付けて、多くのデータセンターを電力の豊富な西部地域に新設、移転をする計画だ。
AIは西部で、低遅延計算は東部で
2022年2月には、国家発展改革委員会が、この東数西算工程の布陣図を公表した。これによると、中国は10個のデータセンタークラスターを構築する計画だ。
この布陣図を見ると、西部地域だけでなく、大都市に近い東部地域にもデータセンター群が構築をされる。これは自動運転や金融などの低遅延の要求が厳しい演算を行なうためのものだ。一方、AIの訓練など遅延要求が厳しくない用途には西部のデータセンターが利用をされることになる。
東部はアルゴリズムを提供し、西部は電力を提供する
現在、「算力電力協同」という言葉が使われ始めている。東部の大都市ではアルゴリズムを提供し、西部地域では電力を提供することで、AIの開発を進めるというものだ。しかも、経済的に立ち遅れていた西武地域はこの算力電力協同で、インフラを中心にした企業が伸びていくことができる。共同富裕という中央政府の政策とも合致をする。中国はビッグデータとAIを国家戦略として位置付けた。