国产黄a三级三级三级_全彩无遮挡全彩口工漫画h#_亚洲天堂开心观看_少妇精品一区二区_国产精品免费网站_先锋资源一区二区_www.亚洲一区_成人在线看片网站

中國戰(zhàn)略新興產(chǎn)業(yè)融媒體記者 李子吉

在大模型的訓練中，語料信息的規(guī)模是很重要的。一般來說，語料規(guī)模越大，其蘊含的信息就越豐富，模型所形成的參數(shù)越大，具有更好的泛化能力。為了獲得智能水平更高的大模型，AI模型的語料規(guī)模和參數(shù)規(guī)模越來越大。

從參數(shù)規(guī)模上看，大模型先后經(jīng)歷了預訓練模型、大規(guī)模預訓練模型、超大規(guī)模預訓練模型三個階段，參數(shù)量實現(xiàn)了從億級到百萬億級的突破。2017年，谷歌首次提出6500萬參數(shù)的Transformer模型，自此大模型就開始走上了一條快速發(fā)展之路。

2018年，谷歌發(fā)布基于Transformer的BERT，BERT學習了16GB的語料，形成3.4億個參數(shù)；2019年，OpenAI推出了15億參數(shù)的GPT-2，同年，谷歌推出T5模型，參數(shù)達到110億。從十億級到百億級，大模型在一年內(nèi)實現(xiàn)躍升。2020年，OpenAI推出了1750億參數(shù)的GPT-3；2021年，谷歌推出Switch Transformer架構(gòu)，其參數(shù)量擴展到了1.6萬億；同年，北京智源人工智能研究院也推出參數(shù)量在萬億級別的模型“悟道”。2022年，清華大學、阿里達摩院等機構(gòu)的研究人員提出的“八卦爐”模型，其具有174萬億個參數(shù)，可與人腦中的突觸數(shù)量相媲美。

據(jù)了解，AI服務器和芯片是產(chǎn)生能耗最主要的地方。通用型服務器只需要2顆800W服務器電源，而AI服務器則需要4顆1800W高功率電源，AI服務器對于電源的需求大大提升。荷蘭一位學者表示，到2027年，新制造的人工智能設備的用電量將與荷蘭、瑞典、阿根廷等國的用電量一樣。

大模型參數(shù)量和數(shù)據(jù)量越大，訓練耗費的電量也越大。根據(jù)斯坦福人工智能研究所（HAI）發(fā)布的《2023年人工智能指數(shù)報告》：1750億參數(shù)的OpenAI的GPT-3單次訓練耗電量高達1287兆瓦時，知名計算機專家吳軍的形容則更加形象：OpenAI每訓練一次，就相當于3000輛特斯拉同時跑30多公里。

人工智能大模型GPT-4的主要參數(shù)是GPT-3的20倍，計算量是GPT-3的10倍，能耗也隨之大幅增加。

OpenAI曾發(fā)布報告指出，自2012年以來，AI訓練應用的電力需求每3-4個月就會翻一倍。華為AI首席科學家田奇也曾給出數(shù)據(jù)，AI算力在過去10年至少增長了40萬倍。

牛津大學教授沃切特發(fā)現(xiàn)，每訓練一次ChatGPT，相當于約126個丹麥家庭1年的用電量。這僅僅是訓練AI大模型的前期電力，未包含模型實際使用推理時所消耗的電力。

大模型的訓練階段耗電量已不再是主要來源。谷歌數(shù)據(jù)也顯示，近年AI相關(guān)能源消耗中60%來自推理部分。GPT-3整個訓練階段的耗電量僅相當于ChatGPT現(xiàn)在4天的消耗量。

據(jù)《紐約客》雜志援引國外研究機構(gòu)報告，ChatGPT每天要響應大約2億個請求，在此過程中消耗超過50萬千瓦時電力，相當于1.7萬個美國家庭的用電量。也就是說，ChatGPT一年光是電費，就要花2億元。這個電量相當于肯尼亞、危地馬拉和克羅地亞三國的年總發(fā)電量。

而在多模態(tài)大模型發(fā)展成為主流的情況下，在AI響應需求的推理過程中，耗電量還將進一步提升。預計到2027年，整個人工智能行業(yè)每年將消耗85-134太瓦時（1太瓦時=10億千瓦時）的電力。

國際能源署（IEA）2024年的一份報告預測，由于人工智能和加密貨幣的發(fā)展，全球數(shù)據(jù)中心的用電量不久后將大幅增加兩倍。該機構(gòu)表示，2022年，全球數(shù)據(jù)中心的用電量約為460太瓦時，到2026年可能增至620-1050太瓦時，分別相當于瑞典、德國的年用電量。

據(jù)人工智能公司Hugging Face的研究，不僅多模態(tài)大模型耗電量遠超過一般模型，涉及圖像處理的模型也比純文本處理更耗電。具體到不同任務，文本分類、標記和問答等簡單任務相對低耗，千次推理僅需0.002-0.007千瓦時。而在響應多模態(tài)任務時，一次文本到圖像生成耗能最高需要用到2.9千瓦時，相當于ChatGPT響應100次的耗電量。

各種數(shù)據(jù)似乎都在說明，AI的耗電像一個“無底洞”，那么下一個問題就是，目前AI的發(fā)展有被能耗困住嗎？AI的耗電問題真的有那么迫在眉睫嗎？關(guān)于這個問題，業(yè)內(nèi)看法也并不一致。

馬斯克表示，人工智能計算的約束條件是可預測的，“我在一年多前就預測過芯片短缺，下一個短缺的將是電力。我認為明年將沒有足夠的電力來運行所有的芯片?！?/span>

工信部信息通信經(jīng)濟專家委員會委員劉興亮則表示，科技大佬預言AI“缺電”，可能是想讓大家重視起這個問題，這只說明，AI確實耗電，電力成本也確實很高，但是目前能源問題還沒有到影響AI發(fā)展的程度。

同樣可以看一組數(shù)據(jù)。

根據(jù)公開資料，2023年，美國全口徑凈發(fā)電量為41781.71億千瓦時（1千瓦時=1度），以ChatGPT每天耗電50萬千瓦時計算，年耗電量約為18250萬千瓦時，這也只占全美發(fā)電量的約0.0044%。

AI當然不只ChatGPT，但它的耗能數(shù)據(jù)可以作為一個切口?？梢钥闯觯M管隨著AI算力的迅猛增長，電力需求也持續(xù)增長，但目前其在整體電力消耗中所占比例較小。

不過盡管如此，關(guān)注AI能耗問題也并不是“杞人憂天”。

波士頓咨詢集團曾發(fā)布報告稱，到2030年底，僅美國數(shù)據(jù)中心的用電量預計就將是2022年的3倍，而這一增幅主要來自AI模型訓練和更高頻的AI查詢。

據(jù)新華社2023年報道，我國數(shù)據(jù)中心2020年用電量超過2000億千瓦時，占全社會用電量的2.7%。預計到2025年，中國數(shù)據(jù)中心用電量將突破4000億千瓦時，占全社會用電量4.1%。

AI發(fā)展“缺電”并不是現(xiàn)在已經(jīng)出現(xiàn)的問題，而是未來可能面臨的問題。

人工智能飛速發(fā)展的B面，是環(huán)境將要承載的巨大壓力。

2021年，美國馬薩諸塞大學研究員以當時幾種大型AI大模型的訓練周期為例，發(fā)現(xiàn)該過程排放超過 62.6萬磅二氧化碳，幾乎是普通汽車壽命周期排放量的5倍（包括汽車的制造過程）。

美國科羅拉多大學和德克薩斯大學的研究結(jié)果表示，微軟僅在訓練GPT-3時，就消耗了70萬升多的水。這足以生產(chǎn)370輛寶馬汽車，或者320輛特斯拉電動汽車。

用于訓練和支撐AI運行的數(shù)據(jù)中心，實際上是堆滿一個個服務器的機房。服務器長時間運作，無法中斷，經(jīng)常可能過熱。然而這些數(shù)據(jù)中心的運行尤其需要一個涼爽的環(huán)境。為此，各數(shù)據(jù)中心需要大量的水進行降溫，而且必須用干凈的淡水資源，以避免設備腐蝕或者導致細菌滋生。

中國數(shù)據(jù)中心節(jié)能委員會數(shù)據(jù)顯示，在數(shù)據(jù)中心，IT設備能耗占比最大，為45%。其次是空調(diào)系統(tǒng)，占比40%。以ChatGPT為例，加州大學研究發(fā)現(xiàn)，每回答用戶20個問題，ChatGPT就需要消耗超過500毫升水，用于冷卻硬件。

可以預見的是，隨著AI大模型的能耗問題不斷發(fā)展，會對電力系統(tǒng)產(chǎn)生重大影響。

一方面，電力需求急劇增加。高電力需求一旦超出現(xiàn)有電力基礎設施的設計容量，就需要對電網(wǎng)進行升級或擴建以滿足需求。在用電高峰時段，AI訓練中心的電力消耗可能會影響電網(wǎng)的穩(wěn)定性，導致供電波動甚至停電。AI訓練中心的電力需求可能會與居民和工業(yè)用電發(fā)生沖突，特別是在電力供應不足時，需要權(quán)衡能源如何分配的問題。電力供應緊張的壓力會導致電力成本上升，增加AI訓練的經(jīng)濟負擔，影響相關(guān)企業(yè)和研究機構(gòu)的運營。

另一方面，電力行業(yè)被倒逼轉(zhuǎn)型，能源結(jié)構(gòu)隨之改變，為可再生能源帶來機遇。AI訓練的高能耗問題也為可再生能源的利用提供了機遇，鼓勵數(shù)據(jù)中心采用太陽能、風能等清潔能源，促使電力行業(yè)向更環(huán)保的能源結(jié)構(gòu)轉(zhuǎn)型。為了更有效地管理和分配電力，電力行業(yè)正在發(fā)展智能電網(wǎng)技術(shù)，提高電網(wǎng)的靈活性和可靠性。隨著AI訓練對電力穩(wěn)定性的需求，電力行業(yè)正在探索和應用各種儲能技術(shù)，如電池儲能系統(tǒng)，以平衡供需。同時，電力行業(yè)正通過需求側(cè)管理來應對AI訓練帶來的電力需求波動，例如通過動態(tài)定價機制來平衡負載。

在技術(shù)上創(chuàng)新，“源頭”上進行節(jié)流，是當下技術(shù)加速主義者擁抱的方向。對技術(shù)保持樂觀的人們認為，隨著技術(shù)的加速發(fā)展，許多事情在迭代中自然會找到答案。

為了節(jié)約能源，AI業(yè)界正在進行架構(gòu)的創(chuàng)新。許多公司開始追求用更少的訓練步驟，訓練一個更大的模型。一個比較熱門的方向是名叫MoE（Mixed Expert Model）的大模型。研究者發(fā)現(xiàn)，這個基于Transformer改進過的大模型在同等算力下訓練速度更快，而且擴展度高，允許模型在保持計算成本不變的情況下增加參數(shù)，使其擴展到非常大的模型參數(shù)。

另外，為降低電力和水資源消耗，很多企業(yè)在嘗試采用各種方法為數(shù)據(jù)中心散熱。比如，將數(shù)據(jù)中心選址盡量靠近電力中心，如水力資源豐富的地區(qū)，最主要的考慮就是輸送中的能耗。微軟曾嘗試部署海下數(shù)據(jù)中心，Facebook數(shù)據(jù)中心選址北極圈附近，阿里云千島湖數(shù)據(jù)中心使用深層湖水制冷等。

在今年的達沃斯世界經(jīng)濟論壇上，山姆·奧特曼提到，核聚變可能是能源的發(fā)展方向。他投資的兩家能源公司Helion和Oklo，正是在做核聚變的相關(guān)研究。

可控核聚變俗稱“人造太陽”，也就是在地球模擬太陽上億攝氏度的環(huán)境，實現(xiàn)發(fā)電，也被稱為人類的“終極能源”，其有著原料資源豐富、釋放能量大、安全清潔、環(huán)保等優(yōu)勢，基本滿足了人類對于未來理想終極能源的各種要求。

山姆·奧特曼表示，“如果我們能夠真正實現(xiàn)豐富、廉價、安全、清潔能源的夢想，那么所有人的生活質(zhì)量將會難以置信地提高。這就是為什么我這么長時間以來都對這兩個項目充滿熱情?！?o:p style="margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important;">

據(jù)統(tǒng)計，當前世界共有50多個國家正在進行核聚變裝置的研發(fā)和建設，最快預計2050年世界第一座核聚變發(fā)電廠有望建成并投入運行。

值得一提的是，除了提升具體的AI和能源相關(guān)技術(shù)外，我國在宏觀層面的一個“解題思路”，也值得關(guān)注。

目前，我國算力總規(guī)模已經(jīng)位居全球第二，同時我國在電力方面具有優(yōu)勢，已建成全球規(guī)模最大的電力供應系統(tǒng)和清潔發(fā)電體系，其中，水電、風電、光伏、生物質(zhì)發(fā)電和在建核電規(guī)模多年位居世界第一。

2022年2月，國家發(fā)展改革委等部門聯(lián)合印發(fā)通知，同意在內(nèi)蒙古、貴州、甘肅、寧夏等8地啟動建設國家算力樞紐節(jié)點，并規(guī)劃了10個國家數(shù)據(jù)中心集群?！皷|數(shù)西算”工程正式全面啟動。

2023年12月，《深入實施“東數(shù)西算”工程 加快構(gòu)建全國一體化算力網(wǎng)的實施意見》發(fā)布，首次提出“算力電力協(xié)同”。

什么是“算力電力協(xié)同”？一方面，數(shù)據(jù)中心的高效運轉(zhuǎn)離不開大量電力支撐；另一方面，電力系統(tǒng)的平穩(wěn)高效運行也離不開算力支撐。統(tǒng)籌算力電力協(xié)同布局，有助于促進風光綠電消納和數(shù)據(jù)中心零碳發(fā)展。

當然，客觀上看，由于網(wǎng)絡時延等限制存在，并非所有算力服務場景都適用“東數(shù)西算”。但是人工智能模型訓練推理這樣的高時延業(yè)務場景，正是“東數(shù)西算”的“舒適區(qū)”。

眼下，各地人工智能方面的“東數(shù)西算”項目都在提速中。北京首都在線與甘肅省慶陽市簽訂人工智能產(chǎn)業(yè)合作框架協(xié)議；百度智能云與成都高新區(qū)簽訂戰(zhàn)略合作簽約儀式，打造大模型產(chǎn)業(yè)；在中國電信（國家）數(shù)字青海綠色大數(shù)據(jù)中心，通過風光水等清潔能源的互補，已經(jīng)實現(xiàn)了數(shù)據(jù)中心的100%清潔能源供應；貴州省與深圳市簽訂算力協(xié)同發(fā)展戰(zhàn)略合作協(xié)議；華為云計算與貴安新區(qū)合作打造全球領先的智算中心。

目前，我國每年浪費掉的電力以及沒有產(chǎn)生社會價值的用電量非常多。和數(shù)據(jù)中心看似恐怖的用電量相比，更值得在意的是如何提升AI的能效。短期來看，人類社會仍需要AI的發(fā)展，來為高質(zhì)量的經(jīng)濟發(fā)展和能源轉(zhuǎn)型鋪路。我們要做的既不是抑制AI大模型的規(guī)模，也不是要減少數(shù)據(jù)中心的能源消耗，而是要提升能源消費的質(zhì)量。

AI產(chǎn)業(yè)的發(fā)展速度之快，在人類歷史上沒有任何產(chǎn)業(yè)能與之相比。隨著科技日新月異，未來AI大模型會層出不窮。不可否認的是，生成式AI的出現(xiàn)給社會生活帶來了巨大的助力，但AI給人類帶來效率提升的同時也可能引發(fā)能源危機。平衡AI技術(shù)的發(fā)展與環(huán)境的可持續(xù)性，把握好技術(shù)進步和能源消耗之間的復雜關(guān)系，會是未來幾年的重要議題之一。