你可能沒聽說過“詞元”這個詞,但你幾乎一定用過它,或許對它的英文名更熟悉——Token。
今天上午,國務(wù)院新聞辦公室舉行新聞發(fā)布會,介紹第九屆數(shù)字中國建設(shè)峰會有關(guān)情況。國家數(shù)據(jù)局局長劉烈宏透露,截至今年3月,我國日均Token調(diào)用量已超過140萬億。他特意補充了一句——“也就是詞元的調(diào)用量”。
不少業(yè)內(nèi)人士認(rèn)為這是一個標(biāo)志性時刻:Token這個AI領(lǐng)域最核心的技術(shù)術(shù)語終于有了官方認(rèn)可的中文名字。
140萬億是什么概念?Token又是什么?為什么它的調(diào)用量會被官方當(dāng)作一個關(guān)鍵指標(biāo)來發(fā)布?這些問題正悄悄揭開一個屬于普通人的新世界。
什么是詞元(Token)?國家數(shù)據(jù)局表示,詞元是大模型處理信息的“最小信息單元”,具備可計量、可定價、可交易的核心特征。
對于不常接觸AI領(lǐng)域的人來說,這段話還是有些抽象??梢赃@樣理解:如果把大模型比作一個超級大廚,把要處理的信息比作食材,那么詞元就是大廚眼中“一口能吃掉的最小單位”。詞元是AI理解和生成信息的最小計量單位。你問AI一個問題,它“吃”進(jìn)去多少個詞元,又“吐”出來多少個詞元,就是它的工作量。
也可以把Token想象成AI世界里的“字”或“詞”,是對文字、符號甚至圖片的一小段信息的切分結(jié)果。比如你跟AI說一句話:“今天天氣不錯?!痹贏I內(nèi)部,這句話會被拆成幾個詞元:“今”“天”“天氣”“不”“錯”“?!边@些詞元就是AI用來理解和生成內(nèi)容的“最小磚塊”。AI不會直接讀整句話,而是按詞元為單位去計算、匹配、生成。
此外,你可以把詞元理解成AI的“積木”:不管是文字、語音、圖片、視頻,AI都會先把內(nèi)容拆成一個個“詞元積木”,再用這些積木拼接、推理、生成結(jié)果。詞元就是人工智能理解和生成人類語言的“樂高積木”或“原子”。當(dāng)我們?nèi)祟愖x書看報時,看到的是一個個字、一個個詞。但AI的“大腦”是計算機,它看不懂人類的文字,只能處理數(shù)字。因此,需要把人類的一句話切碎成一小塊一小塊的“基本單元”,然后再喂給AI。這個“基本單元”就是詞元“Token”。
幾位專家和學(xué)者解釋基本一致,浙江大學(xué)國際校區(qū)隱形冠軍國際研究中心行政主任相淵指出,詞元就是AI讀文字、說話的最小單位,相當(dāng)于它的“語言小顆?!?。每次與AI對話或?qū)懚卧?,都在消耗詞元。如果你用過AI幫你寫周報、問菜譜、翻譯英文郵件,每一次對話的背后都有成千上萬個詞元在飛速流轉(zhuǎn)。
在科技圈,Token一度是個讓翻譯者頭疼的詞。浙江大學(xué)長三角智慧綠洲創(chuàng)新中心未來設(shè)計實驗室執(zhí)行主任、浙江大學(xué)人工智能學(xué)院教授柴春雷表示,它在不同場景下含義不同:在網(wǎng)絡(luò)安全里叫“令牌”,在區(qū)塊鏈里叫“代幣”,到了大模型領(lǐng)域,過去有人譯作“標(biāo)記”,也有人干脆不翻用英文。這次官方選定的“詞元”被不少語言學(xué)和計算機學(xué)者認(rèn)為翻得漂亮?!霸~元”既保留了語言的色彩,又體現(xiàn)了作為“計算邏輯單元”的嚴(yán)謹(jǐn)性。
日均140萬億次的詞元調(diào)用量,相當(dāng)于全國每人每天平均調(diào)用了約10萬個詞元。而與AI對話一次,通常消耗幾百到幾千個詞元不等。這意味著AI已經(jīng)深深嵌入了我們的日常生活,只是很多人還沒意識到。
國家數(shù)據(jù)局在發(fā)布會上的數(shù)據(jù)還讓人聯(lián)想到另一組經(jīng)典指標(biāo)——用電量?;赝I(yè)時代,衡量一個地區(qū)的發(fā)展水平往往看它的“用電量”;而在數(shù)字經(jīng)濟和人工智能時代,衡量一個社會智能化程度的標(biāo)尺很可能是“詞元調(diào)用量”。
目前市面上大模型API的計費方式已經(jīng)在按詞元計價。輸入多少詞元、輸出多少詞元,明碼標(biāo)價。未來,你可能會收到一份Token賬單,代表你本月動用了多少AI大腦來協(xié)助工作和生活。就像現(xiàn)在每個月交水費、電費一樣,未來我們或許也要為自己消耗的詞元買單。隨著AI越來越普及,詞元會逐漸成為一種剛需“能源”。日常用智能工具、AI服務(wù),基本都離不開它。
杭州一家AI創(chuàng)業(yè)公司的技術(shù)負(fù)責(zé)人表示,未來的普通用戶可能不需要知道“詞元”這個詞,但他們的每一次智能交互,不管是語音助手、智能客服還是AI搜索,背后消耗的都是詞元。它就像自來水管里的水,你擰開龍頭就有,但不太會去想水廠的事。
從Token到詞元,從一個圈內(nèi)術(shù)語到登上國新辦發(fā)布會,不僅是一個新詞的出現(xiàn),更是一個明確的信號:人工智能正在以前所未有的速度融入中國人的日常。國家數(shù)據(jù)局指出,圍繞詞元的調(diào)用、分發(fā)與結(jié)算,一套新的價值體系正在加速演進(jìn)形成,并成為人工智能產(chǎn)業(yè)商業(yè)化的重要路徑。我國日均詞元調(diào)用量的大幅增長表明,隨著數(shù)據(jù)要素市場化配置改革的縱深推進(jìn),人工智能高質(zhì)量數(shù)據(jù)的供給體系正在形成,“數(shù)據(jù)供給—價值釋放”的良性循環(huán)初顯。
140萬億只是一個起點。在這個由“詞元”構(gòu)筑的數(shù)字新世界里,我們才剛剛啟程。
在AI熱潮中,Token這一概念逐漸受到關(guān)注。它不僅是大模型調(diào)用量的評估標(biāo)準(zhǔn),也是大模型廠商銷售套餐的計費單位
2026-03-24 22:24:39Token中文名定了在AI熱潮中,Token這一概念的地位逐漸凸顯。它不僅是大模型調(diào)用量的評估標(biāo)準(zhǔn),也是大模型廠商銷售套餐的計費單位
2026-03-25 11:28:49Token翻譯為詞元"據(jù)央視報道,截至3月15日,中國AI大模型的周調(diào)用量達(dá)到4.69萬億Token,連續(xù)第二周超越美國,全球調(diào)用量排名前三的位置被中國模型包攬
2026-03-24 20:17:15AI大模型的Token到底是什么