Token有官方中文名了詞元開(kāi)啟AI新時(shí)代

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2026-03-26 15:34:26 錢江晚報(bào)

你可能沒(méi)聽(tīng)說(shuō)過(guò)“詞元”這個(gè)詞，但你幾乎一定用過(guò)它。你或許對(duì)它的英文名更熟悉——Token。

今天上午，國(guó)務(wù)院新聞辦公室舉行新聞發(fā)布會(huì)，介紹第九屆數(shù)字中國(guó)建設(shè)峰會(huì)有關(guān)情況。國(guó)家數(shù)據(jù)局局長(zhǎng)劉烈宏透露，截至今年3月，我國(guó)日均Token調(diào)用量已超過(guò)140萬(wàn)億。他特意補(bǔ)充了一句——“也就是詞元的調(diào)用量”。

這被不少業(yè)內(nèi)人士解讀為一個(gè)標(biāo)志性時(shí)刻：Token這個(gè)AI領(lǐng)域最核心的技術(shù)術(shù)語(yǔ)，終于有了官方認(rèn)可的中文名字。

140萬(wàn)億是什么概念？Token又是什么？為什么它的調(diào)用量會(huì)被官方當(dāng)作一個(gè)關(guān)鍵指標(biāo)來(lái)發(fā)布？這些問(wèn)題正悄悄揭開(kāi)一個(gè)屬于普通人的新世界。

詞元（Token）是大模型處理信息的“最小信息單元”，具備可計(jì)量、可定價(jià)、可交易的核心特征。對(duì)于不常接觸AI領(lǐng)域的人來(lái)說(shuō)，這段話還是有些抽象。幾位AI大模型給出了通俗易懂的解釋：

千問(wèn)將大模型比作超級(jí)大廚，把信息比作食材，詞元?jiǎng)t是大廚眼中“一口能吃掉的最小單位”。詞元是AI理解和生成信息的最小計(jì)量單位。你問(wèn)AI一個(gè)問(wèn)題，它“吃”進(jìn)去多少個(gè)詞元，又“吐”出來(lái)多少個(gè)詞元，就是它的工作量。

元寶則把Token想象成AI世界里的“字”或“詞”，是對(duì)文字、符號(hào)甚至圖片的一小段信息的切分結(jié)果。例如，“今天天氣不錯(cuò)。”在AI內(nèi)部會(huì)被拆成幾個(gè)詞元：“今”“天”“天氣”“不”“錯(cuò)”“?！边@些詞元是AI用來(lái)理解和生成內(nèi)容的“最小磚塊”。

豆包認(rèn)為可以把它理解成AI的“積木”，不管是文字、語(yǔ)音、圖片、視頻，AI都會(huì)先把內(nèi)容拆成一個(gè)個(gè)“詞元積木”，再用這些積木拼接、推理、生成結(jié)果。

Gmini說(shuō)詞元（Token）是人工智能理解和生成人類語(yǔ)言的“樂(lè)高積木”或“原子”。我們需要把人類的一句話切碎成一小塊一小塊的“基本單元”，然后再喂給AI，這個(gè)“基本單元”就是詞元“Token”。

12 3 全文共 3 頁(yè)下一頁(yè)

關(guān)閉

Token有官方中文名了 詞元開(kāi)啟AI新時(shí)代

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

Token有官方中文名了詞元開(kāi)啟AI新時(shí)代