據(jù)央視報(bào)道，截至3月15日，中國AI大模型的周調(diào)用量達(dá)到4.69萬億Token，連續(xù)第二周超越美國，全球調(diào)用量排名前三的位置被中國模型包攬。在對(duì)中國AI大模型高速發(fā)展感到興奮的同時(shí)，也有不少民眾對(duì)“Token”這個(gè)頻繁出現(xiàn)在AI相關(guān)新聞里的外來詞匯感到陌生。

奇安信安全專家張勇在接受采訪時(shí)表示，Token中文翻譯過來是“詞元”，是“AI消化文字的最小單位”。為更方便理解，張勇用吃飯做比喻：“就像人吃餃子，不會(huì)一口吞下一整盤，而是一個(gè)一個(gè)吃。AI處理文字時(shí)，也先把句子切成一個(gè)個(gè)它能‘嚼得動(dòng)’的小塊，這些小方塊就叫Token?！?對(duì)于AI切割長句子的過程，大致分為三種情況：一種是1個(gè)詞是1個(gè)Token，比如“蘋果”；另一種是1個(gè)字是1個(gè)Token，類似“啊”“呀”這種單字；還有一種是有些詞會(huì)被切成多個(gè)Token，比如“deeplink”這個(gè)英文單詞可能會(huì)被切成“deep”和“l(fā)ink”兩個(gè)Token，生僻字也常被切成好幾個(gè)Token。

張勇表示，在AI時(shí)代，Token有非常高的“含金量”，因?yàn)楝F(xiàn)在的大模型都是按Token收費(fèi)的，而不是按“字?jǐn)?shù)”或“提問次數(shù)”收費(fèi)。例如，向大模型發(fā)問“你好”，可能花掉2個(gè)Token；模型回答一大段，花掉500個(gè)Token。錢包里扣的就是Token總數(shù)。

張勇說，與人類一口氣說話一樣，大模型一次能處理的內(nèi)容也有上限，比如128k Token。這個(gè)上限不是你提問的字?jǐn)?shù)，而是你的提問加模型回答的總Token數(shù)。如果聊的內(nèi)容太多，模型就會(huì)“忘記”最早說的話，因?yàn)門oken窗口被擠滿了。

既然人類與大模型的互動(dòng)是按Token收費(fèi)，有沒有便宜的竅門？張勇建議，和大模型對(duì)話時(shí)，盡量精簡(jiǎn)提示詞，去除“禮貌廢話”和啰嗦用語，比如“你好”“感謝”等，這樣可以顯著節(jié)省Token，因?yàn)榇竽Ｐ筒恍枰Y貌用語來理解任務(wù)，每句客套話都在消耗輸入和輸出的Token。此外，用英文提問通常比中文更省Token，因?yàn)橛⑽膯卧~的Token密度更高。

Token調(diào)用量被用來衡量AI大模型的活躍度。張勇表示，不管是用戶問AI問題，還是AI給出回復(fù)，都會(huì)被拆成一個(gè)個(gè)Token來運(yùn)算，Token調(diào)用量越高，說明大模型被用得越多、越普及。Token調(diào)用量也是AI應(yīng)用活躍度的關(guān)鍵指標(biāo)，Token調(diào)用量越高，意味著模型被用得越多，AI的市場(chǎng)熱度就越高。

接受采訪時(shí)的專家表示，中國AI的使用規(guī)模越來越大，普及速度會(huì)非?？?，未來發(fā)展?jié)摿薮?。摩根大通預(yù)測(cè)，中國的AI推理Token消耗量將從2025年的約10千萬億增長至2030年的約3900千萬億，5年間增長數(shù)百倍。