AI资讯新闻榜单内容搜索-语言模型能记住多少东

关键词: AI新闻,大模型记忆,模型训练,How much do language models memorize,语言模型能记住多少东西

一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。