Datawhale干貨
(資料圖片僅供參考)
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡下的涌現(xiàn)現(xiàn)象在機器學習中使用大規(guī)模神經(jīng)網(wǎng)絡時，由于增加了參數(shù)數(shù)量、訓練數(shù)據(jù)或訓練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經(jīng)網(wǎng)絡的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現(xiàn)，當我們訓練用網(wǎng)絡計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf樂活HOT
-
海泰科(301022.SZ)發(fā)行可轉(zhuǎn)債申
智通財經(jīng)APP訊，海泰科(301022 SZ)發(fā)布公告，公司于近日收到中國證券監(jiān)督管理委員會出具的《關于同意青島海
-
A股流媒體概念股龍頭一覽（2023/
A股流媒體概念股龍頭一覽（2023 5 17）,南方財富網(wǎng)為您整理的2023年流媒體概念股龍頭，供大家參考。博聞科
-
機械表不戴就不走是什么原因_機
1、第一，動力不足。2、機械表不走的原因更多的是動力不足。估計大家都很理解，主要是我們很久沒戴了，或者
-
國家發(fā)改委：多措并舉擴大新能源
據(jù)發(fā)改委網(wǎng)站，國家發(fā)改委新聞發(fā)言人孟瑋表示，當前，新能源汽車產(chǎn)業(yè)正面臨前所未有的發(fā)展機遇。下一步，我
-
全球速看：你敢相信嗎？買鞋子時
對愛美的女性朋友們來說，為了搭配衣服通常都會買各種各樣不同的鞋子，有：運動鞋，松糕鞋，瑪麗珍鞋，馬丁
-
電腦顯示屏怎樣恢復正常尺寸_電
1、右擊桌面---屬性---更改分辨率如果無法更改分辨率，這個情況可能是顯卡驅(qū)動不兼容造成的,更新（重裝）顯
-
太原市出臺行政復議 繁簡分流工
原標題：簡案快辦繁案精辦我市出臺行政復議繁簡分流工作辦法5月15日，市政府行政復議局發(fā)布消息，該局日前
-
藍色下劃線怎么去掉_下劃線怎么
1、首先，我們需要打開電腦桌面上的【word】，沒有軟件的話需要提前進行下載；然后我們可以選中word里面的
-
生肖運程｜屬鼠工作表現(xiàn)出色，多
5月17日，雞：行事暢順，運氣持續(xù)地向好，最多是小是小非，閑話幾句無所謂。
-
全球百事通！頤海國際(01579.HK)
格隆匯5月17日丨根據(jù)聯(lián)交所最新權益披露資料顯示，2023年5月10日，頤海國際(01579 HK)遭UBSGroupAG在場內(nèi)以
-
世界微資訊！“私募一哥”稱已向
【“私募一哥”稱已向華麗家族股東大會提交臨時提案主動行權意在防止持股市值縮水】5月16日早間，華麗家族
-
天天微頭條丨流行音樂之王是誰的
1、《邁克爾 杰克遜》身上的全球之最——最早出道：年僅5歲；最早成名：年僅8歲；最早出唱片：年僅10歲；最
-
全球動態(tài):月下待杜鵑不來視頻_月
1、歌曲：月下待杜鵑不來作詞：徐志摩作曲：曾檐演唱：費玉清專輯：《天之大》歌詞：看一回凝靜的橋影數(shù)一
-
消息！富士達：從目前民品主要客
同花順金融研究中心5月16日訊，有投資者向富士達提問，請問管理層，公司近兩年業(yè)績持續(xù)增長，對于目前通訊
-
拼房是什么意思怎么拼的（拼房是
拼房是什么意思怎么拼的，拼房是什么意思這個很多人還不知道,現(xiàn)在讓我們一起來看看吧！1、如是抄是你一個人
娛樂LOVE
安徽安慶市正式成立“老年助餐慈善基
記者日前從安慶市民政局獲悉，該市慈善會近日設立老年助餐慈善基金，共同守護老年人舌尖上的幸福。該基金專項用于資助城鄉(xiāng)社區(qū)老年食堂、社
安徽淮北積極落實2022年電網(wǎng)防汛度汛
近日，國網(wǎng)淮北供電公司工作人員來到110千伏中泰變電站開展防汛隱患排查。該公司積極落實2022年防汛度汛措施，提前細化應急預案，推進極端
安徽全椒縣完善拓展人力信息資源助企
今年以來，全椒縣不斷完善拓展人力資源信息庫、勞務對接信息庫、企業(yè)用工需求信息庫三庫信息資源，已摸排400多家次企業(yè)缺工崗位信息1 2萬個
宿州市埇橋區(qū)柔性引進博士推進鄉(xiāng)村振
宿州市埇橋區(qū)實施博士匯工程，柔性引進29名博士擔任副鄉(xiāng)鎮(zhèn)長或園區(qū)副主任，他們將為加快產(chǎn)業(yè)發(fā)展、推進鄉(xiāng)村振興強化智力支持。目前，博士專
安徽印發(fā)出臺全面實施零基預算改革方
為進一步提高財政資源配置效率和資金使用效益，省政府印發(fā)《安徽省全面實施零基預算改革方案》，明確從編制2023年預算起，在全省范圍內(nèi)全面
5月份安徽居民消費價格同比上漲2.3%
近日,國家統(tǒng)計局安徽調(diào)查總隊發(fā)布了我省5月份居民消費價格統(tǒng)計數(shù)據(jù)。統(tǒng)計顯示,我省居民消費價格同比上漲2 3%,同比漲幅比上月回落0 4個百分
安徽多種方式引導群眾防范非法集資風
合肥地鐵1號線、3號線上滾動播放防范非法集資宣傳視頻,淮南市發(fā)布《致老年群眾的一封信》……6月份是一年一度防范和處置非法集資宣傳月,今
鐵路部門持續(xù)加大長三角地區(qū)運力投放
記者從中國鐵路上海局集團有限公司獲悉,隨著上海疫情防控形勢持續(xù)向好,為進一步適應旅客出行需要,助力復工復產(chǎn),鐵路部門自6月10日起持續(xù)加
安徽六安持續(xù)精準施策全力促進工業(yè)發(fā)
六安市與蔚來汽車簽署合作協(xié)議,共建智能電動汽車零部件配套產(chǎn)業(yè)園區(qū)。該園區(qū)一期計劃2023年上半年投產(chǎn),建成后將具備年產(chǎn)30萬噸鋁壓鑄產(chǎn)能,
安徽淮北全力維護外賣送餐員合法權益
為切實防范化解新業(yè)態(tài)領域重大風險隱患,強化外賣送餐員權益保障工作,淮北市市場監(jiān)管局充分發(fā)揮職能作用,全力維護外賣送餐員合法權益。淮北
湖南漣源開展專項行動一對一為企業(yè)紓
位于漣源市的湖南三合美新材料科技有限公司，兩條生產(chǎn)線滿負荷運行，生產(chǎn)聚氨酯和巖棉復合板。因產(chǎn)品升級與產(chǎn)能擴充，急需新增兩條生產(chǎn)線，
湖南藍山縣進村入戶排查整治自建房安
老叔，這棟房屋墻體有開裂痕跡，要維修加固，安全重要!5月20日，藍山縣塔峰鎮(zhèn)果木村，黨員干部上門開展農(nóng)村自建房安全隱患排查整治。連日來
一季度湖南萬元產(chǎn)值綜合能耗同比下降
近日，湖南省工業(yè)通信業(yè)節(jié)能監(jiān)察中心發(fā)布一季度全省六大高耗能行業(yè)能源消耗統(tǒng)計監(jiān)測報告。據(jù)該報告，一季度全省146家主要高耗能企業(yè)的萬元
濟南起步區(qū)一年來累計簽約優(yōu)質(zhì)項目11
萬里黃河第一隧濟南黃河濟濼路隧道建成通車，占地4000余畝的新能源乘用車零部件產(chǎn)業(yè)園加快施工……記者21日采訪獲悉，建設實施方案獲批復一
山東發(fā)布通知啟動傳統(tǒng)民居保護利用試
省住房城鄉(xiāng)建設廳、省財政廳近日聯(lián)合印發(fā)《關于做好傳統(tǒng)民居保護利用試點工作的通知》，在全省部署開展傳統(tǒng)民居保護利用試點工作。此次試點