久久久九九有精品国产,国产精品成人国产乱一区,国产精品爆乳尤物100精品

中共中央政治局會議：創(chuàng)新推出債券市場的“科技板”，加快實(shí)施“人工智能+”行動

天涯社區(qū) 邵嵬殊 2025-10-19 02:09:53

A+ A-

不起火、不爆炸，動力電池戴上“緊箍咒” Stellantis集團(tuán)與零跑汽車即將啟動馬來西亞本地化組裝項目感謝IT之家網(wǎng)友 OC_Formula 的線索投！IT之家 1 月 20 日消息，據(jù) Eurogamer 報道，《英聯(lián)盟》開商拳頭游（Riot Games）已進(jìn)行裁員。電記者 Jacob Wolf 通過社交媒表示，消人士透露拳頭游戲個部門已行裁員。很多人告我，拳頭戲正在裁。此次裁從今日（1 月 19 日）早些時候開始”Wolf 指出，招聘、人力源、支持電子競技方面都受影響?！?頭游戲過并未進(jìn)行多裁員，隨著經(jīng)濟(jì)難開始影到許多公，這符合技、游戲娛樂行業(yè)大趨勢。對此，拳游戲回應(yīng)，在這一裁員中， 46 名員工失業(yè)拳頭游戲幾個團(tuán)隊實(shí)施了戰(zhàn)轉(zhuǎn)變，以多個領(lǐng)域加專注。著這些轉(zhuǎn)的進(jìn)行，分崗位被消，總共響了 46 名員工。IT之家了解到，拳游戲在聲中指出，是他們正業(yè)務(wù)的一分，其會期對結(jié)構(gòu)團(tuán)隊進(jìn)行整，并相這將使他能夠為玩提供最好內(nèi)容和體。目前，頭游戲在球有 150 個空缺職位? 原文標(biāo)題：《像 Transformer 一樣思考！DeepMind 發(fā)布全新模型設(shè)計工具 Tracr：從可解釋邏輯反向搭建模》代碼直接編譯成 Transformer 模型，做實(shí)驗從未如此輕松！「解釋性」一直是深學(xué)習(xí)難以繞過的難，用戶無法理解模的運(yùn)行機(jī)制，也就法放心地把模型應(yīng)到實(shí)際場景中。最來自蘇黎世聯(lián)邦理學(xué)院和 DeepMind 的研究人員提出了一種全新的型構(gòu)造工具 Tracr，直接由人來根據(jù)「已知的機(jī)制」對不同任務(wù)編寫代，然后由 Tracr 編譯成模型的權(quán)重，讓模型的解釋得更輕松！論文鏈：https://arxiv.org/ pdf / 2301.05062.pdf代碼鏈接：https://github.com/ deepmind / tracrTracr 的輸入為采用領(lǐng)域特定語 RASP 編寫的代碼，輸出為標(biāo)準(zhǔn)、僅包含解碼器的類似 GPT 的 Transformer 結(jié)構(gòu)的權(quán)重。在實(shí)驗部分，研究員使用 Tracr 創(chuàng)建了一系列 ground truth Transformers，實(shí)現(xiàn)了包括計算 token 頻率、排序和 Dyck-n 括號檢查等程序。如解釋模型？可解釋是理解機(jī)器學(xué)習(xí)模的重要手段，但由模型的實(shí)際運(yùn)行方仍然不清晰，所以前的研究成果大多以評估。其中一個作機(jī)理可解釋性（Mechanistic interpretability）嘗試對神經(jīng)網(wǎng)絡(luò)行逆向工程（reverse engineering）來對模型實(shí)現(xiàn)的算法出一個機(jī)理上的解，并在一系列任務(wù)取得進(jìn)展，包括用圖像分類的卷積神網(wǎng)絡(luò)，Transformer 語言模型等。但該方法仍存在相關(guān)工具少、模型機(jī)制解釋不深仍然需要研究人員行創(chuàng)造性的解釋等題。評估機(jī)理解釋標(biāo)準(zhǔn)方法結(jié)合了許臨時實(shí)驗的證據(jù)，而，由于這樣做的本很高，許多方法能在玩具模型中進(jìn)評估，或在真實(shí)模中的少數(shù)不重要的 circuits 上進(jìn)行評估。Tracr 的解決方案則是，通過將人類可的代碼「編譯」成經(jīng)網(wǎng)絡(luò)的權(quán)重，直解決缺乏基礎(chǔ)機(jī)理釋的問題。也就是，Tracr 實(shí)際上起到的就是類似譯器的作用。Tracr 中主要涉及三個組件：1. RASP 代碼RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一個用于表達(dá) Transformer 計算的語言，可以作計算模型用來描述 Transformers，并配有相應(yīng)的解釋器運(yùn)行 RASP 代碼?？梢园?RASP 程序視為一個計算圖，當(dāng)據(jù)給定的輸入 token 序列時，圖上的每個節(jié)點(diǎn)都會一個特定值。RASP 語言中包括兩個基本的節(jié)點(diǎn)類型；列操作（Sequence Operations，s-op），返回輸入值的 token 序列及 indices 序列；元素操作（Elementwise operations）；選擇-聚合操作等。在大數(shù)情況下，可以將 RASP 操作直接映射到 Transformer 模型的組件上，包括 embedding, MLP 層和 Attention 層。2. 對 RASP 語言的修改雖然 RASP 的操作可以直接映射到 Transformers 中，但仍然需要對 RASP 語言進(jìn)行修改以對型權(quán)重進(jìn)行翻譯。3. craft，Transformer 的匯編語言如果說 RASP 算是編譯的高級語言，么 craft 就是匯編語言，它提了比在純權(quán)重矩陣操作更多的抽象性craft 可以表示具有基維度（basis dimensions）的向量空間，及其相應(yīng)的作，可以用基方向標(biāo)簽來定義投影或他線性操作。重要是，craft 抽象化了跟蹤權(quán)重矩中的填充的需要。Tracr: Transformer 編譯器Tracr 的代碼使用 Python 進(jìn)行編寫，并將 RASP 實(shí)現(xiàn)嵌入到 Python 中，從而可以在 Python 中直接編寫 RASP 程序，比較方便地對變量編碼（variable encoding）進(jìn)行標(biāo)注。在 Tracr 中，RASP 程序是一個數(shù)據(jù)結(jié)，通過向每個操作遞依賴關(guān)系來逐步建，同時對 RASP 程序做了一些基本的簡化。Tracr 將 RASP 程序翻譯成 Transformer 權(quán)重的過程主要包六個步驟：1. 構(gòu)建計算圖追蹤整個序以創(chuàng)建一個代表算過程的有向圖。于輸出的 s-op，圖中包括表示 tokens 和 indices 的 source 節(jié)點(diǎn)，和代表輸出 s-op 的 sink 節(jié)點(diǎn)。2. 推理 s-op 值對于每個 s-op，需要決定如何將其嵌到剩余流中；為了用類別編碼，需要道一個 s-op 可以取哪些值。因計算是確定的，基有限的輸入詞匯量上下文大小，所有點(diǎn)都有一組有限的出值。所以第二步主要操作就是對圖行遍歷，并為每個點(diǎn)標(biāo)注出其可能的出；標(biāo)注使用簡單啟發(fā)式方法，確保到的是 s-op 值集合的超集。3. 獨(dú)立地翻譯 s-ops獨(dú)立考慮計算圖中的每個節(jié)點(diǎn)，將其轉(zhuǎn)化為一個 craft 組件；元素操作翻譯為 MLP 塊，選擇-聚合操作翻譯為注意力。使用人工設(shè)計的 MLP 和注意力模塊庫來近似數(shù)字和類輸入和輸出的任函數(shù)；將具有分類入和輸出的 MLPs 作為查找表使；帶有數(shù)字輸入和兵圣的 MLP 使用基于通用函數(shù)近似定的明確結(jié)構(gòu)。對于意層，把選擇器翻成??_{????} 運(yùn)算符，把相應(yīng)的聚運(yùn)算翻譯成??_{????} 運(yùn)算符。目前只支持對分類輸入注意力。4. 把組件分配到層上為了建一個 Transformer 模型，需要將計算圖中所有 craft 組件分配給各層。想情況下，目標(biāo)是到最小的模型來進(jìn)所需的計算，但一可以將其表述為一具有幾個約束條件組合優(yōu)化問題：Transformer 結(jié)構(gòu)具有交替的注意力和 MLP 層，而且所有相互依的計算都需要有正的順序。出于范圍的考慮，可以用啟式方法解決這個問。首先，計算出從入到一個給定節(jié)點(diǎn)最長路徑，其路徑度是可以分配給該點(diǎn)的層數(shù)的一個上；然后應(yīng)用額外的發(fā)式方法，將層與以并行計算的塊結(jié)起來。這種方法可返回一個正確但有是次優(yōu)的層分配。5. 構(gòu)造一個 craft 模型直接對模型組件的輸入和出空間進(jìn)行求和作構(gòu)建的殘差流空間residual stream space ）。換句話說，將每個 s-op 嵌入到它自己的正交子空間中，這子空間在整個網(wǎng)絡(luò)只保留給它使用。后按照層分配決定順序遍歷計算圖，將組件堆疊起來，到一個用 craft 表示的完整 Transformer。6. 組裝 Transformer 權(quán)重最后，將模型的 craft 表示轉(zhuǎn)換為具體的型權(quán)重。首先把并的 MLP 層合并為一個層，再把并的注意力頭合并為個層。其中在注意中，把??_{????} 和??_{????} 矩陣分成????、???、????、????重量陣。然后調(diào)整所有重的形狀，并將其接到 Transformer 架構(gòu)中就可以推斷出模型置（深度、層寬、差流大小等），以應(yīng)所創(chuàng)建的元素。需重新實(shí)現(xiàn)步驟 6，就可以直接將 Tracr 擴(kuò)展到支持任何其他 Transformer 的實(shí)現(xiàn)。在可解釋研究中的應(yīng)用Tracr 可以加速受控實(shí)驗的驗證過程，測試關(guān)于 Transformer 的計算結(jié)構(gòu)的特定假；通過這種方式，也相當(dāng)于成了可解性研究的實(shí)驗平臺研究人員對 token 計數(shù)、排序等例子編寫了 RASP 程序。可解釋性工具的測試案例編的模型可以很自然作為測試「解釋忠性」的基礎(chǔ)，并提了一種偽造可解釋技術(shù)給出的解釋的法。發(fā)展到最后，些模型可以被用來立可解釋性工具的試案例庫，反過來可以實(shí)現(xiàn)定量的評指標(biāo)。替換模型組評估對模型如何工的理解的另一種方是用手工編碼的組替換模型的部分內(nèi)。例如有研究人員過用他們自己理想的實(shí)現(xiàn)來替換模型組件以測試他們對 Transformer 如何實(shí)現(xiàn)模塊化加法的理解，結(jié)發(fā)現(xiàn)該思路可以提下游任務(wù)的性能，當(dāng)于有力地證明了提出的解釋是正確。雖然 Tracr 是將一個算法編譯成一個完整的 Transformer 模型，但也可以通過修改代碼調(diào)整為編譯訓(xùn)練模型中的部分，從而使得更易評估對大型模型理解。理解模型現(xiàn)和開發(fā)新技術(shù)除了估之外，編譯的模可以作為研究 circuits 級別現(xiàn)象和開發(fā)解釋 Transformer 模型新方法的試驗臺。參考資料：https://arxiv.org/pdf/2301.05062.pdf本文來自微信公眾號新智元（ID：AI_era） IT之家 9 月 20 日消息，京東 Apple 全線產(chǎn)品“稱心好物，樂享一夏周禮，指定 iPhone 13 系列領(lǐng)券立減 600 元、900 元（限 iPhone 13 256G 版本），限時以舊換天犬至高補(bǔ)貼 420 元，A + 會員享翻倍權(quán)益，多款型號規(guī)格螐渠已斷貨，此前往。大額優(yōu)惠券：部分驩頭價品：京東 Apple iPhone 13 256GB 藍(lán)色【快充套裝】領(lǐng)券減 900 元券后 5948 元直達(dá)鏈接京東 Apple iPhone 13 128GB 星光色【快充套裝】券后 5498 元領(lǐng) 600 元券京東 Apple iPhone 13 mini 512GB 午夜色領(lǐng)券減 600 元 7199 元直達(dá)鏈接京東 Apple iPhone 13 Pro 256GB 蒼嶺綠色券后 8199 元領(lǐng) 600 元券京東 Apple iPhone 13 Pro Max 128GB 蒼嶺綠色券后 8399 元領(lǐng) 600 元券?前往京東自營旗艦店景山促會場：點(diǎn)此前往本文用于傳遞優(yōu)惠信息，節(jié)省甄時間，結(jié)果僅供參考?！旧觇b告? IT之家 1 月 19 日消息，Steam 商城今日上線了 2023 農(nóng)歷新年賣活動，然官方稱算用春季賣取代農(nóng)新年特賣不過今年然照期舉了。Steam 上的農(nóng)歷新年賣最早可追溯到 2016 年，這一慶是為中國陸、香港區(qū)、臺灣區(qū)、韓國地大量涌的開發(fā)者顧客而設(shè)的。IT之家發(fā)現(xiàn)，年的 Steam 農(nóng)歷新年特主要以中發(fā)行商作為主，包《仙劍奇傳七》《命奇御》暗影火炬》等都有同程度的扣。至于什么要停農(nóng)歷新年賣，V 社解釋稱，去這些年收到反饋農(nóng)歷新年常與 12 月的節(jié)慶特賣期相太近。V 社認(rèn)為，多發(fā)行商會通過自義折扣工在農(nóng)歷新期間推出戲折扣，如果全 Steam 范圍的大季節(jié)性特之間有更的間隔，對顧客更有利。按官方計劃Steam 2023 春季特賣將于 3 月 16 日至 3 月 23 日開啟。Steam?農(nóng)歷新年賣頁面：此查? IT之家 1 月 19 日消息，據(jù)機(jī)械師官方消，搭載 RTX 40 系強(qiáng)顯的機(jī)械師曙光系列新電競本預(yù)計將于 2 月發(fā)布。據(jù)介紹，機(jī)械師即將布的曙光系列新，搭載 13 代酷睿 i9-13900HX 處理器和最高可選 GeForce RTX 4090/4080 顯卡，散熱方面可以看將繼續(xù)搭載水冷熱，這將對新顯的性能釋放帶來續(xù)穩(wěn)定的輸出。方表示，RTX 40 系移動顯卡使用最新的 Ada Lovelace 架構(gòu)，顯卡緩存也針對筆記優(yōu)化，帶寬翻倍緩存容量增加 16 倍。在 NVIDIA DLSS 3 新技術(shù)加持下，游戲和內(nèi)創(chuàng)作性能提升幅最高可達(dá) 4 倍，讓玩家盡情享娛樂生活。借助 DLSS 實(shí)現(xiàn)的 AI 加速渲染，可以在 200 款游戲和創(chuàng)意應(yīng)用中支持 DLSS 技術(shù)，目前也已經(jīng)有超 50 余款支持 DLSS 3 技術(shù)。IT之家了解到，搭載 13 代酷睿處理器和 RTX 40 系列 GPU 的游戲本預(yù)計將在 2 月 1 日開啟預(yù)約巫禮