※ 本文轉寄自 ptt.cc, 文章原始頁面
標題

[問題] torch的backward是怎麼管理的?

最新2024-04-13 17:05:00
留言28則留言,3人參與討論
推噓3 ( 3025 )
考慮一個類似STN(Spatial Transform Network)搭配一個用上CNN層的Classfier的架構 只是STN這次是靠不同於Classifier,獨立的loss function去評價並產生loss餵給STN自己 這樣的話怎麼把兩個backward分開進行? 是靠各自弄一個optimizer來管理嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.77.107.182 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1712816645.A.764.html

28 則留言

wuyiulin, 1F
你要兩個同時訓練?不考慮遷移學習?

wuyiulin, 2F
我有幹過類似的東西,但是那個時候是把Loss加起來,用

wuyiulin, 3F
一個 optimizer

fragmentwing, 4F
我後來梳理這次要建的結構 發現合在一起還是比較合

fragmentwing, 5F
適的 只不過這次的構思過程中確實激起我的好奇心

fragmentwing, 6F
用一個optimizer的話應該還是同一個更新 只是loss會

fragmentwing, 7F
像雙胞胎三胞胎網路那樣由多個網路輸出後合併計算吧

fragmentwing, 8F
直接loss相加很有趣的感覺

DaOppaiLoli, 9F
路過好奇,請問 STN 是 Spatial Transformer Networ

DaOppaiLoli, 10F
k 嗎

DaOppaiLoli, 11F

fragmentwing, 12F
是的 我看到的方法是裝在分類器裡 實際上提供評價的

fragmentwing, 13F
還是分類器output後算出來的loss

fragmentwing, 14F
STN算是間接跟著更新

fragmentwing, 15F
個人認為這其實會為模型帶來不穩定因素

fragmentwing, 16F
因為一個loss就要同時負責分類的準確度與映射的正確

fragmentwing, 17F
度 意義的解釋上存在衝突

fragmentwing, 18F
不過我實作上是有提升辨識準確度

fragmentwing, 19F
最有趣的是 STN可以推廣到一維和多維的調參上(非指

fragmentwing, 20F
超參)

fragmentwing, 21F
理論上你可以用STN的方式給一維資料做平滑處理的參

fragmentwing, 22F
數調整 像是多項式要幾次或窗口要多大 只要能確保這

fragmentwing, 23F
個平滑過程大致上存在能收斂的地方

fragmentwing, 24F
那STN就會在訓練過程中找出適合的調參

fragmentwing, 25F
等等我發現我原文就有把全名打出來了XD

DaOppaiLoli, 26F
因為原文是 Transform 想說會不會跟 Transformer 不

DaOppaiLoli, 27F
是同個東西 XD

fragmentwing, 28F
完全不一樣XD

fragmentwing 作者的近期文章

Re: [問題] 新手每次跑模型時都是CPU滿載
※ 引述《matrixx (matrix)》之銘言: : 各位前輩好 小弟是程式(機器學習)新手 : 我在用vs code 跑程式中的模型時都會非常卡 : 開了工作管理員才發現都是CPU滿載 : 想讓vs code用gpu幫忙跑模型 : 但
[問題] 圖片形變相關的模型?
如題 在想是不是有對同一地點航空照進行矯正的現成模型 比如說要研究地層下陷或地形變化 但又不能保證這次和上次拍的照片角度和光線一樣 所以在做比較前要先用之前的照片當基準做照片的修復 不知道有沒有這種模型 先謝謝各位先進了
更多 fragmentwing 作者的文章...