chatGPTがたまに送ってくるこの「回答2パターン提示してどちらが好みか聞いてくる」フィードバック収集なんかいいよね、こういうの他のところでもやってほしい。結果はRLHFと、おそらくDPOの両方に関わってくるのかな。自分の使い方もあって毎回そこまで2つの違い感じないんだけど、好みが反映されていくならありがたい