This may also help to some extent with the third problem, although a better solution when returns have high variance is to Sutton's[2][3] temporal difference (TD) methods which are based on the recursive Bellman equation. Note that the computation in TD methods can be incremental (when after each transition the memory is changed and the transition is thrown away), or batch (when the transitions are collected and then the estimates are computed once based on a large number of transitions).
This may also help to some extent with the third problem, although a better solution when returns have high variance is to Sutton's[2][3] temporal difference (TD) methods which are based on the recursive Bellman equation. Note that the computation in TD methods can be incremental (when after each transition the memory is changed and the transition is thrown away), or batch (when the transitions are collected and then the estimates are computed once based on a large number of transitions).
user
Це також може допомогти певною мірою і з третьою проблемою, хоча кращим рішенням в разі великої дисперсії віддач є застосування методів часових різниць[які ґрунтуються на рекурсивному рівнянні Беллмана[Зауважте, що обчислення в методах ЧР можуть бути інкрементними (англ. коли після кожного переходу пам'ять змінюється, а перехід викидається) або пакетними (англ. коли переходи збираються, а потім оцінки обчислюються один раз на основі великого числа переходів).
assistant