2.1 VQ-VAE Encoder:通过Transformer Encoder得到T个embeddings（完成空间维度的约简），并将这T个embedd...
model-based 方法在训练过程中需要的环境交互次数较少，节省了大量的时间和计算资源。
1. mf可以利用nn做function approximator，确实能做到近似最优policy或者q，但是nn本身需要大量样本收敛。
Model-based RL的方法中涉及到环境建模，实现过程中得引入神经网络对后续的状态/ reward 建模，还需要预...
Value-based 算法在学习过程中，通过与环境的交互来更新 Q 值，常见的更新方法包括Q学习或Sarsa算法。
2. mb需要拟合dynamics model，目前用nn做近似的工作比较少，因为样本数量少会过拟合，而不使用nn的话...
另一个最近研究比较热的就是vision-based model predictive control，也是用到了model-based的思想。AlphaG...
我现在能想到model-based的缺点在于，model的误差不可避免，而对于AC结构的DRL来说，s',a'的误差还...
首先分析下主流的model-free方法非常流行的原因。model-free 的代码实现难度相对于model-based 的而言，...
Model-free 性能好，但是需要大量samples Model-based Sample-efficient，但是estimator相对简单，因为很多...