ICML 2021,来自DeepMind,目前大多数模型只能处理单模态,本文提出基于Transformer的Perceiver模型,适用于各种各样的输入,不需要过多的特定假设。模型利用非对称的注意力机制,将输入迭代地提取到一个很小的隐藏bottleneck,从而可以处理非常大的输入。

image-20220202153941841

阅读全文 »