Issues1 Pull requests Actions Projects Security Insights Additional navigation options main 1Branch 0Tags Code README MIT license Flowformer (ICML 2022) Flowformer: Linearizing Transformers with Conservation Flows 🚩News(2024.07)Mobile-Attention, a mobile-device-tailored version of Flowformer, has been...
This branch is 3 commits ahead of, 3 commits behind drinkingcoder/FlowFormer-Official:main.Folders and filesLatest commit rinze70 batch_size to 2 00b3288· Sep 28, 2022 History17 Commits alt_cuda_corr assets configs core .gitignore LICENSE ...
:https://github.com/drinkingcoder/FlowFormer-Official 一、算法框架 FlowFormer光流算法框架 二、源码解读 2.1 FlowFormer源代码解读 根据算法框架,我们先看一下FlowFormer类的代码,具体如下 #FlowFormer类,对应Fig.1 算法框架 class FlowFormer(nn.Module): def __init__(self, cfg): super(FlowFormer, self...
受网络流理论启发,本文提出任务通用的骨干网络flowformer,实现线性复杂度,在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果,代码已开源: https://github.com/thuml/flowformer 。 8月17日 15:20-15:40 讲者简介 李云飞, 清华大学交叉信息研究院博士生,导师助理教授吴翼。研究兴趣包括深度强化...
代码:github.com/thuml/Flowfo 1. 引言 追求任务通用模型是基础模型研究领域的核心目标之一,也是深度学习研究通向高级智能的必经之路。 近年来,得益于注意力机制(Attention Mechanism)的通用关系建模能力,Transformer在众多领域已经展现出了优秀的效果,并且逐步呈现出通用模型的态势。但是,其核心组件注意力机制随着输入序列...
代码:https://github.com/thuml/Flowformer 相比于标准Transformer,本文提出的Flowformer模型,具有以下特点: 线性复杂度,可以处理数千长度的输入序列; 没有引入新的归纳偏好,保持了原有注意力机制的通用建模能力; 任务通用,在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。
代码:https://github.com/thuml/Flowformer 相比于标准Transformer,本文提出的Flowformer模型,具有以下特点: 线性复杂度,可以处理数千长度的输入序列; 没有引入新的归纳偏好,保持了原有注意力机制的通用建模能力; 任务通用,在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。
代码:https://github.com/thuml/Flowformer 相比于标准Transformer,本文提出的Flowformer模型,具有以下特点: 线性复杂度,可以处理数千长度的输入序列; 没有引入新的归纳偏好,保持了原有注意力机制的通用建模能力; 任务通用,在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。
代码:https://github.com/thuml/Flowformer 相比于标准Transformer,本文提出的Flowformer模型,具有以下特点: 线性复杂度,可以处理数千长度的输入序列; 没有引入新的归纳偏好,保持了原有注意力机制的通用建模能力; 任务通用,在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果。
论文链接: https://arxiv.org/pdf/2203.16194.pdf 开源代码: https://github.com/drinkingcoder/FlowFormer-Official 项目主页: https://drinkingcoder.github.io/publication/flowformer/ 一、动机和背景 光流任务目标为估计相邻两帧每个像素的位移值。在许多下游的任务中,如动作识别、视频修补、视频超分,光流算法都...