명절 축하 행사 동안에도 영향을 미치고 있습니다. 슬픈 상황이기는 합니다만 할 수 있는 모든 대책을 마련하여 가까운 친지들끼리만 모여 멋진 식사와 함께 멋진 시간을 보낼...
블락 단위로 나눠서 연산하고 이 때 1-d convolution을 적용하여 개별 attention key, value의 수를 줄인 attention 방식을 사용합니다.Big Bird (2020)논문은 transformer의 계산량을 줄이기 위해 기존 모든 단...