Этот пост основан на выводах, сделанных в этой бумаге . Введение В последние годы Transformer, использующий механизм Attention, показал замечательную производительность в области обработки естественного языка и стал стандартом де-факто в области естественного языка. В области обработки изображений CNN с использованием механизма свертки был стандартом де-факто, но с тех пор были предприняты попытки включить Transformer в область обработки изображений. Первоначально были разработаны..