Transformer de Visão

A arquitetura do transformer de visão (vision transformer). Uma imagem de entrada é dividida em retalhos (patches), cada um dos quais é mapeado linearmente através de uma camada de embedding de patch, antes de entrar num codificador Transformer padrão.

Um transformer de visão (ViT, do inglês vision transformer) é um transformer projetado para visão computacional.[1] Um ViT decompõe uma imagem de entrada numa série de retalhos, ou patches (em vez de texto em tokens), serializa cada retalho num vetor e mapeia-o para uma dimensão menor com uma única multiplicação de matrizes. Estes embeddings vetoriais são então processados por um codificador transformer como se fossem embeddings de tokens.

Os ViTs foram projetados como alternativas às redes neurais convolucionais (CNNs) em aplicações de visão computacional. Eles possuem diferentes vieses indutivos (inductive biases), estabilidade de treinamento e eficiência de dados.[2] Comparados às CNNs, os ViTs são menos eficientes em termos de dados, mas possuem maior capacidade. Alguns dos maiores modelos modernos de visão computacional são ViTs, como um com 22 bilhões de parâmetros.[3][4]

Após a sua publicação, muitas variantes foram propostas, com arquiteturas híbridas com características tanto de ViTs quanto de CNNs.[5] Os ViTs encontraram aplicação no reconhecimento de imagem, segmentação de imagem, previsão meteorológica e condução autônoma.[6][7]

História

Os transformers foram introduzidos em Attention Is All You Need (2017),[8] e têm encontrado uso generalizado no processamento de linguagem natural. Um artigo de 2019[9] aplicou ideias do Transformer à visão computacional. Especificamente, começaram com uma ResNet, uma rede neural convolucional padrão usada para visão computacional, e substituíram todos os núcleos convolucionais (convolutional kernels) pelo mecanismo de autoatenção (self-attention) encontrado num Transformer. Isto resultou num desempenho superior. No entanto, não é um Transformer de Visão.

Em 2020, um Transformer somente codificador (encoder-only Transformer) foi adaptado para a visão computacional, gerando o ViT, que alcançou o estado da arte na classificação de imagens, superando o domínio anterior das CNNs.[1] O autocodificador mascarado (masked autoencoder) (2022) estendeu o ViT para trabalhar com treinamento não supervisionado. O transformer de visão e o autocodificador mascarado, por sua vez, estimularam novos desenvolvimentos nas redes neurais convolucionais.[10][11]

Posteriormente, houve uma fertilização cruzada entre a abordagem anterior das CNNs e a abordagem ViT.

Em 2021, algumas variantes importantes dos Transformers de Visão foram propostas. Estas variantes destinam-se principalmente a serem mais eficientes, mais precisas ou mais adequadas a um domínio específico. Dois estudos[12][13] melhoraram a eficiência e robustez do ViT adicionando uma CNN como pré-processador. O Swin Transformer[14] alcançou resultados no estado da arte em alguns conjuntos de dados de detecção de objetos, como o COCO, usando janelas deslizantes tipo convolução do mecanismo de atenção e o processo de pirâmide na visão computacional clássica.

Visão geral

Arquitetura do Transformer de Visão, mostrando os blocos Transformer somente codificador no interior

A arquitetura básica, usada pelo artigo original de 2020,[1] é a seguinte. Em resumo, é um Transformer somente codificador tipo BERT.

A imagem de entrada é do tipo , onde são altura, largura, canal (RGB). É então dividida em retalhos (patches) de forma quadrada do tipo .

Para cada retalho, o retalho é passado através de um operador linear, para obter um vetor ("embedding de retalho"). A posição do retalho também é transformada num vetor por "codificação de posição". Os dois vetores são somados e depois passados através de vários codificadores Transformer.

O mecanismo de atenção num ViT transforma repetidamente vetores de representação de retalhos de imagem, incorporando cada vez mais relações semânticas entre retalhos de imagem numa imagem. Isso é análogo a como no processamento de linguagem natural, à medida que os vetores de representação fluem através de um transformer, eles incorporam cada vez mais relações semânticas entre as palavras, da sintaxe à semântica.

A arquitetura acima transforma uma imagem numa sequência de representações vetoriais. Para usá-las em aplicações posteriores (downstream), uma cabeça adicional precisa ser treinada para interpretá-las.

Por exemplo, para usá-lo para classificação, pode-se adicionar um MLP raso por cima dele que emita uma distribuição de probabilidade sobre as classes. O artigo original usa uma rede linear-GeLU-linear-softmax.[1]

Variantes

ViT Original

O ViT original era um Transformer somente codificador, supervisionado para prever o rótulo (label) da imagem a partir dos retalhos da imagem. Tal como no caso do BERT, ele usa um token especial <CLS> no lado da entrada, e o vetor de saída correspondente é usado como a única entrada da cabeça MLP de saída final. O token especial é um truque arquitetônico para permitir que o modelo comprima todas as informações relevantes para prever o rótulo da imagem num único vetor.

Animação do ViT. O token 0 é o <CLS> especial. Os outros 9 retalhos são projetados por uma camada linear antes de serem alimentados no codificador Transformer como tokens de entrada 1 a 9.

Os transformers encontraram as suas aplicações iniciais em tarefas de processamento de linguagem natural, conforme demonstrado por modelos de linguagem como BERT e GPT-3. Em contrapartida, o sistema típico de processamento de imagem usa uma rede neural convolucional (CNN). Projetos bem conhecidos incluem Xception, ResNet, EfficientNet,[15] DenseNet[16] e Inception.[17]

Os transformers medem os relacionamentos entre pares de tokens de entrada (palavras, no caso de sequências de texto), denominados atenção. O custo é quadrático em relação ao número de tokens. Para imagens, a unidade básica de análise é o pixel. No entanto, computar relacionamentos para cada par de pixels numa imagem típica é proibitivo em termos de memória e computação. Em vez disso, o ViT calcula os relacionamentos entre os pixels em várias pequenas seções da imagem (por ex., 16x16 pixels), a um custo drasticamente reduzido. As seções (com embeddings posicionais) são colocadas numa sequência. Os embeddings são vetores aprendíveis. Cada seção é organizada numa sequência linear e multiplicada pela matriz de embedding. O resultado, com o embedding de posição, é alimentado no transformer.[17]

Melhorias arquitetônicas

Pooling

Após o ViT processar uma imagem, ele produz alguns vetores de embedding. Estes devem ser convertidos para uma única previsão de probabilidade de classe por algum tipo de rede. No ViT original e no Autocodificador Mascarado (Masked Autoencoder), eles usaram um token fictício (dummy) [CLS], emulação do modelo de linguagem BERT. A saída em [CLS] é o token de classificação, que é então processado por um módulo LayerNorm-feedforward-softmax para uma distribuição de probabilidade.

O Pooling de média global (GAP) não usa o token fictício, mas simplesmente usa a média de todos os tokens de saída como o token de classificação. Foi mencionado no ViT original como sendo igualmente bom.[1]

O Pooling de atenção multicabeça (MAP) aplica um bloco de atenção multicabeça ao pooling. Especificamente, ele recebe como entrada uma lista de vetores , que podem ser pensados como os vetores de saída de uma camada de um ViT. A saída do MAP é , onde é um vetor de consulta treinável e é a matriz cujas linhas são .[18] Isto foi primeiramente proposto na arquitetura Set Transformer.[19]

Artigos posteriores demonstraram que o GAP e o MAP apresentam ambos um melhor desempenho do que o pooling do tipo BERT.[18][20] Uma variante de MAP foi proposta como atenção de classe, a qual aplica o MAP, em seguida a alimentação para a frente (feedforward) e, novamente, o MAP.[21]

A Re-atenção foi proposta para permitir o treinamento de um ViT profundo. Ela muda o módulo de atenção multicabeça.[22]

Autocodificador Mascarado (Masked Autoencoder)

Arquitetura do Autocodificador Mascarado

O Autocodificador Mascarado[23] baseou-se em autocodificadores de remoção de ruído e em codificadores de contexto.[24] Ele dispõe de dois ViTs colocados ponta a ponta. O primeiro ("codificador") recebe os retalhos de imagem com codificação posicional e emite vetores que representam cada retalho. O segundo (chamado "decodificador", mesmo sendo um Transformer apenas codificador) recebe os vetores com codificação posicional e emite novamente os retalhos de imagem.

Treinamento Durante o treinamento, as imagens de entrada (224 px x 224 px na implementação original) são divididas ao longo de um número designado de linhas em cada eixo, produzindo retalhos de imagem.[25] Seleciona-se uma certa percentagem de retalhos para serem mascarados por tokens de máscara, enquanto todos os outros são retidos na imagem. A rede é incumbida de reconstruir a imagem a partir dos restantes retalhos não mascarados. Os tokens de máscara na implementação original são grandezas vetoriais apreensíveis.[25] É então aplicada uma projeção linear com embeddings posicionais ao vetor de retalhos não mascarados. Experiências que variam a razão da máscara em redes treinadas no conjunto de dados ImageNet-1K descobriram que razões de máscara de 75%[25] alcançaram alto desempenho tanto no ajuste fino como na prova linear (linear-probing) do espaço latente do codificador. O MAE processa unicamente os retalhos não mascarados durante o treinamento, o que aumenta a eficiência do processamento de dados no codificador e reduz o uso de memória do transformer.[25]

Na implementação original do MAE, um ViT de menor intensidade computacional é usado para o decodificador. Os retalhos mascarados são adicionados de volta à saída do bloco codificador como tokens de máscara e ambos são introduzidos no decodificador. É computada uma perda de reconstrução para os retalhos mascarados de modo a avaliar o desempenho da rede.

Previsão Na previsão, a arquitetura do decodificador é descartada integralmente. A imagem de entrada é dividida em retalhos pelo mesmo algoritmo do treinamento, no entanto nenhum retalho é mascarado. É aplicada uma projeção linear com um embedding posicional a cada retalho, e as correspondentes representações do vetor de embedding de cada retalho são fornecidas ao codificador.

Usos e Derivados Vários derivados do MAE original têm sido explorados. O MAE foi aplicado para pré-treinamento autossupervisionado em contextos médicos, incluindo para a interpretação de radiografias torácicas.[26] Os derivados do MAE têm sido aplicados neste contexto para servirem melhor como pré-treinamento em áreas da medicina.

  • MAE Médicamente Supervisionado[27]
O MAE Medicamente Supervisionado procura abordar a aplicação das altas razões de máscara do MAE quando aplicado a conjuntos de dados de lesões médicas e usa um conjunto de treinamento supervisionado para criar mapas de atenção locais para imagens médicas de forma a restringir quais retalhos são mascarados. O MAE Medicamente Supervisionado alcançou um desempenho no estado da arte a partir de janeiro de 2025 na classificação de lesões médicas nos conjuntos de dados Messidor-2, BTMD, HAM10000, DeepLesion e ChestXRay2017.[28]
  • MAE de Matriz de Coocorrência de Nível de Cinza (GLCM-MAE):[29] O GCLM-MAE usa o GCLM para extrair informações de textura das imagens para preservar essas mesmas informações. Ele resolve um problema em que um MAE clássico suaviza as imagens em demasia, causando uma perda de detalhes granulares que podem ser vitais em âmbitos médicos. O GLCM-MAE atinge um desempenho no estado da arte na identificação do cancro da vesícula biliar, cancro da mama diagnosticado por ecografia, pneumonia diagnosticada por raios-X e COVID-19 diagnosticado por tomografia computorizada, a partir de julho de 2025.
  • MAE consciente da região[30] (R-MAE): O R-MAE substitui a etapa de geração de retalhos no MAE original por um algoritmo para atribuir pixels individuais a regiões de interesse numa imagem, que são mascaradas em conjunto. A arquitetura de codificação da região é independente, mas pode ser combinada com o MAE para a reconstrução da região.
  • MAEs Siameses (SiamMAE)[31]
SiamMAE é uma rede desenhada para aplicar MAEs a dados de vídeo. Recolhe dois frames de um vídeo (em contraste com um no MAE original) e rotula-os como "passado" e "futuro". A rede mascara a maior parte dos retalhos (~95%) no frame futuro, deixa o frame passado inalterado, e passa ambos pelo bloco codificador MAE. A arquitetura do decodificador é substituída por blocos de atenção que mapeiam os retalhos do frame passado para o frame futuro para efetuar a reconstrução. O SiamMAE alcança um desempenho competitivo relativamente a modelos maiores em segmentação e propagação em vídeos.

Uma arquitetura semelhante foi o BERT ViT (BEiT), publicado concorrentemente.[32]

DINO

Como o Autocodificador Mascarado, o método DINO (autodestilação sem rótulos - self-distillation with no labels) é uma forma de treinar um ViT através do aprendizado autossupervisionado.[33] O DINO é uma forma de autodestilação de professor-aluno na destilação de conhecimento. No DINO, o aluno é o próprio modelo e o professor é a média exponencial dos estados anteriores do aluno. O método é idêntico a trabalhos anteriores, tais como o contraste de momento (momentum contrast)[34] e o "bootstrap your own latent" (BYOL).[35]

A função de perda usada no DINO é a perda de entropia cruzada entre a saída da rede do professor () e a saída da rede do aluno (). A rede do professor é uma média em decaimento exponencial (exponentially decaying average) dos parâmetros passados da rede do aluno: . As entradas para as redes são dois recortes (crops) diferentes da mesma imagem, denotados como e , onde é a imagem original. A função de perda escreve-se como: Uma desvantagem é que a rede pode "entrar em colapso" emitindo sempre o mesmo valor (), não importando a entrada. Para obviar a este colapso, o DINO emprega duas estratégias:

  • Aguçamento (Sharpening): A saída da rede do professor é aguçada com o auxílio de uma função softmax que tem uma temperatura mais baixa. Esta solução torna o professor mais "convicto" nas suas predições, o que obriga o aluno a assimilar representações mais elucidativas para coincidir com a saída aguçada do professor.
  • Centralização (Centering): A saída da rede do professor é centralizada, combinando as suas saídas anteriores, das quais se extrai a média. O que se obtém impede que o professor fique enviesado no sentido de algum valor de saída em particular, estimulando assim o aluno a adquirir um rol mais rico e diversificado de caraterísticas.

Em janeiro de 2024, a Meta AI Research lançou uma versão atualizada denominada DINOv2[36] com atualizações na arquitetura, função de perda e técnica de otimização. Foi treinado com um conjunto de dados mais volumoso e multifacetado. As capacidades aprendidas com o DINOv2 podiam ser transferidas com mais agilidade, o que significa que o seu rendimento em tarefas a jusante melhorou de forma evidente.

Em agosto de 2025, a Meta AI Research disponibilizou o DINOv3, uma versão atualizada do DINOv2. Trouxe um alinhamento imagem-texto parecido com o CLIP. Aumentou ainda a escala do modelo para 7 mil milhões de parâmetros e a base de dados de treinamento para 1,7 mil milhões de imagens (recolhidas por amostragem de diversidade de uma base de dados original com 17 mil milhões de imagens). No campo da arquitetura, aportou duas inovações: ancoragem de Gram (Gram anchoring) e RoPE axial (Rotary Positional Embeddings) com jittering. A ancoragem de Gram coloca a autodestilação do professor e do aluno na Matriz de Gram entre os vetores de atributos dos blocos de uma imagem. Dessa forma, é contornado o problema precedentemente notado da degradação dos mapas de atributos densos: Em simultâneo com a melhoria ininterrupta do desempenho em tarefas gerais (como a classificação), o desempenho em tarefas densas (como a segmentação) alcançava rapidamente o clímax para depois decair, com os mapas de atributos a ficarem ruidosos. O RoPE axial permite que o modelo fique mais apto a lidar com resoluções de imagem, escalas e relações de aspeto diferentes.[37][38]

Swin Transformer

O Swin Transformer ("Shifted windows")[14] buscou inspiração nas CNNs padrão:

  • Em vez de realizar a autoatenção ao longo de toda a sequência de tokens, um para cada retalho, ele realiza a autoatenção "baseada em janelas deslocadas" (shifted windows), o que significa que realiza a atenção apenas em blocos quadrados de retalhos. Um bloco de retalhos é análogo ao campo receptivo de uma convolução.
  • A cada poucos blocos de atenção, há uma "camada de fusão", a qual combina tokens 2x2 adjacentes num token simples. Isso se assemelha ao processo de pooling (por meio de núcleos de convolução de 2x2, e stride 2). Em fusão, o que temos é a concatenação com uma matriz multiplicada por ela própria.

Ele é melhorado pelo Swin Transformer V2,[39] que modifica o ViT através de um mecanismo de atenção diferente[14]::

  • LayerNorm logo após cada camada de atenção e feedforward ("res-post-norm");
  • Atenção de cosseno escalonada em vez do produto escalar da atenção original;
  • Viés de posição relativa contínuo espaçado logaritmamente, que possibilita o uso de aprendizado por transferência num conjunto de resoluções de janela.

TimeSformer

O TimeSformer[40] foi concebido tendo em vista os trabalhos de inteleção de vídeo, tendo sido aplicada a ele uma atenção individual de fatorização, o que se aproxima dos núcleos de convolução (convolution kernels) fatorizados nas estruturas CNN da Inception.[41] Esboçando a questão, ele pega num vídeo e fragmenta-o numa sucessão de frames, subdividindo em seguida cada frame numa matriz quadrangular de patches (que corresponde ao ViT). Pense-se em cada uma das coordenadas da mancha como sendo a horizontal, a vertical e o tempo, respetivamente .

  • Uma camada de atenção ao espaço é, fundamentalmente, uma camada de atenção a si mesma em que cada bloco de pesquisa (query patch) serve unicamente para satisfazer as condições de validade em relação aos blocos de resposta e chaves se .
  • Por oposição, a camada de atenção ao tempo é o sítio onde a imposição recai na condição .

Houve igualmente consideração de diversas metodologias para a criação de outras camadas atencionais para a TimeSformer, o que é atestado por exemplo por meio da adoção de uma "camada de atenção de altitude" cuja condicionalidade se reduz a . De uma forma pragmática, porém, foi descoberto que a abordagem que rendeu melhores resultados era compor em alternância duas matrizes, das quais uma serviria de suporte atencional temporal e a outra estaria adstrita a um tratamento do espaço.

ViT-VQGAN

No modelo ViT-VQGAN,[42] há uma justaposição de dois codificadores ViT com um modelo discriminante. Um primeiro converte uma representação matricial 8x8 correspondente aos retalhos da imagem numa sucessão vetorial, alocando a cada retalho um vetor. Os constituintes destas listas provêm sem exceção de listas padronizadas ("codebook") pré-existentes, um sistema análogo ao de quantização de vetores. Os vetores já transformados regressam sob a mesma batuta à sua constituição original na forma de matrizes 8x8 numa operação a cargo de outro codificador. O propósito subjacente à fase de aprendizagem consubstancia a busca pelo paralelismo possível na conversão da imagem de chegada face à do original. O discriminador (aqui, de um modo geral, está presente uma rede de conexões convolucionais, podendo ser qualquer tipo de rede em virtude da ausência de restrições expressas de modelo a usar nesta fase) debruça-se sobre a aferição se a imagem resulta do próprio ViT (uma recriação feita a partir do input inicial) ou de alguma versão que lhe é anterior (é dizer, se estamos na presença da imagem em formato autêntico).

A matriz teórica é parecida à que serve de fundamento ao codificador de quantificação vetorial variacional (VQVAE) associado aos parâmetros da rede geradora adversarial (GAN).

Ensinado que está, este tipo de ViT-VQGAN fica capacitado para criptografar qualquer desenho visual e transformar o produto de base visual num conglomerado simples do género alfanumérico, que por via disso mesmo é suscetível de dar azo a novo tratamento (de sentido oposto), reescrevendo esse mesmo aglomerado numa representação visual idêntica à forma de origem. Atentando nestes novos aglomerados produzidos na primeira parte da tradução em que há a associação da codificação, podemos depois dar-lhes uma finalidade no campo do ensino dum conjunto de informações a um modelo de tipo autoregressivo habitual de matriz transformer (parecido com os GPTs), para este passar a saber produzir conteúdos de dimensão visual em regime autoregressivo através de bases predeterminadas com caracteres. Além disso, as possibilidades abrem um campo para a inserção no âmbito de instrução destes modelos de uma lista em que figura em parelha as representações textuais de imagens e as fotografias originais associadas em paralelo à formação do seu análogo criptográfico como modelo para os codificadores de linguagem transformer do género GPT. Findo que seja o procedimento formativo, perante a solicitação textual pelo utilizador o modelo autoregressivo concebe as sequências apropriadas originando o aparecimento físico virtual da própria ideia em foto na respetiva extremidade. A Google elaborou um seu programa o qual utiliza esta exata metodologia: o projeto Google Parti.[43]

Outros

Outros exemplos albergam o "visual transformer",[44] o CoAtNet,[45] o CvT,[46] e o DeiT (data-efficient ViT),[47] entre outros.

No interior da arquitetura modelo "Transformer in Transformer", acontece uma justaposição pela qual a primeira camada que se baseia numa formatação estrutural do tipo transformer em contexto de vídeo projeta em sucessão e em conformidade os referidos embeddings nas subpartes correspondentes. As representações finais convertidas na modalidade token regressam por seu turno a alimentar o subgrupo e por fim remetem o próprio conteúdo na sua materialidade para a segunda arquitetura sequencial deste método.[48]

Comparação com as CNNs

Geralmente, o ViT usa tamanhos de retalhos maiores do que os núcleos (kernels) padrão das CNNs (3x3 a 7x7). O ViT é mais sensível à escolha do otimizador, dos hiperparâmetros e da profundidade da rede. O pré-processamento com uma camada de filtros convolucionais de menor tamanho e sobrepostos (passo < tamanho) ajuda no desempenho e na estabilidade.[49]

Este comportamento diferente parece derivar dos diferentes vieses indutivos que possuem.

As CNNs aplicam o mesmo conjunto de filtros para processar a imagem inteira. Isso permite que elas sejam mais eficientes em relação aos dados e menos sensíveis a perturbações locais.[50] O ViT aplica a autoatenção, permitindo capturar facilmente relacionamentos de longo alcance entre os retalhos.[51] Eles também requerem mais dados para treinar, mas podem ingerir mais dados de treinamento em comparação com as CNNs, que podem parar de melhorar mesmo após treinar num conjunto de dados suficientemente grande. O ViT também parece mais robusto a distorções na imagem de entrada, como retalhos adversários ou permutações.[52]

Aplicações

Os ViTs têm sido usados em muitas tarefas de visão computacional com excelentes resultados e, nalguns casos, até atingindo o estado da arte, como na classificação de imagens, detecção de objetos, detecção de deepfake em vídeo,[53] segmentação de imagens,[54] detecção de anomalias, síntese de imagens, análise de agrupamento e condução autônoma.[55][56]

O ViT tem sido usado para geração de imagens como infraestrutura base (backbone) para GANs[57] e para modelos de difusão (transformer de difusão, ou DiT).[58]

Demonstrou-se que o DINO[59] aprende representações úteis para agrupar imagens e explorar perfis morfológicos em conjuntos de dados biológicos, como imagens geradas com o ensaio de Cell Painting.[60]

Em 2024, um modelo ViT de 113 bilhões de parâmetros foi concebido (o maior ViT até a presente data) para a previsão meteorológica e climática, e treinado no supercomputador Frontier com uma taxa de transferência de 1,6 exaFLOPs.[61]

Ver também

Referências

  1. a b c d e Dosovitskiy, Alexey; Beyer, Lucas; Kolesnikov, Alexander; Weissenborn, Dirk; Zhai, Xiaohua; Unterthiner, Thomas; Dehghani, Mostafa; Minderer, Matthias; Heigold, Georg; Gelly, Sylvain; Uszkoreit, Jakob (3 de junho de 2021). «An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale». arXiv:2010.11929Acessível livremente [cs.CV] 
  2. Raghu, Maithra; Unterthiner, Thomas; Kornblith, Simon; Zhang, Chiyuan; Dosovitskiy, Alexey (19 de agosto de 2021). «Do Vision Transformers See Like Convolutional Neural Networks?». arXiv:2108.08810Acessível livremente [cs.CV] 
  3. Dehghani, Mostafa; Djolonga, Josip; Mustafa, Basil; Padlewski, Piotr; Heek, Jonathan; Gilmer, Justin; Steiner, Andreas; Caron, Mathilde; Geirhos, Robert (10 de fevereiro de 2023). «Scaling Vision Transformers to 22 Billion Parameters». arXiv:2302.05442Acessível livremente 
  4. «Scaling vision transformers to 22 billion parameters». research.google (em inglês). Consultado em 7 de agosto de 2024 
  5. Koresh, Ella; Gross, Ronit D.; Meir, Yuval; Tzach, Yarden; Halevi, Tal; Kanter, Ido (2025). «Unified CNNs and transformers underlying learning mechanism reveals multi-head attention modus vivendi». Physica A: Statistical Mechanics and Its Applications. 666. Bibcode:2025PhyA..66630529K. ISSN 0378-4371. arXiv:2501.12900Acessível livremente. doi:10.1016/j.physa.2025.130529  Parâmetro desconhecido |numero-artigo= ignorado (ajuda)
  6. Han, Kai; Wang, Yunhe; Chen, Hanting; Chen, Xinghao; Guo, Jianyuan; Liu, Zhenhua; Tang, Yehui; Xiao, An; Xu, Chunjing; Xu, Yixing; Yang, Zhaohui; Zhang, Yiman; Tao, Dacheng (1 de janeiro de 2023). «A Survey on Vision Transformer». IEEE Transactions on Pattern Analysis and Machine Intelligence. 45 (1): 87–110. Bibcode:2023ITPAM..45...87H. ISSN 0162-8828. PMID 35180075. arXiv:2012.12556Acessível livremente. doi:10.1109/TPAMI.2022.3152247 
  7. Khan, Salman; Naseer, Muzammal; Hayat, Munawar; Zamir, Syed Waqas; Khan, Fahad Shahbaz; Shah, Mubarak (13 de setembro de 2022). «Transformers in Vision: A Survey». ACM Comput. Surv. 54 (10s): 200:1–200:41. ISSN 0360-0300. arXiv:2101.01169Acessível livremente. doi:10.1145/3505244 
  8. Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). «Attention is All you Need» (PDF). Curran Associates, Inc. Advances in Neural Information Processing Systems. 30  Parâmetro desconhecido |link-autor6= ignorado (ajuda); Parâmetro desconhecido |link-autor1= ignorado (ajuda)
  9. Ramachandran, Prajit; Parmar, Niki; Vaswani, Ashish; Bello, Irwan; Levskaya, Anselm; Shlens, Jon (2019). «Stand-Alone Self-Attention in Vision Models». Curran Associates, Inc. Advances in Neural Information Processing Systems. 32. arXiv:1906.05909Acessível livremente 
  10. Liu, Zhuang; Mao, Hanzi; Wu, Chao-Yuan; Feichtenhofer, Christoph; Darrell, Trevor; Xie, Saining (2022). «A ConvNet for the 2020s» (em inglês): 11976–11986. arXiv:2201.03545Acessível livremente 
  11. Woo, Sanghyun; Debnath, Shoubhik; Hu, Ronghang; Chen, Xinlei; Liu, Zhuang; Kweon, In So; Xie, Saining (2023). «ConvNeXt V2: Co-Designing and Scaling ConvNets With Masked Autoencoders» (em inglês): 16133–16142. arXiv:2301.00808Acessível livremente 
  12. Wu, Bichen; Xu, Chenfeng; Dai, Xiaoliang; Wan, Alvin; Zhang, Peizhao; Yan, Zhicheng; Masayoshi, Tomizuka; Gonzalez, Joseph; Keutzer, Kurt; Vajda, Peter (2020). «Visual Transformers: Token-based Image Representation and Processing for Computer Vision». arXiv:2006.03677Acessível livremente [cs.CV] 
  13. Xiao, Tete; Singh, Mannat; Mintun, Eric; Darrell, Trevor; Dollár, Piotr; Girshick, Ross (28 de junho de 2021). «Early Convolutions Help Transformers See Better». arXiv:2106.14881Acessível livremente [cs.CV] 
  14. a b c Liu, Ze; Lin, Yutong; Cao, Yue; Hu, Han; Wei, Yixuan; Zhang, Zheng; Lin, Stephen; Guo, Baining (25 de março de 2021). «Swin Transformer: Hierarchical Vision Transformer using Shifted Windows» (em inglês). arXiv:2103.14030Acessível livremente [cs.CV] 
  15. Tan, Mingxing; Le, Quoc (23 de junho de 2021). «EfficientNetV2: Smaller Models and Faster Training» (PDF). Proceedings of the 38th International Conference on Machine Learning (PMLR). 139: 10096–10106. arXiv:2104.00298Acessível livremente. Consultado em 31 de outubro de 2023 
  16. Huang, Gao; Liu, Zhuang; van der Maaten, Laurens; Q. Weinberger, Kilian (28 de jan. de 2018). «Densely Connected Convolutional Networks». arXiv:1608.06993Acessível livremente [cs.CV] 
  17. a b Sarkar, Arjun (20 de maio de 2021). «Are Transformers better than CNN's at Image Recognition?». Medium (em inglês). Consultado em 11 de julho de 2021. Cópia arquivada em 11 de maio de 2022 
  18. a b Zhai, Xiaohua; Kolesnikov, Alexander; Houlsby, Neil; Beyer, Lucas (Junho de 2022). «Scaling Vision Transformers». 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). [S.l.]: IEEE. pp. 1204–1213. ISBN 978-1-6654-6946-3. arXiv:2106.04560Acessível livremente. doi:10.1109/cvpr52688.2022.01179  Parâmetro desconhecido |capitulo-url= ignorado (ajuda)
  19. Lee, Juho; Lee, Yoonho; Kim, Jungtaek; Kosiorek, Adam; Choi, Seungjin; Teh, Yee Whye (24 de maio de 2019). «Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks». PMLR. Proceedings of the 36th International Conference on Machine Learning (em inglês): 3744–3753. arXiv:1810.00825Acessível livremente 
  20. Karamcheti, Siddharth; Nair, Suraj; Chen, Annie S.; Kollar, Thomas; Finn, Chelsea; Sadigh, Dorsa; Liang, Percy (24 de fevereiro de 2023). «Language-Driven Representation Learning for Robotics». arXiv:2302.12766Acessível livremente  Parâmetro desconhecido |link-autor7= ignorado (ajuda)
  21. Touvron, Hugo; Cord, Matthieu; Sablayrolles, Alexandre; Synnaeve, Gabriel; Jégou, Hervé (2021). «Going Deeper With Image Transformers» (em inglês): 32–42. arXiv:2103.17239Acessível livremente 
  22. Zhou, Daquan; Kang, Bingyi; Jin, Xiaojie; Yang, Linjie; Lian, Xiaochen; Jiang, Zihang; Hou, Qibin; Feng, Jiashi (19 de abril de 2021). «DeepViT: Towards Deeper Vision Transformer». arXiv:2103.11886Acessível livremente 
  23. He, Kaiming; Chen, Xinlei; Xie, Saining; Li, Yanghao; Dollár, Piotr; Girshick, Ross (2021). «Masked Autoencoders Are Scalable Vision Learners». arXiv:2111.06377Acessível livremente [cs.CV] 
  24. Pathak, Deepak; Krahenbuhl, Philipp; Donahue, Jeff; Darrell, Trevor; Efros, Alexei A. (Junho de 2016). «Context Encoders: Feature Learning by Inpainting». 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). [S.l.]: IEEE. pp. 2536–2544. ISBN 978-1-4673-8851-1. arXiv:1604.07379Acessível livremente. doi:10.1109/CVPR.2016.278 
  25. a b c d Liu, Ze; Lin, Yutong; Cao, Yue; Hu, Han; Wei, Yixuan; Zhang, Zheng; Lin, Stephen; Guo, Baining (2021). «Swin Transformer: Hierarchical Vision Transformer using Shifted Windows». arXiv:2111.06377Acessível livremente [cs.CV] 
  26. Zhou, Lei; Liu, Huidong; Bae, Joseph; He, Junjun; Samaras, Dimitris; Prasanna, Prateek (2022). «Self Pre-Training with Masked Autoencoders for Medical Image Classification and Segmentation». arXiv:2203.05573Acessível livremente [eess.IV] 
  27. Chen, Rui; Yang, Xiaotong; Li, Yue; Peng, Guocheng; Zhu, Qiuyue; Zhang, Zhenyu; Jiang, Hong (2024). «Deep learning-based model for automatic detection and grading of meibomian gland dysfunction from infrared images». Applied Soft Computing. 164. doi:10.1016/j.asoc.2024.112905  Parâmetro desconhecido |numero-artigo= ignorado (ajuda)
  28. Chen, Rui; Yang, Xiaotong; Li, Yue; Peng, Guocheng; Zhu, Qiuyue; Zhang, Zhenyu; Jiang, Hong (2024). «Deep learning-based model for automatic detection and grading of meibomian gland dysfunction from infrared images». Applied Soft Computing. 164. arXiv:2507.10869Acessível livremente  Parâmetro desconhecido |numero-artigo= ignorado (ajuda)
  29. Madan, Chetan; Satia, Aarjav; Basu, Soumen; Gupta, Pankaj; Dutta, Usha; Arora, Chetan (2025). «Focus on Texture: Rethinking Pre-training in Masked Autoencoders for Medical Image Classification». arXiv:2507.10869Acessível livremente [eess.IV] 
  30. Nguyen, Duy Kien; Li, Yanghao; Aggarwal, Vaibhav; Oswald, Martin R.; Kirillov, Alexander; Snoek, Cees G. M.; Chen, Xinlei (2024). «R-MAE: Regions Meet Masked Autoencoders» (PDF). OpenReview.net. International Conference on Learning Representations 
  31. Gupta, Agrim; Wu, Jiajun; Deng, Jia; Fei-Fei, Li (2023). «Siamese Masked Autoencoders». arXiv:2305.14344Acessível livremente [cs.CV] 
  32. Bao, Hangbo; Dong, Li; Piao, Songhao; Wei, Furu (6 de outubro de 2021). «BEiT: BERT Pre-Training of Image Transformers». International Conference on Learning Representations (em inglês). arXiv:2106.08254Acessível livremente 
  33. Caron, Mathilde; Touvron, Hugo; Misra, Ishan; Jegou, Herve; Mairal, Julien; Bojanowski, Piotr; Joulin, Armand (Outubro de 2021). «Emerging Properties in Self-Supervised Vision Transformers». 2021 IEEE/CVF International Conference on Computer Vision (ICCV). [S.l.]: IEEE. pp. 9630–9640. ISBN 978-1-6654-2812-5. arXiv:2104.14294Acessível livremente. doi:10.1109/iccv48922.2021.00951  Parâmetro desconhecido |capitulo-url= ignorado (ajuda)
  34. He, Kaiming; Fan, Haoqi; Wu, Yuxin; Xie, Saining; Girshick, Ross (2020). «Momentum Contrast for Unsupervised Visual Representation Learning»: 9729–9738. arXiv:1911.05722Acessível livremente 
  35. Grill, Jean-Bastien; Strub, Florian; Altché, Florent; Tallec, Corentin; Richemond, Pierre; Buchatskaya, Elena; Doersch, Carl; Avila Pires, Bernardo; Guo, Zhaohan; Gheshlaghi Azar, Mohammad; Piot, Bilal; kavukcuoglu, koray; Munos, Remi; Valko, Michal (2020). «Bootstrap Your Own Latent - A New Approach to Self-Supervised Learning». Curran Associates, Inc. Advances in Neural Information Processing Systems. 33: 21271–21284 
  36. Oquab, Maxime; Darcet, Timothée; Moutakanni, Théo; Vo, Huy; Szafraniec, Marc; Khalidov, Vasil; Fernandez, Pierre; Haziza, Daniel; Massa, Francisco (14 de abril de 2023). «DINOv2: Learning Robust Visual Features without Supervision» (em inglês). arXiv:2304.07193Acessível livremente [cs.CV] 
  37. «DINOv3: Self-supervised learning for vision at unprecedented scale». ai.meta.com (em inglês). Consultado em 16 de agosto de 2025. Cópia arquivada em 14 de agosto de 2025 
  38. Siméoni, Oriane; Vo, Huy V.; Seitzer, Maximilian; Baldassarre, Federico; Oquab, Maxime; Jose, Cijo; Khalidov, Vasil; Szafraniec, Marc; Yi, Seungeun; Ramamonjisoa, Michaël; Massa, Francisco; Haziza, Daniel; Wehrstedt, Luca; Wang, Jianyuan; Darcet, Timothée; Moutakanni, Théo; Sentana, Leonel; Roberts, Claire; Vedaldi, Andrea; Tolan, Jamie; Brandt, John; Couprie, Camille; Mairal, Julien; Jégou, Hervé; Labatut, Patrick; Bojanowski, Piotr (2025). «DINOv3». arXiv:2508.10104Acessível livremente [cs.CV] 
  39. Liu, Ze; Hu, Han; Lin, Yutong; Yao, Zhuliang; Xie, Zhenda; Wei, Yixuan; Ning, Jia; Cao, Yue; Zhang, Zheng; Dong, Li; Wei, Furu; Guo, Baining (2022). «Swin Transformer V2: Scaling Up Capacity and Resolution» (em inglês). Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 12009–12019 
  40. Bertasius, Gedas; Wang, Heng; Torresani, Lorenzo (9 de fevereiro de 2021). «Is Space-Time Attention All You Need for Video Understanding?» (em inglês). arXiv:2102.05095Acessível livremente [cs.CV] 
  41. Szegedy, Christian; Vanhoucke, Vincent; Ioffe, Sergey; Shlens, Jon; Wojna, Zbigniew (2016). «Rethinking the Inception Architecture for Computer Vision»: 2818–2826. arXiv:1512.00567Acessível livremente 
  42. Yu, Jiahui; Li, Xin; Koh, Jing Yu; Zhang, Han; Pang, Ruoming; Qin, James; Ku, Alexander; Xu, Yuanzhong; Baldridge, Jason; Wu, Yonghui (2021). «Vector-quantized Image Modeling with Improved VQGAN». arXiv:2110.04627Acessível livremente [cs.CV] 
  43. «Parti: Pathways Autoregressive Text-to-Image Model». sites.research.google. Consultado em 3 de novembro de 2023 
  44. Wu, Bichen; Xu, Chenfeng; Dai, Xiaoliang; Wan, Alvin; Zhang, Peizhao; Yan, Zhicheng; Tomizuka, Masayoshi; Gonzalez, Joseph; Keutzer, Kurt (19 de novembro de 2020). «Visual Transformers: Token-based Image Representation and Processing for Computer Vision». arXiv:2006.03677Acessível livremente 
  45. Dai, Zihang; Liu, Hanxiao; Le, Quoc V.; Tan, Mingxing (9 de junho de 2021). «CoAtNet: Marrying Convolution and Attention for All Data Sizes» (em inglês). arXiv:2106.04803Acessível livremente [cs.CV] 
  46. Wu, Haiping; Xiao, Bin; Codella, Noel; Liu, Mengchen; Dai, Xiyang; Yuan, Lu; Zhang, Lei (29 de março de 2021). «CvT: Introducing Convolutions to Vision Transformers» (em inglês). arXiv:2103.15808Acessível livremente [cs.CV] 
  47. Hugo Touvron; Matthieu Cord; Hervé Jégou (2022). «DeiT III: Revenge of the ViT». In: Shai Avidan; Gabriel Brostow; Moustapha Cissé; Giovanni Maria Farinella; Tal Hassner. Computer Vision – ECCV 2022. Col: Lecture Notes in Computer Science (em inglês). 13684. Cham: Springer Nature Switzerland. pp. 516–533. ISBN 978-3-031-20053-3. arXiv:2204.07118Acessível livremente. doi:10.1007/978-3-031-20053-3_30 
  48. Han, Kai; Xiao, An; Wu, Enhua; Guo, Jianyuan; XU, Chunjing; Wang, Yunhe (2021). «Transformer in Transformer». Curran Associates, Inc. Advances in Neural Information Processing Systems. 34: 15908–15919 
  49. Xiao, Tete; Singh, Mannat; Mintun, Eric; Darrell, Trevor; Dollár, Piotr; Girshick, Ross (28 de junho de 2021). «Early Convolutions Help Transformers See Better». arXiv:2106.14881Acessível livremente [cs.CV] 
  50. Raghu, Maithra; Unterthiner, Thomas; Kornblith, Simon; Zhang, Chiyuan; Dosovitskiy, Alexey (19 de agosto de 2021). «Do Vision Transformers See Like Convolutional Neural Networks?». arXiv:2108.08810Acessível livremente [cs.CV] 
  51. Gross, Ronit D.; Halevi, Tal; Koresh, Ella; Tzach, Yarden; Kanter, Ido (2025). «Low-latency vision transformers via large-scale multi-head attention». Physica A: Statistical Mechanics and Its Applications. 675. Bibcode:2025PhyA..67530835G. ISSN 0378-4371. arXiv:2506.23832Acessível livremente. doi:10.1016/j.physa.2025.130835  Parâmetro desconhecido |numero-artigo= ignorado (ajuda)
  52. Naseer, Muzammal; Ranasinghe, Kanchana; Khan, Salman; Hayat, Munawar; Khan, Fahad Shahbaz; Yang, Ming-Hsuan (21 de maio de 2021). «Intriguing Properties of Vision Transformers» (em inglês). arXiv:2105.10497Acessível livremente [cs.CV]  Parâmetro desconhecido |link-autor6= ignorado (ajuda)
  53. Coccomini, Davide; Messina, Nicola; Gennaro, Claudio; Falchi, Fabrizio (2022). «Combining Efficient Net and Vision Transformers for Video Deepfake Detection». Image Analysis and Processing – ICIAP 2022. Col: Lecture Notes in Computer Science (em inglês). 13233. [S.l.: s.n.] pp. 219–229. ISBN 978-3-031-06432-6. arXiv:2107.02612Acessível livremente. doi:10.1007/978-3-031-06433-3_19 
  54. Kirillov, Alexander; Mintun, Eric; Ravi, Nikhila; Mao, Hanzi; Rolland, Chloe; Gustafson, Laura; Xiao, Tete; Whitehead, Spencer; Berg, Alexander C.; Lo, Wan-Yen; Dollar, Piotr; Girshick, Ross (2023). «Segment Anything» (em inglês): 4015–4026 
  55. Erro de citação: Etiqueta <ref> inválida; não foi fornecido texto para as "refs" nomeadas "Han-20232"
  56. Erro de citação: Etiqueta <ref> inválida; não foi fornecido texto para as "refs" nomeadas "Khan-20222"
  57. Jiang, Yifan; Chang, Shiyu; Wang, Zhangyang (2021). «TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up». Curran Associates, Inc. Advances in Neural Information Processing Systems. 34: 14745–14758. arXiv:2102.07074Acessível livremente 
  58. Peebles, William; Xie, Saining (Março de 2023). «Scalable Diffusion Models with Transformers» (em inglês). arXiv:2212.09748v2Acessível livremente [cs.CV] 
  59. Caron, Mathilde; Touvron, Hugo; Misra, Ishan; Jegou, Herve; Mairal, Julien; Bojanowski, Piotr; Joulin, Armand (Outubro de 2021). «Emerging Properties in Self-Supervised Vision Transformers». 2021 IEEE/CVF International Conference on Computer Vision (ICCV). [S.l.]: IEEE. pp. 9630–9640. ISBN 978-1-6654-2812-5. arXiv:2104.14294Acessível livremente. doi:10.1109/iccv48922.2021.00951  Parâmetro desconhecido |capitulo-url= ignorado (ajuda)
  60. Predefinição:Citar bioRxiv
  61. Wang, Xiao; Liu, Siyan; Tsaris, Aristeidis; Cho, Jong-Youl; Aji, Ashwin; Fan, Ming; Zhang, Wei; Yin, Junqi; Ashfaq, Moetasim; Lu, Dan; Balaprakash, Prasanna (2024). «ORBIT: Oak Ridge Base Foundation Model for Earth System Predictability». arXiv:2404.14712Acessível livremente [physics.ao-ph] 

Leitura adicional

  • Zhang, Aston; Lipton, Zachary; Li, Mu; Smola, Alexander J. (2024). «11.8. Transformers for Vision». Dive into deep learning. Cambridge New York Port Melbourne New Delhi Singapore: Cambridge University Press. ISBN 978-1-009-38943-3  Parâmetro desconhecido |capitulo-url= ignorado (ajuda)
  • Steiner, Andreas; Kolesnikov, Alexander; Zhai, Xiaohua; Wightman, Ross; Uszkoreit, Jakob; Beyer, Lucas (18 de junho de 2021). «How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers». arXiv:2106.10270Acessível livremente [cs.CV] 

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.