Modelos de Linguagem Genômica (gLMs)

1. Introdução

Os Modelos de Linguagem Genómica (gLMs, do inglês genomic language models) aplicam a sequências de ácidos nucleicos e de proteínas os métodos de modelação estatística desenvolvidos para o processamento de linguagem natural. A hipótese subjacente é a de que a ordem dos nucleótidos (A, C, G, T/U) ou dos aminoácidos codifica regularidades comparáveis às regularidades sintáticas e semânticas de uma língua, e que essas regularidades podem ser aprendidas por arquiteturas do tipo transformador, ou por variantes de complexidade sub-quadrática, a partir de grandes volumes de sequências não anotadas [1,2].

Esta abordagem distingue-se dos métodos bioinformáticos clássicos — modelos ocultos de Markov, redes neuronais convolucionais treinadas para uma tarefa específica, florestas aleatórias sobre variáveis já anotadas — pela utilização de aprendizagem auto-supervisionada em larga escala, o que permite capturar dependências entre elementos reguladores distantes (enhancers) e os seus alvos (promotores) sem exigir anotação funcional prévia dos dados de treino [1]. Compreender por que razão esta mudança de paradigma tem consequência prática em genética médica exige, no entanto, situar os gLMs dentro do quadro conceptual mais amplo de que são um caso particular: a hierarquia que vai da inteligência artificial, no sentido mais lato, à aprendizagem automática, e desta à aprendizagem profunda, da qual os modelos de linguagem são a família mais recente.

Este documento tem dois objetivos articulados. O primeiro é expor, de forma didática e dirigida a um leitor com formação em medicina ou em bioinformática mas sem treino formal em aprendizagem automática, os fundamentos técnicos necessários para interpretar criticamente um artigo sobre gLMs: o que significa "treinar" um modelo, em que difere aprendizagem automática clássica de aprendizagem profunda, como funciona o mecanismo de atenção que sustenta os transformadores, e que problema técnico motivou o desenvolvimento de arquiteturas alternativas de complexidade sub-quadrática especificamente para sequência genómica de grande escala. O segundo objetivo é descrever, com este vocabulário já fixado, os fundamentos de tokenização e de pré-treino dos gLMs, as principais famílias de arquiteturas publicadas entre 2021 e 2026, e um conjunto de aplicações documentadas em genética médica, oncologia e desenho de terapêuticas. Cada afirmação quantitativa remete para o artigo original correspondente; quando uma reivindicação de desempenho não foi replicada de forma independente, ou quando resultados subsequentes qualificaram essa reivindicação, esse facto é indicado no texto. Esta revisão incorpora desenvolvimentos publicados ou anunciados até setembro de 2026.

2. Fundamentos de aprendizagem automática

2.1 O que significa "aprender" a partir de dados

Um programa de computador tradicional recebe uma entrada e uma regra explícita, escrita por um programador, e produz uma saída. Um programa de aprendizagem automática recebe uma entrada e um conjunto de exemplos — pares de entrada e saída correta — e ajusta os parâmetros internos de uma função até que essa função reproduza, o melhor possível, a relação observada nos exemplos. A definição de referência do campo, formulada por Tom Mitchell, torna esta ideia precisa: um programa aprende com a experiência E, em relação a uma classe de tarefas T e uma medida de desempenho P, se o seu desempenho em T, medido por P, melhora com E [3].

Consoante a natureza da experiência disponível, distinguem-se três regimes. Na aprendizagem supervisionada, cada exemplo de treino tem associado um rótulo conhecido — patogénica ou benigna, promotor ativo ou inativo —, e o objetivo é aprender a função que liga as variáveis de entrada a esse rótulo. Na aprendizagem não supervisionada, não existe rótulo nenhum, e o objetivo é descobrir estrutura latente nos dados — grupos de exemplos semelhantes, ou eixos que resumem a sua variação principal. Na aprendizagem auto-supervisionada, que ocupa lugar central em todo este documento, o próprio dado fornece o rótulo: uma parte da sequência é ocultada e o modelo é treinado a reconstitui-la a partir do que resta, sem que nenhuma anotação humana tenha sido necessária. É este último regime, e não a aprendizagem supervisionada clássica, que sustenta o pré-treino de todos os gLMs discutidos adiante.

2.2 A hierarquia: inteligência artificial, aprendizagem automática, aprendizagem profunda

O uso corrente destes três termos no discurso clínico tende a tratá-los como sinónimos, o que obscurece uma relação de contenção estrita. A inteligência artificial é o campo mais amplo: qualquer sistema computacional que produza um comportamento que, executado por uma pessoa, se diria exigir julgamento, o que inclui a representação simbólica de conhecimento e a procura em grafos de estados, além dos métodos que ajustam parâmetros a dados. A aprendizagem automática é o subconjunto da inteligência artificial que estima uma função a partir de exemplos, no sentido precisado por Mitchell. A aprendizagem profunda é, por sua vez, o subconjunto da aprendizagem automática que usa redes neuronais de múltiplas camadas para aprender simultaneamente a representação dos dados e a função que os mapeia para o rótulo, dispensando a engenharia manual de variáveis. Um modelo de linguagem de grande escala, incluindo um gLM, é um caso particular de aprendizagem profunda: uma rede neuronal de arquitetura transformadora, ou de uma arquitetura sub-quadrática equivalente, pré-treinada por auto-supervisão sobre volumes de sequência muito maiores do que qualquer conjunto rotulado à mão poderia alguma vez ser.

A distinção prática entre aprendizagem automática clássica e aprendizagem profunda não é uma questão de qual método tem desempenho superior em abstrato — é uma questão do formato do dado de entrada e do volume de exemplos disponível. Grinsztajn, Oyallon e Varoquaux avaliaram sistematicamente redes neuronais profundas contra métodos de conjuntos de árvores sobre quarenta e cinco conjuntos de dados tabulares heterogéneos, usando validação cruzada e um orçamento equivalente de otimização de hiperparâmetros (busca aleatória) para ambas as famílias de métodos; os autores reportam que os métodos baseados em árvores continuam a superar as redes neuronais neste regime, mesmo após otimização extensa dos hiperparâmetros das redes [4]. Quando as variáveis relevantes já estão identificadas e organizadas numa tabela — a frequência populacional de uma variante, uma pontuação de conservação evolutiva, o genótipo de um doente —, uma floresta aleatória [5] ou um método de conjuntos de árvores continua a ser, na prática de genética médica, a primeira escolha; é o caso da classificação de tumores do sistema nervoso central por perfil de metilação [6]. Quando, pelo contrário, a entrada é dado em bruto de alta dimensão — a sequência inteira de um gene, uma imagem histológica completa, o texto livre de uma nota clínica — e existe volume suficiente de exemplos, a vantagem desloca-se para a aprendizagem profunda, que aprende a própria representação em vez de a receber já construída por um investigador. Os gLMs situam-se exatamente neste segundo regime: a sequência genómica bruta, sem qualquer anotação prévia de que posições correspondem a promotores, exões ou locais reguladores.

2.3 Redes convolucionais: o primeiro passo para além da variável construída à mão

A primeira arquitetura de aprendizagem profunda a demonstrar, em larga escala, que uma rede pode aprender diretamente sobre sinal bruto foi a rede neuronal convolucional, estabelecida no reconhecimento de dígitos manuscritos [7]. Um filtro convolucional é uma pequena matriz de pesos que se desliza sobre a entrada, calculando em cada posição uma soma ponderada dos valores que cobre; o mesmo filtro é reutilizado em toda a extensão da entrada, o que corresponde ao pressuposto de que um padrão relevante pode ocorrer em qualquer posição do sinal. Camadas sucessivas combinam os padrões detetados pelas camadas anteriores, e o campo recetivo — a região da entrada que influencia um dado neurónio — cresce com a profundidade da rede. As conexões de atalho, que somam a entrada de um bloco de camadas à sua própria saída, permitiram treinar redes com centenas de camadas sem que o sinal de erro se dissipasse ao longo da retropropagação [8].

Duas aplicações genómicas desta arquitetura ilustram, por comparação, o que distingue esta abordagem da dos gLMs discutidos adiante. O chamador de variantes por rede convolucional — designado DeepVariant, disponível como pacote de código aberto construído sobre TensorFlow no repositório google/deepvariant — converte a pilha de leituras de sequenciação alinhadas — as bases observadas em cada posição, a sua qualidade, a sua orientação — numa imagem de múltiplos canais, e decide o genótipo em cada posição a partir dessa imagem [9]. O preditor de splicing por rede residual de convoluções dilatadas — designado SpliceAI, disponível como pacote Python (spliceai) construído sobre Keras/TensorFlow — recebe dez mil bases de sequência primária de DNA em torno de uma posição candidata e devolve três probabilidades por posição, de ganho de local dador, de ganho de local aceitador e de nenhum dos dois, integrando um contexto de dez mil bases com apenas trinta e duas camadas graças ao espaçamento crescente entre as posições que cada filtro cobre [10]. Ambos os exemplos partilham a mesma limitação estrutural: a convolução pressupõe que as dependências relevantes são predominantemente locais, e o seu campo recetivo, ainda que alargado pela dilatação, permanece finito e fixado à partida pela arquitetura. Um elemento regulador a dezenas de milhares de bases de distância do gene que regula excede facilmente esta janela.

2.4 Redes recorrentes e o problema da distância

Uma arquitetura recorrente processa uma sequência elemento a elemento, mantendo um vetor de estado interno que resume tudo o que já foi lido até esse ponto. A memória longa de curto prazo (LSTM) introduziu um estado de célula protegido por portas aprendidas — de entrada, de esquecimento e de saída — que controlam explicitamente que informação é retida ou descartada a cada passo, permitindo ao gradiente propagar-se através de mais passos temporais do que uma rede recorrente simples [11]; a unidade recorrente com portas (GRU) simplifica esta arquitetura fundindo as portas de entrada e de esquecimento [12]. Ambas as arquiteturas estão disponíveis como camadas padrão nas bibliotecas de aprendizagem profunda mais utilizadas, nomeadamente torch.nn.LSTM e torch.nn.GRU em PyTorch, e as camadas equivalentes em Keras/TensorFlow. Estas arquiteturas dominaram o tratamento de sequência biológica entre aproximadamente 2015 e 2019, mas partilham uma limitação que se tornaria central para todo o desenvolvimento posterior: mesmo com portas de memória explícitas, a distância entre dois elementos relacionados de uma sequência continua a ser medida pelo número de passos recorrentes que os separam, e o sinal tende a enfraquecer com essa distância. Em genómica, onde um elemento regulador pode estar a dezenas de milhares de bases do gene que regula, esta limitação estrutural tem impacto direto na modelação de interações reguladoras a longa distância.

Um primeiro mecanismo de atenção, introduzido no contexto de tradução automática, permitiu a uma rede recorrente atender diretamente a qualquer posição da sequência de entrada ao gerar cada elemento da saída, em vez de depender inteiramente do estado recorrente comprimido [13]. Este mecanismo é o precursor direto da auto-atenção, que dispensa por completo a recorrência.

2.5 O mecanismo de atenção e o transformador

O transformador substitui inteiramente a recorrência pela auto-atenção [14]. Cada posição da sequência de entrada é projetada, através de três transformações lineares aprendidas, em três vetores: uma consulta (query), uma chave (key) e um valor (value). A relevância de cada posição para cada outra posição calcula-se como o produto interno entre a consulta de uma e a chave da outra, normalizado e convertido em pesos que somam um; a representação de saída de cada posição é a soma dos valores de todas as posições, ponderada por esses pesos. O resultado prático é que duas posições afastadas ficam a uma única operação de distância uma da outra, independentemente do que esteja entre elas, resolvendo o problema de distância que limitava as redes recorrentes. A atenção multi-cabeça repete este mecanismo várias vezes em paralelo, cada repetição com as suas próprias projeções, permitindo ao modelo capturar em simultâneo diferentes tipos de relação entre posições. Implementações de referência deste mecanismo encontram-se disponíveis na função torch.nn.MultiheadAttention da biblioteca PyTorch e, de forma mais completa, na biblioteca transformers da Hugging Face, que disponibiliza a maioria das arquiteturas de gLM discutidas nas secções seguintes através de uma interface comum (classes AutoModel e AutoTokenizer).

Como a auto-atenção não tem, por construção, nenhuma noção intrínseca de ordem — trocar a posição de dois elementos não altera o cálculo —, é necessário injetar explicitamente informação posicional. A formulação original soma à representação de cada posição uma codificação posicional fixa [14]; formulações posteriores, desenhadas para permitir a extrapolação a sequências mais longas do que as vistas em treino, codificam a posição relativa entre pares de posições diretamente na operação de atenção através de uma rotação aplicada aos vetores de consulta e chave — a codificação posicional rotativa, ou RoPE [15]. Esta escolha de desenho é particularmente relevante em genómica, onde é comum querer aplicar a um genoma inteiro, ou a uma proteína muito longa, um modelo treinado apenas sobre fragmentos de comprimento limitado.

Distinguem-se três variantes arquiteturais de transformador. A variante só de codificação processa a sequência inteira em ambas as direções simultaneamente e é pré-treinada por mascaramento: uma fração dos elementos é ocultada e o modelo é treinado a reconstitui-los a partir de todo o contexto bidirecional [16]. Produz representações contextuais adequadas a classificação e a pontuação de sequências ou de posições individuais; o desempenho destes modelos é tipicamente reportado através de métricas de classificação como a área sob a curva ROC (AUROC) ou sob a curva de precisão-cobertura (AUPRC), descritas com mais detalhe na secção 6.2. A variante só de descodificação processa a sequência estritamente da esquerda para a direita e é pré-treinada prevendo o elemento seguinte a partir apenas dos elementos anteriores [17]; esta restrição causal é o que permite gerar sequências novas elemento a elemento, e o aumento de escala desta arquitetura revelou capacidades de generalização a novas tarefas a partir de poucos exemplos de demonstração no próprio texto de entrada [18]. A variante de codificação e descodificação combina as duas anteriores com um mecanismo de atenção cruzada, e serve para transformar uma sequência inteira noutra. Como se detalha na secção 4, os gLMs de tipo BERT — DNABERT, DNABERT-2, Nucleotide Transformer — são só de codificação, enquanto os gLMs generativos da família Evo são só de descodificação.

2.6 O custo quadrático da atenção e as alternativas sub-quadráticas

A auto-atenção calcula explicitamente a relevância entre cada par de posições de uma sequência, o que faz o seu custo computacional e de memória crescer com o quadrado do comprimento da sequência. Para texto clínico ou para a maioria das proteínas, este custo é gerível; para uma sequência genómica à escala de um locus regulador extenso ou de um cromossoma inteiro, torna-se rapidamente proibitivo. É esta restrição técnica, e não uma limitação teórica sobre o que a atenção pode aprender, que motivou o desenvolvimento de duas famílias de arquiteturas alternativas, ambas desenvolvidas fora do contexto biológico mas rapidamente adotadas em modelos de fundação genómicos.

Os modelos de espaço de estados seletivos substituem a atenção quadrática por uma recorrência linear cujos parâmetros de transição são, eles próprios, uma função aprendida do conteúdo da sequência em cada posição, o que permite um custo que cresce apenas linearmente com o comprimento da sequência, mantendo a capacidade de selecionar dinamicamente que informação reter [19]. As hierarquias de operadores convolucionais de longo alcance substituem a atenção por convoluções implícitas de comprimento igual ao da própria sequência, cujos filtros são gerados por uma sub-rede em vez de aprendidos diretamente, combinadas com portas multiplicativas [20]. É esta segunda família, combinada seletivamente com camadas de atenção convencional, que sustenta arquiteturas como a StripedHyena da família Evo, descrita na secção 5, e é a arquitetura de base do HyenaDNA, descrito na secção 4.3. As implementações de referência de ambas as famílias encontram-se disponíveis em repositórios de código aberto mantidos pelos respetivos autores — nomeadamente state-spaces/mamba, com o pacote instalável mamba-ssm, e HazyResearch/safari —, ambas compatíveis com PyTorch. A relação entre este desenvolvimento e a hierarquia conceptual da secção 2.2 é direta: os gLMs de contexto muito longo não são possíveis com atenção densa pura à escala de um genoma completo; a viabilidade computacional é, em si, um resultado de investigação em arquitetura de redes neuronais, publicado fora do domínio biológico e depois importado para ele.

2.7 Aprendizagem auto-supervisionada: mascaramento e contraste

Uma parte crescente da aprendizagem profunda em biologia não depende de rótulos humanos. Duas famílias de tarefas pretexto dominam a prática atual. O mascaramento, em que se ocultam partes do dado — palavras, aminoácidos, regiões de uma sequência — e se pede ao modelo que as reconstitua a partir do contexto circundante, é a tarefa central dos modelos de linguagem de tipo codificador [16]. A aprendizagem contrastiva, em que se gera um par de vistas do mesmo exemplo através de transformações que preservam o seu significado e se treina um codificador para colocar essas duas vistas próximas no espaço de representação enquanto afasta vistas de exemplos diferentes, minimiza uma perda de entropia cruzada normalizada por temperatura (NT-Xent, do inglês normalized temperature-scaled cross entropy) [21]. É o mascaramento, aplicado diretamente à sequência de nucleótidos, que sustenta o objetivo de pré-treino designado, na literatura de gLMs, por Modelação de Linguagem Mascarada (MLM); é a extensão da modelação por predição do elemento seguinte, própria dos transformadores só de descodificação, que sustenta o objetivo alternativo designado por Modelação de Linguagem Causal (CLM), detalhado na secção 3.2.

2.8 Modelos generativos: uma nota breve

Os métodos até aqui descritos aprendem uma fronteira de decisão ou uma representação orientada a uma tarefa; um modelo generativo aprende a distribuição dos próprios dados, o que abre a possibilidade de gerar exemplos novos e plausíveis. Um autocodificador variacional (VAE) comprime cada exemplo, não num único ponto, mas numa distribuição de probabilidade sobre um espaço latente, com um termo de regularização que impõe estrutura contínua a esse espaço [22]. A aplicação mais relevante desta arquitetura à interpretação de variantes é o EVE, que ajusta um VAE diretamente ao alinhamento múltiplo de sequências homólogas de uma proteína e pontua cada variante pela razão de log-verosimilhança entre o alelo mutante e o de referência, sem nunca ver um único rótulo clínico durante o treino [23]. O EVE está publicamente disponível no repositório OATML-Markslab/EVE, construído em PyTorch, através de um fluxo de trabalho em três etapas — treino do VAE Bayesiano sobre o alinhamento múltiplo re-ponderado, cálculo do índice evolutivo (a razão de log-verosimilhança) para cada substituição de aminoácido possível, e ajuste de uma mistura de gaussianas que separa as variantes em agrupamentos benigno e patogénico, atribuindo a cada previsão uma medida de incerteza. Na versão publicada na Nature, os autores reportam previsões para 36 milhões de variantes em 3.219 genes associados a doença, com reclassificação de alta confiança de mais de 256 mil variantes de significado incerto [23]; as pontuações estão publicamente acessíveis em evemodel.org. Este princípio — pontuar uma variante pela probabilidade que um modelo generativo, treinado sem rótulos clínicos, atribui à sequência que a contém — é exatamente o mesmo princípio que sustenta a pontuação zero-shot de variantes pelos gLMs autorregressivos descrita na secção 6.1, aplicado agora não a um alinhamento de uma única proteína mas à sequência genómica completa. Outras duas famílias de modelos generativos completam o panorama: as redes adversariais generativas, que treinam um gerador e um discriminador em competição direta [24], e os modelos de difusão, que aprendem a inverter um processo de adição progressiva de ruído [25], usados, por exemplo, no desenho de novas estruturas proteicas com validação experimental direta [26]. Nenhuma destas duas últimas famílias é a arquitetura de base dos gLMs discutidos neste documento, mas ambas partilham com eles o objetivo geral de gerar sequência biológica nova a partir de um modelo aprendido da distribuição de sequências existentes.

2.9 Do pré-treino à especialização: afinação, RAG e uso de ferramentas

Um modelo de linguagem pré-treinado por mascaramento ou por predição do elemento seguinte não está, por si só, preparado para seguir instruções nem para se manter ancorado a factos verificáveis. Três técnicas, aplicadas depois do pré-treino, especializam o modelo para estes fins e reaparecem, adiante, a propósito de aplicações concretas em oncologia e em interpretação de variantes. A afinação por preferência humana ajusta os pesos de um modelo já pré-treinado usando pares de respostas classificadas por avaliadores humanos, tipicamente através do algoritmo de Otimização de Política Proximal (PPO), uma variante de aprendizagem por reforço que limita explicitamente a magnitude de cada atualização da política [27]. A recuperação aumentada (RAG) externaliza conhecimento factual: um corpus de documentos é dividido em fragmentos, cada fragmento é codificado num vetor numérico por um modelo de incorporação, e, perante uma pergunta, o sistema recupera os fragmentos mais próximos e injeta-os no contexto do modelo antes deste gerar a resposta, condicionando a saída a evidência recuperada em vez de depender exclusivamente da memória fixada durante o pré-treino; a recuperação é tipicamente implementada através de índices de vizinhança aproximada, como o FAISS, ou de bases de dados vetoriais dedicadas [28]. O uso de ferramentas expõe ao modelo um conjunto de funções externas — uma consulta a uma base de dados, uma chamada a uma calculadora — e treina o modelo a emitir, no momento apropriado, uma chamada estruturada a essas funções, tipicamente formatada como um objeto estruturado (por exemplo, JSON) que especifica a função e os seus argumentos [29]. Estas três técnicas não são, em si, específicas de gLMs — pertencem à camada geral de modelos de linguagem de grande escala —, mas são diretamente relevantes à secção 11, onde se descreve um sistema de recomendação terapêutica em oncologia de precisão construído sobre recuperação aumentada, e à discussão geral de sistemas cuja saída deve entrar como evidência ancorada e verificável num quadro de decisão clínico, e não como resposta autónoma sem verificação externa.

2.10 Avaliação, calibração e o critério de validação externa

Um modelo que reproduz perfeitamente os dados de treino não é, por si, um bom modelo; o que interessa clinicamente é o desempenho sobre casos nunca vistos. O sobreajuste constitui um risco acentuado quando o número de variáveis se aproxima ou excede o número de exemplos — o regime que descreve a maioria dos problemas de genómica clínica —, e nunca se avalia corretamente um modelo com os mesmos dados que o treinaram; a prática mínima separa um conjunto de treino de um conjunto de teste mantido de parte e usado uma única vez [30]. Um modelo diz-se calibrado se, entre todos os casos a que atribui uma dada probabilidade, a proporção efetivamente positiva corresponder a essa probabilidade; a calibração é condição necessária para que a saída de um modelo entre num cálculo de decisão clínica formal, e as redes neuronais profundas tendem a ser sistematicamente sobreconfiantes, atribuindo probabilidades mais próximas dos extremos do que a sua exatidão real justifica. Esta descalibração pode ser corrigida a posteriori por métodos como a regressão isotónica ou o escalonamento de Platt, e quantificada através de gráficos de calibração ou de estatísticas sumárias como o Brier score [30]. Este ponto é retomado de forma explícita na secção 16, a propósito das pontuações zero-shot de patogenicidade produzidas pelos gLMs generativos: uma pontuação de log-verosimilhança elevada não é, por si só, uma probabilidade de patogenicidade, e a sua incorporação em qualquer raciocínio diagnóstico formal, nomeadamente no quadro de critérios de evidência do Colégio Americano de Genética Médica e Genómica em conjunto com a Associação de Patologia Molecular (ACMG/AMP) [31], exige o mesmo procedimento de calibração já estabelecido para outros preditores computacionais de patogenicidade [32,33].

A distinção entre validação interna, interna-externa e externa é igualmente aplicável a gLMs: uma validação externa exigente implica mudança de plataforma de sequenciação, de população de origem dos dados e, no caso de modelos generativos treinados sobre corpora de referência de grande escala, atenção à possibilidade de que a própria base de referência usada na avaliação tenha contribuído, direta ou indiretamente, para o corpus de pré-treino — um risco de circularidade estruturalmente análogo ao já documentado para preditores computacionais de patogenicidade mais antigos, mas mais difícil de auditar num modelo pré-treinado sobre biliões de posições de sequência de proveniência heterogénea.

2.11 Interpretabilidade: dos métodos de atribuição à interpretabilidade mecanística

Perante um modelo cuja decisão não é diretamente legível, a resposta corrente em aprendizagem automática clássica consiste em acrescentar um método de atribuição que quantifique quanto cada variável de entrada contribuiu para uma dada previsão. O método SHAP (disponível como pacote Python, shap) trata a previsão como o resultado de um jogo cooperativo entre as variáveis de entrada e reparte o crédito segundo uma solução única que satisfaz um conjunto de propriedades axiomáticas herdadas da teoria de jogos [34]; o método LIME (disponível como pacote Python, lime) ajusta um modelo linear simples a um conjunto de pequenas perturbações da entrada em torno de um caso concreto [35]. Estes métodos descrevem o comportamento estatístico do modelo, não o mecanismo biológico subjacente, e não resolvem, por si sós, o problema de confiança clínica que pretendem resolver. Num modelo de linguagem, coloca-se um problema adicional e mais específico: não apenas que variável de entrada pesou mais numa previsão concreta, mas que conceitos internos o modelo aprendeu a representar de forma geral, ao longo de todo o seu espaço de ativações, sem que ninguém os tenha explicitamente ensinado. A resposta a esta segunda pergunta é o domínio da interpretabilidade mecanística, retomada na secção 14 deste documento a propósito de autocodificadores esparsos aplicados especificamente a gLMs.

3. Da linguagem natural à sequência biológica

Um modelo de linguagem de grande escala é, na hierarquia fixada na secção 2.2, um caso particular de aprendizagem profunda pré-treinado por auto-supervisão sobre volumes de texto muito maiores do que qualquer conjunto rotulado à mão poderia ser. A extensão deste princípio à sequência biológica assenta numa analogia formulada cedo na literatura: a região não codificante do genoma exibe propriedades estatísticas — polissemia, dependências semânticas a longa distância entre elementos reguladores — estruturalmente semelhantes às da linguagem humana, o que motivou a aplicação direta de arquiteturas de processamento de linguagem à sequência genómica [36].

Historicamente, esta analogia foi demonstrada primeiro na sequência de aminoácidos e só depois na sequência de nucleótidos. Um modelo pré-treinado na arquitetura só de codificação para prever aminoácidos mascarados em centenas de milhões de sequências proteicas — a família ESM — aprende implicitamente, sem que isso lhe seja ensinado, que resíduos contactam fisicamente na estrutura tridimensional, que posições toleram substituição e quais não, emergindo inteiramente da tarefa de preencher lacunas [37]. A família ESM está disponível através do repositório facebookresearch/esm, também integrado na biblioteca transformers da Hugging Face, permitindo a extração direta de embeddings por sequência e, nas versões mais recentes (ESMFold), de mapas de contacto e de estruturas tridimensionais previstas a partir apenas da sequência, sem qualquer alinhamento de sequências homólogas fornecido como entrada — um resultado que se compara diretamente, mas por via de aprendizagem de linguagem e não de física molecular explícita, ao alcançado pela predição de estrutura por redes em grafo com restrições geométricas explícitas [38,39].

Do lado do DNA, um modelo que combina um bloco inicial de camadas convolucionais com camadas subsequentes de auto-atenção integra cerca de duzentos mil pares de bases de contexto na predição de expressão génica a partir de sequência isolada — o Enformer [40] —, e a sua extensão, o AlphaGenome, publicada em 2026, unifica a predição de múltiplas modalidades reguladoras num único modelo que recebe até um milhão de pares de bases de sequência, discutido com mais detalhe na secção 5.4 [41]. Estes dois modelos situam-se numa categoria distinta dos gLMs generativos ou de representação: são modelos sequência-para-função, treinados com supervisão direta sobre perfis experimentais, e não por objetivo de modelação de linguagem sobre sequência não anotada. A distinção entre as duas categorias — pré-treino auto-supervisionado sobre sequência bruta versus treino supervisionado sobre um perfil funcional experimental — é retomada de forma sistemática ao longo deste documento, porque determina o tipo de reivindicação que cada modelo pode legitimamente fazer: um gLM generativo pode pontuar uma variante em contexto zero-shot, sem qualquer treino específico para essa tarefa; um modelo sequência-para-função foi treinado precisamente para prever o desfecho experimental em causa, e o seu desempenho reflete, em parte, quão bem esse desfecho específico está representado no conjunto de treino.

4. Fundamentos técnicos dos modelos de linguagem genómica

A validade da analogia entre genoma e linguagem depende de dois componentes técnicos: a forma como a sequência contínua é discretizada em unidades processáveis — a tokenização — e o critério estatístico usado para treinar o modelo sobre essas unidades — o objetivo de pré-treino. A escolha de ambos condiciona o tipo de tarefa a que o modelo resultante se adequa [1,2].

4.1 Estratégias de tokenização

Coexistem na literatura três estratégias principais. A tokenização por k-mer divide a sequência em janelas sobrepostas de comprimento fixo k; para um alfabeto de quatro símbolos (A, C, G, T), esta escolha define um vocabulário fixo de 4k combinações possíveis (por exemplo, 4096 para k=6). Foi a estratégia inicial do DNABERT, que disponibilizou modelos para k entre 3 e 6 [42], e é também usada, com k=6 e um vocabulário de 4105 tokens (incluindo símbolos de controlo), pelo Nucleotide Transformer [44]. O Byte Pair Encoding (BPE) é um algoritmo de compressão estatística que agrupa iterativamente os pares de subsequências mais frequentes num vocabulário de dimensão fixa, tipicamente implementado através de bibliotecas de tokenização como a tokenizers da Hugging Face ou o SentencePiece, reduzindo o custo computacional associado à sobreposição de k-mers; foi adotado pelo DNABERT-2, com um vocabulário de 4096 tokens, descrito pelos seus autores como uma alternativa mais eficiente à tokenização por k-mer para modelos multi-espécie [43]. A tokenização ao nível do nucleótido único trata cada base como um token distinto, sem vocabulário aprendido — apenas os quatro ou cinco símbolos do alfabeto nucleotídico —, permitindo geração e classificação a resolução máxima; é a estratégia da família HyenaDNA e da família Evo, associada a arquiteturas de complexidade sub-quadrática capazes de processar contextos de centenas de milhares a milhões de tokens [45,48,49] — precisamente as arquiteturas descritas na secção 2.6 como alternativa ao custo quadrático da atenção densa.

4.2 Objetivos de pré-treino

Distinguem-se dois paradigmas dominantes, ambos já introduzidos em termos gerais na secção 2.7. Na Modelação de Linguagem Mascarada (MLM), inspirada no BERT [16], uma fração dos tokens da sequência de entrada é ocultada e o modelo é treinado para a reconstruir a partir do contexto bidirecional, minimizando a entropia cruzada entre a distribuição prevista e o token real em cada posição mascarada; é o paradigma do DNABERT [42], do DNABERT-2 [43] e do Nucleotide Transformer [44]. Na Modelação de Linguagem Causal (CLM), autorregressiva, herdeira direta da arquitetura só de descodificação [17], o modelo prevê o token seguinte com base apenas no contexto precedente, minimizando a entropia cruzada sobre a distribuição do próximo token em cada posição; é o paradigma adotado pela família Evo, que o aplica à geração de sequências de novo e à pontuação de verosimilhança de variantes [48,49].

A tabela seguinte sintetiza as três estratégias de tokenização descritas, os modelos de referência que as adotam e o tipo de tarefa a que cada uma está mais associada na literatura consultada.

5. Arquiteturas de referência

5.1 DNABERT e DNABERT-2

O DNABERT foi um dos primeiros modelos de tipo BERT pré-treinado sobre o genoma de referência humano, usando tokenização por k-mer; os seus autores reportaram desempenho competitivo em tarefas de identificação de promotores e de locais de splicing [42]. É, na hierarquia técnica fixada na secção 2.5, um transformador só de codificação: recebe a sequência inteira, atende bidireccionalmente a todas as posições, e a sua aprendizagem por mascaramento condiciona-o a tarefas de classificação e de pontuação, não de geração livre. O DNABERT-2 substituiu a tokenização por k-mer por BPE e introduziu codificação posicional por viés linear na atenção (ALiBi) — uma alternativa à codificação posicional rotativa descrita na secção 2.5, com o mesmo objetivo de permitir generalização a sequências de comprimento diferente das vistas em treino. A arquitetura, do tipo MosaicBERT, tem aproximadamente 117 milhões de parâmetros distribuídos por 12 camadas, 12 cabeças de atenção e uma dimensão de incorporação de 768, com uma sub-rede de avanço baseada numa unidade linear com portas (GLU) e suporte a aceleração por FlashAttention; está disponível através da biblioteca transformers da Hugging Face, no repositório MAGICS-LAB/DNABERT_2. Os autores reportam desempenho equivalente ao do Nucleotide Transformer em 28 tarefas do benchmark Genome Understanding Evaluation (GUE), avaliado por afinação supervisionada por tarefa com repartição fixa entre conjuntos de treino, validação e teste, com um modelo de menor dimensão [43].

5.2 Nucleotide Transformer

A família Nucleotide Transformer compreende modelos entre 50 milhões e 2,5 mil milhões de parâmetros, pré-treinados sobre 3.202 genomas humanos e sobre 850 genomas de espécies diversas, incluindo organismos modelo e não modelo. A tokenização baseia-se em k-mers de comprimento 6, com um vocabulário de 4105 tokens e um comprimento máximo de sequência entre 1000 e 2048 tokens consoante a variante do modelo (aproximadamente 6 a 12 mil pares de bases); as implementações de referência estão disponíveis tanto em JAX como através da biblioteca transformers da Hugging Face, no repositório instadeepai/nucleotide-transformer. Os autores reportam que as representações obtidas permitem afinação de baixo custo para uma variedade de tarefas genómicas em contexto de dados escassos [44] — precisamente o cenário, descrito na secção 2.2, em que a aprendizagem profunda oferece vantagem sobre métodos tabulares apenas quando o dado de entrada é sequência bruta e não uma tabela de variáveis já resumidas.

Nucleotide Transformer v3 (atualização, dezembro de 2025). A mesma equipa publicou entretanto o Nucleotide Transformer v3 (NTv3), que reformula substancialmente a arquitetura original: em vez de um transformador convencional sobre tokens de k-mer, o NTv3 adota uma arquitetura híbrida do tipo U-Net — camadas convolucionais de downsampling, um núcleo transformador de longo alcance, e camadas de deconvolução de upsampling —, permitindo tokenização ao nível do nucleótido único e um contexto de até um milhão de pares de bases. O modelo foi pré-treinado sobre o mesmo conjunto de dados OpenGenome2 usado pelo Evo 2 (secção 6.2) por modelação de linguagem mascarada a resolução de nucleótido único, e sujeito a um pós-treino supervisionado conjunto sobre mais de 16 mil perfis experimentais e anotações genómicas de 24 espécies animais e vegetais. Os autores reportam desempenho de estado da arte em predição de perfis funcionais e em anotação genómica entre espécies num formato padronizado de 32 mil pares de bases de entrada e saída à resolução de par de base único, e demonstram que o modelo pode ser adaptado, por afinação com um objetivo de difusão mascarada, a um modelo generativo controlável capaz de desenhar sequências reguladoras — nomeadamente enhancers e promotores com um nível de atividade especificado —, validado experimentalmente por ensaios de STARR-seq. O NTv3 é relevante para a distinção estabelecida na secção 3 entre modelos de representação auto-supervisionados e modelos sequência-para-função supervisionados: ao integrar as duas abordagens, mais a capacidade generativa, numa única arquitetura, esbate essa distinção, que até esta publicação separava consistentemente as duas classes de modelo na literatura consultada. Os autores disponibilizaram publicamente o código de inferência e afinação e a família completa de pesos pré-treinados [68].

5.3 HyenaDNA e Caduceus

O HyenaDNA substitui a atenção quadrática pelo operador Hyena descrito na secção 2.6 — convoluções implícitas de longo alcance —, permitindo um contexto de até um milhão de tokens a resolução de nucleótido único, um aumento de até 500 vezes face aos modelos de atenção densa então existentes, com um treino até 160 vezes mais rápido que um transformador equivalente. Os autores reportam desempenho de estado da arte em 12 de 17 conjuntos de dados do benchmark do Nucleotide Transformer e nos 8 conjuntos do GenomicBenchmarks, com menos parâmetros e menos dados de pré-treino [45].

O Caduceus baseia-se no bloco recorrente Mamba — o modelo de espaço de estados seletivos descrito na secção 2.6 [19] — e introduz equivariância a complemento reverso: a propriedade de que a pontuação atribuída a uma sequência de DNA e à sua cadeia complementar deve ser consistente, através do módulo MambaDNA. Esta propriedade não tem equivalente direto em modelos de linguagem natural — não existe, para uma frase em português, uma "cadeia complementar" cuja leitura deva produzir a mesma interpretação —, e ilustra um caso em que a adaptação de uma arquitetura de linguagem geral à biologia exige uma modificação estrutural específica ao domínio, e não apenas uma mudança de vocabulário. Numa tarefa de predição do efeito de variantes de longo alcance, os autores reportam desempenho superior ao de modelos dez vezes maiores que não incorporam bidirecionalidade nem equivariância [46].

5.4 Enformer e AlphaGenome: modelos sequência-para-função

Como referido na secção 3, é necessário distinguir os gLMs generativos ou de representação, descritos acima, dos modelos sequência-para-função, que recebem uma sequência de DNA e preveem diretamente perfis experimentais associados — por exemplo, níveis de expressão génica ou acessibilidade da cromatina —, tipicamente com supervisão direta e sem objetivo de modelação de linguagem. O Enformer, baseado em atenção sobre uma sequência de até 200 mil pares de bases, pertence a esta segunda categoria e é frequentemente usado como termo de comparação em avaliações de gLMs [40].

O AlphaGenome, publicado em 2026, estende este paradigma a previsões multimodais a partir da sequência [41,47]. O modelo recebe uma sequência de DNA de até um milhão de pares de bases e devolve, para essa sequência, milhares de propriedades moleculares associadas à sua atividade reguladora — incluindo expressão génica, padrões de splicing, acessibilidade da cromatina e mapas de contacto tridimensional —, a maioria a resolução de par de base único; o efeito de uma variante é obtido por comparação direta entre as previsões para a sequência de referência e para a sequência mutada. O modelo está disponível em Python através do pacote alphagenome, distribuído no repositório google-deepmind/alphagenome, com acesso gratuito, mediante chave de API, para investigação não comercial. O código de acesso ao modelo foi disponibilizado publicamente em janeiro de 2026, altura em que a Google DeepMind reportou a utilização da ferramenta por cerca de três mil investigadores em 160 países desde o seu lançamento em junho de 2025, e declarou a intenção de alargar, no futuro, a forma de acesso ao modelo para além da atual API de pré-visualização [41,70,71].

A distinção prática, para um leitor clínico, entre este tipo de modelo e um gLM generativo como o Evo 2, descrito na secção 6, é que o Enformer e o AlphaGenome respondem à pergunta "qual é o valor experimental esperado desta sequência nesta modalidade concreta", ao passo que um gLM generativo responde à pergunta mais geral "quão provável é esta sequência sob tudo o que o modelo aprendeu sobre sequência biológica" — uma diferença que tem consequência direta na secção 17 a propósito da fidelidade biológica das sequências geradas. Consistentemente com esta distinção, o desempenho de modelos sequência-para-função como o Enformer e o AlphaGenome é tipicamente avaliado pela correlação de Pearson ou de Spearman entre o perfil experimental observado (por exemplo, sinal de CAGE-seq para expressão, ou de ATAC-seq para acessibilidade da cromatina) e o perfil previsto ao longo da sequência, e não pela área sob a curva ROC usada na classificação binária de patogenicidade [40,41].

6. A família Evo: modelação à escala genómica

A família Evo, desenvolvida pelo Arc Institute em colaboração com a Stanford University e, no caso do Evo 2, com a NVIDIA, distingue-se dos modelos descritos na secção anterior pelo comprimento de contexto — até um milhão de tokens no Evo 2 — e pela cobertura taxonómica do conjunto de treino.

6.1 Evo: arquitetura StripedHyena

O Evo é um modelo de 7 mil milhões de parâmetros baseado na arquitetura StripedHyena, um híbrido de camadas de convolução implícita controladas pelos dados — as camadas Hyena descritas na secção 2.6, responsáveis pela maior parte do processamento sequencial — intercaladas com camadas de atenção multi-cabeça, correspondendo estas últimas a cerca de 10% das camadas. Esta combinação ilustra de forma concreta a arquitetura híbrida referida na secção 2.6: a maior parte do processamento é feita a custo sub-quadrático, e a atenção convencional, mais dispendiosa mas com capacidade de recuperação de informação mais direta, é reservada a uma fração das camadas. O modelo foi treinado sobre genomas procarióticos completos, com um comprimento de contexto de até 131 mil pares de bases a resolução de nucleótido único, e reporta predição de função em zero-shot competitiva com modelos de domínio específico nas três modalidades do dogma central — DNA, ARN e proteína [48].

6.2 Evo 2: escala e cobertura de domínios de vida

O Evo 2 escala esta abordagem a 40 mil milhões de parâmetros e a um contexto de um milhão de tokens, usando a arquitetura StripedHyena 2, descrita pelos autores como o primeiro híbrido multiconvolucional, combinando três variantes de operadores de convolução dependentes da entrada com atenção. O modelo foi treinado sobre o conjunto de dados OpenGenome2, que abrange cerca de 9 biliões (9 × 10¹²) de pares de bases de DNA provenientes de todos os domínios da vida — procariotas, eucariotas, vírus e organelos.

Os autores reportam predição zero-shot do efeito funcional de variantes patogénicas não codificantes e de variantes clinicamente relevantes no gene BRCA1, sem afinação específica para a tarefa; o termo zero-shot, já introduzido na secção 2.8 a propósito do EVE, designa aqui exatamente o mesmo procedimento: calcula-se a log-verosimilhança que o modelo, treinado apenas por predição do nucleótido seguinte sobre sequência genómica geral, atribui à sequência com a variante e à sequência de referência, tomadas cada uma como uma janela de contexto centrada na posição da variante, e a diferença entre as duas (Δscore) é usada como estatística de classificação, sem que o modelo tenha alguma vez visto um rótulo de patogenicidade durante o treino. Para variantes de nucleótido único (SNV) codificantes do BRCA1, a área sob a curva ROC (AUROC) — uma medida da capacidade de um classificador ordenar corretamente casos positivos acima de casos negativos, que varia entre 0,5 (desempenho aleatório) e 1,0 (separação perfeita) — da pontuação de log-verosimilhança em zero-shot situou-se em torno de 0,89, subindo até 0,95 quando se treina um classificador supervisionado sobre as representações internas (embeddings) do modelo [49]. É necessário assinalar que estes valores de AUROC, tal como discutido na secção 2.10, correspondem a uma avaliação de capacidade discriminativa e não a uma probabilidade calibrada de patogenicidade; a sua incorporação num raciocínio ACMG/AMP formal exigiria o mesmo procedimento de calibração já exigido a outros preditores computacionais [32,33]. Análises de interpretabilidade mecanicista, descritas com mais detalhe na secção 14, mostraram ainda que o modelo aprende de forma não supervisionada características correspondentes a fronteiras exão–intrão e a locais de ligação de fatores de transcrição [49].

Atualização: predição de patogenicidade a partir de embeddings (EVEE). Um trabalho subsequente, realizado em colaboração entre a empresa de interpretabilidade Goodfire e a Mayo Clinic, mostrou que as representações internas do Evo 2 de 7 mil milhões de parâmetros, combinadas com um classificador supervisionado leve treinado sobre essas representações, permitem predição de patogenicidade unificada entre tipos de variante: os autores reportam uma AUROC global de 0,997 sobre 839 mil variantes do ClinVar através de diferentes categorias de consequência de variantes de nucleótido único, com generalização em zero-shot a inserções e deleções (AUROC de 0,991), e desempenho robusto em conjuntos de mutagénese profunda (deep mutational scanning) para os genes BRCA1, BRCA2, TP53 e LDLR. Para tornar estas previsões interpretáveis, os autores treinaram sondas de anotação adicionais que quantificam a perturbação prevista em 325 anotações biológicas organizadas em 13 categorias (por exemplo, estrutura secundária, motivos de ligação de fatores de transcrição, modificações pós-traducionais), e usaram um modelo de raciocínio de fronteira para sintetizar essas perturbações em explicações mecanísticas em linguagem natural. Os resultados — previsões pré-calculadas e explicações geradas sob pedido para 4,2 milhões de variantes do ClinVar — estão disponíveis publicamente através de um recurso interativo designado Evo Variant Effect Explorer (EVEE) [69]. Este trabalho ilustra o princípio de interpretabilidade mecanicista introduzido na secção 2.11: em vez de um método de atribuição post-hoc sobre a previsão final, a explicação é construída a partir de sondas treinadas sobre dimensões biológicas específicas do espaço de representação do modelo.

A tabela seguinte compara as duas gerações do modelo.

6.3 Design semântico: geração de genes funcionais de novo

Merchant, King, Nguyen e Hie descreveram, com base no Evo, uma técnica designada "design semântico": um prompt de DNA correspondente ao contexto genómico de uma função de interesse guia a geração autorregressiva de sequências novas enriquecidas para funções relacionadas, aplicando diretamente o princípio de geração próprio da arquitetura só de descodificação descrita na secção 2.5. Os autores validaram experimentalmente a atividade de proteínas anti-CRISPR e de sistemas toxina–antitoxina de tipo II e III gerados de novo, incluindo sequências sem semelhança significativa a proteínas naturais conhecidas [50].

7. Modelos de biologia unificada e multi-ómica

7.1 LucaOne

O LucaOne, desenvolvido por investigadores da Alibaba Cloud Intelligence em colaboração com instituições académicas chinesas e australianas, é um transformador-codificador de 1,8 mil milhões de parâmetros treinado simultaneamente sobre sequências de DNA, ARN e proteína de 169.861 espécies, com um vocabulário de 39 tokens partilhado entre nucleótidos e aminoácidos e distinção por incorporação de tipo molecular. O modelo não recebeu, durante o treino, qualquer representação explícita da correspondência entre uma sequência de DNA e a proteína que codifica; ainda assim, os autores reportam que os embeddings de sequências de DNA e de proteína do mesmo gene convergem no mesmo espaço de representação, o que interpretam como evidência de compreensão emergente do dogma central da biologia molecular. Em tarefas de validação — incluindo classificação taxonómica, localização subcelular de proteínas, estabilidade proteica e interações ARN não codificante–proteína —, o LucaOne superou ou igualou modelos especializados de referência, nomeadamente o DNABERT-2 para ácidos nucleicos e o ESM2-3B para proteínas [51].

7.2 Life-Code

O Life-Code, proposto por Liu, Li, Chen e colaboradores, segue uma estratégia distinta de unificação: em vez de partilhar um vocabulário misto entre modalidades, converte sequências de ARN e de proteína de volta a uma representação nucleotídica — por retrotranscrição do ARN e por retrotradução dos aminoácidos em codões — antes do pré-treino, combinando um tokenizador de codões com uma arquitetura híbrida de sequência longa. Os autores reportam que esta unificação ao nível dos dados evita a perda de informação inerente à concatenação ingénua de representações pré-treinadas de forma independente [52].

8. Aplicações em genética médica e doenças raras

A maioria dos gLMs generativos permite calcular, sem afinação adicional, um rácio de log-verosimilhança (LLR) entre a sequência com a variante e a sequência de referência, pelo procedimento já descrito na secção 6.2: um Δscore mais negativo indica menor probabilidade sob o modelo e é interpretado como indicativo de redução de aptidão biológica, correlacionada empiricamente com patogenicidade [48,49]. Esta abordagem zero-shot é a base da avaliação de variantes BRCA1 pelo Evo 2 e é também usada, com arquiteturas mais compactas, por modelos dedicados a regiões específicas do genoma.

8.1 Regiões promotoras não codificantes: LOL-EVE

Cerca de 98% do genoma humano corresponde a sequência não codificante, praticamente ausente do exoma clínico — uma limitação já identificada, na aprendizagem automática clássica, a propósito das redes convolucionais aplicadas a variantes reguladoras (secção 2.3) e retomada aqui numa arquitetura de escala muito maior. O LOL-EVE (Language Of Life for Evolutionary Variant Effects), desenvolvido no laboratório de Debora Marks na Harvard Medical School, é um transformador autorregressivo de 235 milhões de parâmetros, treinado sobre 13,6 milhões de sequências promotoras de mamíferos e condicionado ao gene, à espécie e ao clado mais próximos. O modelo foi desenhado especificamente para prever o efeito de inserções e deleções (indels) em promotores — variantes tipicamente subrrepresentadas nos métodos centrados em variantes de nucleótido único —, tendo sido avaliado em três tarefas: priorização de variantes ultrarraras, identificação de eQTLs causais e deteção de rutura de locais de ligação de fatores de transcrição. Os autores reportam ainda uma aplicação a tríades de doenças do desenvolvimento a partir de dados clínicos da Genomics England [53]. Este trabalho permanece, à data desta revisão, publicado como preprint no repositório bioRxiv, sem publicação subsequente em revista com revisão por pares.

8.2 AlphaMissense e a predição de variantes missense

Embora não constitua um modelo de linguagem genómica na aceção estrita — deriva antes de uma arquitetura de predição de estrutura proteica, o AlphaFold [39], afinada para classificação de patogenicidade, combinando esta informação estrutural com um modelo de linguagem proteica [37] afinado de forma fracamente supervisionada pela frequência populacional observada —, o AlphaMissense é amplamente utilizado como termo de comparação na predição do efeito de variantes: os autores reportam classificação, à escala do proteoma humano, de 71 milhões de variantes missense possíveis, das quais 89% foram classificadas com confiança como prováveis benignas ou prováveis patogénicas [54]. O modelo recebe como entrada a sequência proteica e o contexto estrutural previsto pelo AlphaFold, e devolve uma pontuação contínua entre 0 e 1 que reflete a probabilidade de patogenicidade, convertida em três categorias — provável benigna, provável patogénica, ou incerta — por comparação com limiares calibrados sobre um conjunto de variantes de referência; o código e os ficheiros de pontuação para todo o proteoma estão disponíveis no repositório google-deepmind/alphamissense [54]. O grupo de trabalho de Interpretação de Variantes de Sequência (SVI) do consórcio ClinGen avaliou formalmente este preditor, em conjunto com o ESM1b e o VARITY, segundo o mesmo procedimento de calibração por probabilidade posterior local já usado para preditores anteriores, e determinou que os três atingem o nível de evidência forte para patogenicidade (PP3) e pelo menos moderado para benignidade (BP4) dentro do quadro ACMG/AMP, embora os limiares de pontuação necessários sejam mais exigentes do que os recomendados pelos próprios autores das ferramentas — o procedimento de calibração descrito em termos gerais na secção 2.10 [32,33]. O AlphaMissense é frequentemente usado como termo de comparação em avaliações de gLMs generativos [49].

8.3 Variação populacional e predição de expressão génica: UKBioBERT

Liu, Zhang, Ying e Zhao propuseram o UKBioBERT, um modelo de linguagem de DNA pré-treinado a partir do checkpoint do DNABERT-2, incorporando variantes genéticas de aproximadamente 300 mil participantes de ascendência europeia do UK Biobank através da edição da sequência de referência. Os embeddings resultantes foram combinados com as arquiteturas sequência-para-função Enformer e Borzoi, dando origem aos modelos UKBioFormer e UKBioZoi; os autores reportam melhoria da predição de expressão génica ao nível individual e aplicação à identificação de eQTLs comuns e raros, com generalização entre coortes [55].

9. Redes de regulação génica

A epistasia — a interação não linear entre variantes em diferentes loci na determinação de um fenótipo — é relevante para a modelação de doenças complexas e poligénicas. Uma abordagem indireta ao problema consiste em melhorar o conhecimento prévio (prior) usado na inferência de redes de regulação génica (GRNs). O GLM-Prior, desenvolvido por Skok Gibbs, Chen, Bonneau e Cho, afina o Nucleotide Transformer de 250 milhões de parâmetros como classificador de interações fator de transcrição–gene a partir de pares de sequências nucleotídicas, gerando uma matriz de prior estruturada que é depois combinada com dados de expressão de célula única através de um modelo de fatorização matricial probabilística. Avaliado em seis linhas celulares humanas, de murganho e de levedura, os autores reportam que o desempenho da inferência de GRNs escala com a abundância de exemplos positivos e com a diversidade de fatores de transcrição representados, e que, em levedura, o prior derivado de sequência supera priors baseados em motivos e priors curados, com contributo marginal adicional da camada de expressão — resultado interpretado pelos autores como indicação de que a construção do prior, mais do que a complexidade do algoritmo de inferência, é o fator limitante atual na modelação de GRNs [56].

10. Deteção de resistência antimicrobiana e anotação de genomas bacterianos

O seqLens, desenvolvido no Computational Biology Institute da George Washington University, é uma família de 52 modelos de linguagem de DNA baseados em atenção desentrelaçada (DeBERTa-v2) e em arquiteturas de tipo ESM, pré-treinados sobre dois conjuntos de genomas de referência — um de 19.551 genomas predominantemente procarióticos (115 mil milhões de nucleótidos) e outro mais equilibrado entre procariotas e eucariotas (180 mil milhões de nucleótidos). Os autores reportam desempenho superior ao estado da arte em 13 de 19 tarefas de predição fenotípica avaliadas [57]. O resLens, do mesmo grupo, afina o modelo seqLens de 89 milhões de parâmetros para deteção e classificação de genes de resistência a antibióticos (ARGs) a partir de dados metagenómicos, reportando desempenho competitivo ou superior ao de métodos baseados em alinhamento — ResFinder, ARG-ANNOT — em cenários nos quais os ARGs apresentam sequência e mecanismo de resistência dissimilares dos presentes nas bases de dados de referência [58].

Para a anotação de genomas bacterianos, o GeneLM, desenvolvido na University Mohammed VI Polytechnic, combina um modelo de classificação de sequências codificantes (CDS) baseado em DNABERT com um segundo módulo de refinamento de locais de início de tradução (TIS). Comparado com os preditores tradicionais Prodigal, GeneMark-HMM e Glimmer, os autores reportam redução do número de CDS não anotadas e aumento das anotações correspondentes a genes conhecidos, bem como predições de TIS mais próximas dos locais experimentalmente verificados [59].

11. Oncologia de precisão

A predição zero-shot de patogenicidade de variantes germinativas em genes de suscetibilidade oncológica, descrita para o BRCA1 na secção 6.2, é a via mais direta de aplicação dos gLMs generativos à oncologia [49]. Um segundo tipo de aplicação, tecnologicamente distinto dos gLMs de sequência, situa-se ao nível da decisão clínica textual e ilustra concretamente as técnicas de especialização descritas na secção 2.9: Jun, Tanaka, Johri e colaboradores desenvolveram um sistema de geração aumentada por recuperação que combina um modelo de linguagem geral com o Molecular Oncology Almanac (MOAlmanac), uma base de dados curada de associações entre biomarcadores moleculares e terapêuticas aprovadas, para gerar recomendações terapêuticas em oncologia de precisão. O sistema recebe como entrada uma descrição em linguagem natural do perfil molecular do doente, recupera da base de dados MOAlmanac as associações biomarcador–terapêutica mais relevantes por semelhança vetorial, e gera uma recomendação terapêutica citando explicitamente essas associações como evidência de suporte. Os autores reportam exatidão de até 95% em consultas sintéticas e de 93% num conjunto de consultas reais recolhidas junto de oncologistas em exercício, avaliada por comparação com o consenso de especialistas sobre cada consulta [60]. Este sistema não constitui um modelo de linguagem genómica — não processa sequência nucleotídica nem é treinado por modelação de linguagem sobre o genoma —, mas ilustra uma via complementar de aplicação de modelos de linguagem à oncologia de precisão, a jusante da interpretação genómica, e um caso concreto do princípio geral, introduzido na secção 2.9, de que a recuperação aumentada ancora a resposta do modelo a uma fonte externa e verificável em vez de a deixar depender exclusivamente da memória fixada no pré-treino.

A implementação clínica do Evo 2 em dados oncológicos reais foi avaliada por Liu, Lin, Yang e colaboradores, que testaram os modelos de 7 e 40 mil milhões de parâmetros sobre variantes de carcinoma urotelial da bexiga e de cancro do ovário. Os resultados desta avaliação, que revelam uma dependência crítica do desempenho do modelo em relação à precisão numérica de hardware utilizada, são discutidos na secção 13.2.

12. Engenharia terapêutica programável: a família EDEN

A família EDEN (Environmentally-Derived Evolutionary Network), desenvolvida pela Basecamp Research, distingue-se das famílias anteriores pela origem dos dados de treino: 9,7 biliões de tokens nucleotídicos provenientes exclusivamente da BaseData, um conjunto metagenómico ambiental e associado a hospedeiros, sem dados humanos, laboratoriais ou clínicos. O maior modelo da família tem 28 mil milhões de parâmetros e arquitetura de tipo Llama 3 — uma arquitetura só de descodificação, no sentido descrito na secção 2.5, o que explica a sua capacidade de geração autorregressiva de sequência nova, na mesma lógica do design semântico do Evo descrito na secção 6.3. Os autores validaram a capacidade de desenho terapêutico do EDEN em três modalidades distintas [61].

12.1 Inserção génica programável por IA (aiPGI)

Fornecendo ao modelo apenas os 30 nucleótidos do local-alvo genómico desejado (attB), o modelo gera de novo grandes recombinases de serina (LSRs) — enzimas compactas capazes de inserir cargas de DNA de grande dimensão sem necessitar de quebras de cadeia dupla nem de ARN-guia. Os autores reportam geração de recombinases funcionais para todos os loci associados a doença testados — ATM, DMD, F9, FANCC, GALC, IDS, P4HA1, PHEX, RYR2 e USH2A — e para quatro locais porto seguro (safe harbor) candidatos no genoma humano. A taxa de sucesso funcional agregada, avaliada por ensaio bioquímico de recombinação in vitro sobre 176 candidatos, foi de 53,6%, com variação consoante o tipo de prompt usado (48,1% para prompts de núcleo completo attB-oP′; 63,2% para prompts de meio-núcleo attB-half). Alguns candidatos ativos apresentaram apenas 52% de identidade de sequência com a proteína parental. Numa aplicação a células T humanas primárias, 50% das LSRs geradas mediaram integração de um recetor CAR anti-CD19 acima do controlo negativo [61].

12.2 Péptidos antimicrobianos

Aplicando a mesma arquitetura de base à conceção de péptidos antimicrobianos (AMPs), os autores reportam atividade confirmada em ensaio in vitro para 32 dos 33 péptidos sintetizados (97%), incluindo atividade contra estirpes multirresistentes de Acinetobacter baumannii, classificado pela Organização Mundial da Saúde como patogénio de prioridade crítica [61]. Um dos candidatos gerados nesta modalidade, designado EDEN-7, foi posteriormente testado in vivo em murganhos infetados com estirpes multirresistentes de A. baumannii, apresentando eficácia na mesma ordem de grandeza de um antibiótico de última linha, apesar de ter sido gerado em zero-shot, isto é, sem otimização ou engenharia iterativa subsequente [73].

12.3 Microbiomas sintéticos

Numa terceira aplicação, o modelo, afinado sobre uma amostra do sistema digestivo, gerou um microbioma sintético à escala do gigabase, com 9.067 unidades taxonómicas identificadas, das quais 83% partilhadas com a amostra de afinação e 99% partilhadas com outras amostras do mesmo bioma; dezasseis vias metabólicas significativamente enriquecidas em amostras digestivas naturais apresentaram taxas de completude superiores a 60% no microbioma gerado [61].

Os autores assinalam que as sequências geradas requerem validação e otimização experimental adicional antes de constituírem candidatos clínicos, e descrevem procedimentos de biossegurança específicos, incluindo a exclusão de genomas virais eucarióticos conhecidos do conjunto de treino [61] — um procedimento diretamente relacionado com a discussão de segurança e governança de modelos de pesos abertos na secção 15.

Atualização (junho de 2026). Em declarações públicas de 30 de junho de 2026, a Basecamp Research anunciou a integração dos modelos EDEN de desenho de antibióticos e de priorização de alvos vacinais numa plataforma conversacional de apoio à investigação (Claude Science, da Anthropic), e afirmou o objetivo de escalar a BaseData cem vezes ao longo dos dois anos seguintes através de um projeto designado Trillion Gene Atlas. Estas declarações constituem, à data desta revisão, planos e resultados divulgados pelos próprios autores, incluindo o resultado in vivo do EDEN-7 referido na secção 12.2, e não resultados publicados com revisão por pares [73].

13. Implementação computacional e eficiência

13.1 Cálculo do rácio de log-verosimilhança

O cálculo de um rácio de log-verosimilhança para pontuação de patogenicidade, descrito na secção 8, segue um procedimento comum aos modelos autorregressivos referidos: obtém-se a log-probabilidade da sequência de referência e da sequência com a variante sob o modelo, e a diferença entre ambas (Δscore) é usada como estatística de classificação. As implementações de referência dos modelos discutidos neste documento estão disponíveis em repositórios públicos mantidos pelos respetivos autores, nomeadamente: Evo e Evo 2, no repositório ArcInstitute/evo2 [49]; Nucleotide Transformer e NTv3, em instadeepai/nucleotide-transformer [44,68]; DNABERT-2, em MAGICS-LAB/DNABERT_2 [43]; Caduceus, em kuleshov-group/caduceus [46]; e LucaOne, em LucaOne/LucaOne [51]. Note-se que estas implementações não partilham uma única plataforma: o Nucleotide Transformer e o NTv3 estão disponíveis tanto em JAX como através da biblioteca transformers, ao passo que o Evo, o Evo 2, o DNABERT-2 e o Caduceus assentam predominantemente sobre PyTorch. A consulta destes repositórios é recomendada para instalação, pesos pré-treinados e exemplos de utilização atualizados, em detrimento de excertos de código isolados.

13.2 Precisão de hardware

A escolha do hardware determina de forma direta a viabilidade da implementação clínica de modelos de grande escala. Segundo a documentação oficial do Evo 2, os modelos de 40, 20 e 1 mil milhões de parâmetros requerem precisão FP8, via Transformer Engine, e uma GPU de arquitetura Hopper (H100/H800) para manter a exatidão numérica; apenas o modelo de 7 mil milhões de parâmetros pode operar em bfloat16 sem este requisito. Liu, Lin, Yang e colaboradores confirmaram empiricamente este comportamento nos dois conjuntos de dados oncológicos independentes referidos na secção 11: em GPU H800, com suporte FP8, os modelos de 7 e 40 mil milhões de parâmetros atingiram AUC entre 0,86 e 0,95; em GPU A100, sem suporte FP8, o modelo de 7 mil milhões manteve valores de AUC próximos (0,86–0,88), mas os modelos de 40 mil milhões sofreram uma quebra acentuada, com AUC entre 0,51 e 0,52 — próximo do desempenho aleatório —, atribuída pelos autores a instabilidade numérica. Os mesmos modelos em H800 processaram o conjunto de dados de demonstração 4 vezes mais rapidamente do que em A100 [62]. Este resultado tem consequência direta para qualquer avaliação comparativa de um gLM de grande escala: um desempenho degradado pode refletir uma incompatibilidade de hardware e não uma limitação do modelo, e a reprodução de um resultado publicado exige a mesma configuração de precisão numérica usada pelos autores originais.

13.3 Decodificação especulativa

A geração autorregressiva de sequências longas por modelos genómicos e proteómicos é limitada pela largura de banda de memória: cada token gerado exige uma passagem completa pelos parâmetros do modelo, um custo diretamente ligado à arquitetura só de descodificação descrita na secção 2.5. Provatas, Karatzikos, Koilakos e colaboradores adaptaram a decodificação especulativa — técnica em que um modelo "rascunho" pequeno propõe janelas curtas de tokens, validadas em paralelo por um modelo "alvo" maior — a um modelo genómico (DNAGPT) e a dois modelos proteicos (ProGen2 e ProtGPT2). Os autores reportam acelerações médias entre 20% e 40% (fatores de 1,2× a 1,4×) e um ganho máximo observado de 100%, sem alteração da distribuição de amostragem do modelo alvo [63].

14. Interpretabilidade e auditoria de modelos

A opacidade dos gLMs de grande escala constitui um obstáculo à adoção clínica, no mesmo sentido geral já discutido na secção 2.11 a propósito de SHAP e de LIME: a ausência de explicação para uma predição de patogenicidade dificulta a distinção entre um sinal biológico genuíno e uma correlação espúria aprendida a partir dos dados de treino. A resposta específica a este problema em gLMs recorre à interpretabilidade mecanística, e não apenas a métodos de atribuição post-hoc.

Maiwald, Jedryszek, Draye, Morris e Crook aplicaram autocodificadores esparsos (sparse autoencoders, SAEs) às ativações internas do Nucleotide Transformer, projetando os vetores de ativação num espaço de maior dimensão com restrição de esparsidade, de forma a que cada direção latente responda preferencialmente a um conceito biológico específico. Os autores identificaram mais de 100 conceitos funcionais codificados nas ativações do modelo, incluindo, de forma não supervisionada, latentes associados ao enhancer do citomegalovírus (CMV) e a genes de resistência à puromicina — elementos que, em princípio, não deveriam estar representados, uma vez que sequências virais tinham sido excluídas do conjunto de treino. A investigação da origem deste sinal revelou contaminação de bases de dados de referência usadas no pré-treino com sequência viral, demonstrando que os métodos de interpretabilidade podem funcionar como ferramenta de auditoria de dados, e não apenas de explicação de resultados. Os autores demonstraram ainda a possibilidade de direcionar (steering) a geração do modelo por intervenção sobre um latente identificado como associado a resistência a antibióticos, obtendo geração dirigida da mutação A1408G no gene do ARNr 16S, conhecida por conferir resistência a aminoglicosídeos. Um Meta-SAE, treinado sobre os pesos do descodificador de um SAE de primeira ordem, permitiu ainda identificar hierarquias concetuais mais abstratas, incluindo uma característica associada a múltiplas anotações relacionadas com o VIH [64]. Um trabalho independente e contemporâneo, realizado pelo próprio grupo que desenvolveu o Evo 2 em colaboração com a empresa Goodfire, aplicou uma abordagem semelhante a este modelo, identificando latentes associados a mudanças de grelha de leitura, sequências codificantes, intrões e fronteiras de exão [49,74]. O trabalho EVEE, descrito na secção 6.2, complementa esta linha de investigação ao aplicar sondas supervisionadas sobre anotações biológicas específicas em vez de autocodificadores esparsos não supervisionados — duas estratégias distintas, supervisionada e não supervisionada, para o mesmo objetivo de tornar interpretável o espaço de representação de um gLM [64,69].

15. Segurança e governança de modelos de pesos abertos

A mitigação de risco mais utilizada em modelos de pesos abertos consiste na filtragem de dados de treino — a exclusão de sequências genómicas de vírus patogénicos para humanos, de forma a limitar o desempenho do modelo em tarefas relacionadas com esses organismos, referida já na secção 12.3 a propósito do EDEN. Black, Hanke, Maiwald, Hernandez-Boussard, Crook e Pannu avaliaram a robustez desta medida no Evo 2, reintroduzindo, por afinação adversarial, sequências de 110 vírus nocivos que infetam o ser humano e previamente excluídos do treino. Os autores reportam recuperação de capacidades preditivas relevantes para uso indevido — nomeadamente a predição de fenótipos associados a escape imunitário em vírus não observados durante essa afinação —, concluindo que a filtragem de dados de pré-treino, por si só, não constitui uma salvaguarda robusta contra a reintrodução de capacidades sensíveis num modelo de pesos publicamente disponíveis. Por motivos de risco de informação, os autores omitiram detalhes metodológicos específicos do artigo publicado e não disponibilizaram o código associado, discutindo em alternativa quadros de governança para a distribuição responsável de pesos de modelos biológicos [65].

16. Benchmarking sistemático

A validação de um gLM não pode assentar exclusivamente em métricas herdadas do processamento de linguagem natural, como a perplexidade, dada a necessidade de verificar o alinhamento do modelo com processos biológicos conhecidos — o mesmo princípio geral de validação externa introduzido na secção 2.10. O Genomic Touchstone, desenvolvido por uma equipa multi-institucional liderada por Wang e Cai, é um benchmark que avalia gLMs em 36 tarefas e 88 conjuntos de dados, estruturados ao longo das três modalidades do dogma central — DNA, ARN e proteína —, abrangendo 5,34 mil milhões de pares de bases de sequência genómica [66].

Entre as conclusões reportadas pelos autores, destacam-se as seguintes. Primeiro, nenhum modelo domina de forma consistente em todas as tarefas avaliadas, o que sublinha a necessidade de seleção de modelo específica por tarefa em aplicações práticas — um paralelo direto à conclusão, já estabelecida para métodos de aprendizagem automática clássica, de que a escolha entre modelos deve seguir a pergunta biológica em causa, e não a conveniência computacional. Segundo, gLMs pré-treinados em DNA, quando aplicados a sequências codificantes, superam modelos pré-treinados diretamente em proteína (ESM-1b, ESM-2) em várias tarefas de estrutura e função proteica. Terceiro, arquiteturas com suporte para contextos superiores a 8 mil tokens, como o HyenaDNA e o Caduceus-PH, apresentam vantagem em tarefas que exigem contexto de longo alcance, como classificação de espécie e modelação reguladora — um resultado consistente com a motivação técnica, descrita na secção 2.6, para o desenvolvimento de arquiteturas sub-quadráticas. Quarto, as escolhas arquitetónicas, a estratégia de tokenização e a composição do corpus de pré-treino são fatores determinantes da capacidade de generalização entre tarefas [66]. Adicionalmente, a publicação do NTv3 (secção 5.2) introduziu um benchmark próprio, num formato padronizado de 32 mil pares de bases de entrada e saída à resolução de par de base único, desenhado especificamente para comparar modelos de representação e modelos sequência-para-função sob as mesmas condições — uma resposta direta, ainda que restrita a essa família de modelos, à primeira conclusão do Genomic Touchstone sobre a ausência de um modelo dominante universal [66,68].

17. Limitações: fidelidade biológica das sequências geradas

Tzanakakis, Mouratidis e Georgakopoulos-Soares conduziram uma avaliação sistemática da capacidade de modelos generativos — o Evo 2, sobre genomas procarióticos, eucarióticos e virais, e o megaDNA, sobre genomas de bacteriófagos — de reconstruir genomas sintéticos completos. Os autores reportam que as sequências geradas preservam estatísticas locais de composição, mas falham de forma sistemática em preservar a organização genómica de longo alcance, a composição de repetições e de k-mers, e a arquitetura de locais de ligação de fatores de transcrição, entre outras propriedades estruturais avaliadas [67]. Este resultado qualifica de forma direta as reivindicações de geração genómica discutidas nas secções 6.3 e 12, e é consistente com observações independentes de que o desempenho agregado de modelos como o Evo 2 em tarefas de classificação de variantes pode ocultar desequilíbrio de classes e taxas de falsos positivos elevadas em subcategorias específicas de variantes e de genes.

A resolução deste problema — geração de sequência estatisticamente plausível mas biofisicamente inviável, por vezes designada na literatura como "alucinação" biológica — permanece uma questão em aberto, não uma limitação já resolvida por uma solução técnica publicada e validada de forma independente até à data de fecho desta revisão. Este limite conecta-se diretamente ao critério de avaliação, já estabelecido na aprendizagem automática clássica aplicada à genética médica, de que a saída de um modelo estatisticamente sofisticado deve ser comparada a uma linha de base simples e submetida a validação externa antes de qualquer reivindicação de utilidade prática: um modelo pode reproduzir estatísticas de composição local de nucleótidos sem ter aprendido a organização estrutural de longo alcance que determina, em última análise, a função biológica de uma sequência.

18. Síntese

O período entre 2021 e 2026 registou uma progressão de modelos de classificação de sequência curta baseados em k-mer (DNABERT [42]) para modelos generativos de contexto genómico completo (Evo 2 [49]), acompanhada pela emergência de três linhas de investigação relativamente autónomas: a unificação de modalidades do dogma central num espaço de representação comum (LucaOne [51], Life-Code [52], NTv3 [68]); a interpretabilidade mecanicista como instrumento simultâneo de descoberta científica e de auditoria de segurança (Decode-gLM [64], EVEE [69]); e a caracterização sistemática, através de benchmarks dedicados (Genomic Touchstone [66]) e de avaliações críticas independentes (Tzanakakis et al. [67]), dos limites de generalização e de fidelidade biológica destes modelos.

Esta progressão arquitetural repete, à escala genómica, uma trajetória já percorrida na aprendizagem profunda aplicada a outros domínios biológicos e descrita na secção 2: da rede convolucional, com o seu campo recetivo local mas finito, à rede recorrente, que introduz memória sequencial mas permanece limitada pela distância entre elementos relacionados, à atenção, que resolve o problema de distância ao custo de uma complexidade quadrática, e finalmente às arquiteturas sub-quadráticas que tornam viável o processamento de um genoma inteiro num único contexto. Compreender esta trajetória é condição necessária, embora não suficiente, para avaliar criticamente uma reivindicação de desempenho de um gLM: a mesma disciplina metodológica que se aplica a qualquer preditor computacional de patogenicidade — comparação obrigatória contra uma linha de base simples, validação externa, calibração explícita antes de qualquer uso em decisão clínica formal, e desconfiança perante números agregados que escondem heterogeneidade por tarefa ou por subgrupo de variantes — aplica-se integralmente aos gLMs, independentemente da escala do modelo ou do volume de sequência sobre o qual foi treinado.

Vários dos grupos responsáveis pelos modelos aqui discutidos declararam publicamente planos de desenvolvimento futuro, distintos de reivindicações de desempenho já publicadas e sujeitas a revisão por pares. O Arc Institute descreve o Evo como uma peça de um esforço mais amplo que inclui modelos de célula virtual para prever a resposta celular a perturbações, mineração agêntica de dados públicos e ferramentas de treino e aplicação de modelos, sem que estes componentes tenham, à data desta revisão, artigos publicados equivalentes aos discutidos neste documento [72]. A Google DeepMind disponibilizou o código de acesso ao AlphaGenome em janeiro de 2026 e declarou a intenção de alargar, no futuro, o modo de distribuição do modelo para além da atual API de pré-visualização gratuita para investigação não comercial [70,71]. A Basecamp Research anunciou, em junho de 2026, o objetivo de escalar o seu conjunto de dados de treino em cem vezes ao longo de dois anos através do projeto Trillion Gene Atlas [73]. Estas declarações constituem planos e resultados anunciados pelos próprios autores ou instituições, e não resultados experimentais ou reivindicações de desempenho validadas por revisão por pares; a sua inclusão aqui serve apenas para situar, com a data de fecho desta revisão, a direção declarada de desenvolvimento de cada linha de modelos, e não para antecipar resultados ainda não publicados.

A aplicação clínica destes modelos depende, adicionalmente, de fatores de infraestrutura habitualmente exteriores ao âmbito dos artigos de arquitetura — em particular, a disponibilidade de hardware compatível com precisão reduzida (FP8) para os modelos de maior escala [49,62] — e de quadros de governança para a distribuição de pesos de modelos com capacidades de dupla utilização [65]. O lugar atual desta classe de modelos em genética médica, tal como o de qualquer outro preditor computacional de efeito de variante discutido neste documento, é o de complemento a fluxos de trabalho já validados, fornecendo prioridade e contexto adicional à curadoria humana e ao quadro formal de critérios de evidência ACMG/AMP, e não a substituição desse quadro por uma pontuação autónoma e não calibrada.

Referências Bibliográficas

1. Shu L, Tang J, Guan X, Zhang D. A comprehensive survey of genome language models in bioinformatics. Brief Bioinform. 2026;27(1):bbaf724. doi:10.1093/bib/bbaf724

2. Consens ME, Dufault C, Wainberg M, Forster D, Karimzadeh M, Goodarzi H, et al. Transformers and genome language models. Nat Mach Intell. 2025;7(3):346-362. doi:10.1038/s42256-025-01007-9

3. Mitchell TM. Machine Learning. New York: McGraw-Hill; 1997.

4. Grinsztajn L, Oyallon E, Varoquaux G. Why do tree-based models still outperform deep learning on tabular data? In: Proceedings of the 36th Conference on Neural Information Processing Systems (NeurIPS 2022) Datasets and Benchmarks Track. 2022.

5. Breiman L. Random forests. Mach Learn. 2001;45(1):5-32. doi:10.1023/A:1010933404324

6. Capper D, Jones DTW, Sill M, et al. DNA methylation-based classification of central nervous system tumours. Nature. 2018;555(7697):469-474. doi:10.1038/nature26000

7. LeCun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proc IEEE. 1998;86(11):2278-2324. doi:10.1109/5.726791

8. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition. IEEE; 2016. p. 770-778. doi:10.1109/CVPR.2016.90

9. Poplin R, Chang PC, Alexander D, et al. A universal SNP and small-indel variant caller using deep neural networks. Nat Biotechnol. 2018;36(10):983-987. doi:10.1038/nbt.4235

10. Jaganathan K, Kyriazopoulou Panagiotopoulou S, McRae JF, et al. Predicting splicing from primary sequence with deep learning. Cell. 2019;176(3):535-548.e24. doi:10.1016/j.cell.2018.12.015

11. Hochreiter S, Schmidhuber J. Long short-term memory. Neural Comput. 1997;9(8):1735-1780. doi:10.1162/neco.1997.9.8.1735

12. Cho K, van Merriënboer B, Gulcehre C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2014. p. 1724-1734. doi:10.3115/v1/D14-1179

13. Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate. In: 3rd International Conference on Learning Representations (ICLR 2015). 2015.

14. Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need. Adv Neural Inf Process Syst. 2017;30:5998-6008.

15. Su J, Lu Y, Pan S, Murtadha A, Wen B, Liu Y. RoFormer: enhanced transformer with rotary position embedding. arXiv:2104.09864 [cs.CL]. 2021.

16. Devlin J, Chang MW, Lee K, Toutanova K. BERT: pre-training of deep bidirectional transformers for language understanding. In: Proceedings of NAACL-HLT 2019. Association for Computational Linguistics; 2019. p. 4171-4186. doi:10.18653/v1/N19-1423

17. Radford A, Wu J, Child R, Luan D, Amodei D, Sutskever I. Language models are unsupervised multitask learners. OpenAI Technical Report. 2019.

18. Brown T, Mann B, Ryder N, et al. Language models are few-shot learners. Adv Neural Inf Process Syst. 2020;33:1877-1901.

19. Gu A, Dao T. Mamba: linear-time sequence modeling with selective state spaces. arXiv:2312.00752 [cs.LG]. 2023.

20. Poli M, Massaroli S, Nguyen E, et al. Hyena hierarchy: towards larger convolutional language models. Proc Mach Learn Res. 2023;202:28043-28078.

21. Chen T, Kornblith S, Norouzi M, Hinton G. A simple framework for contrastive learning of visual representations. Proc Mach Learn Res. 2020;119:1597-1607.

22. Kingma DP, Welling M. Auto-encoding variational Bayes. arXiv:1312.6114 [stat.ML]. 2013.

23. Frazer J, Notin P, Dias M, et al. Disease variant prediction with deep generative models of evolutionary data. Nature. 2021;599(7883):91-95. doi:10.1038/s41586-021-04043-8

24. Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks. Commun ACM. 2020;63(11):139-144. doi:10.1145/3422622

25. Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models. Adv Neural Inf Process Syst. 2020;33:6840-6851.

26. Watson JL, Juergens D, Bennett NR, et al. De novo design of protein structure and function with RFdiffusion. Nature. 2023;620(7976):1089-1100. doi:10.1038/s41586-023-06415-8

27. Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback. Adv Neural Inf Process Syst. 2022;35:27730-27744.

28. Lewis P, Perez E, Piktus A, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-9474.

29. Schick T, Dwivedi-Yu J, Dessì R, et al. Toolformer: language models can teach themselves to use tools. Adv Neural Inf Process Syst. 2023;36:68539-68551.

30. Van Calster B, McLernon DJ, van Smeden M, Wynants L, Steyerberg EW. Calibration: the Achilles heel of predictive analytics. BMC Med. 2019;17(1):230. doi:10.1186/s12916-019-1466-7

31. Richards S, Aziz N, Bale S, et al. Standards and guidelines for the interpretation of sequence variants: a joint consensus recommendation of the American College of Medical Genetics and Genomics and the Association for Molecular Pathology. Genet Med. 2015;17(5):405-424. doi:10.1038/gim.2015.30

32. Pejaver V, Byrne AB, Feng BJ, et al. Calibration of computational tools for missense variant pathogenicity classification and ClinGen recommendations for PP3/BP4 criteria. Am J Hum Genet. 2022;109(12):2163-2177. doi:10.1016/j.ajhg.2022.10.013

33. Bergquist T, Stenton SL, Nadeau EAW, et al; ClinGen Sequence Variant Interpretation Working Group. Calibration of additional computational tools expands ClinGen recommendation options for variant classification with PP3/BP4 criteria. Genet Med. 2025;27(6):101402. doi:10.1016/j.gim.2025.101402

34. Lundberg SM, Lee SI. A unified approach to interpreting model predictions. Adv Neural Inf Process Syst. 2017;30:4765-4774.

35. Ribeiro MT, Singh S, Guestrin C. "Why should I trust you?": explaining the predictions of any classifier. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM; 2016. p. 1135-1144. doi:10.1145/2939672.2939778

36. Ji Y, Zhou Z, Liu H, Davuluri RV. DNABERT: pre-trained bidirectional encoder representations from transformers model for DNA-language in genome. Bioinformatics. 2021;37(15):2112-2120. doi:10.1093/bioinformatics/btab083

37. Rives A, Meier J, Sercu T, et al. Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences. Proc Natl Acad Sci U S A. 2021;118(15):e2016239118. doi:10.1073/pnas.2016239118

38. Lin Z, Akin H, Rao R, et al. Evolutionary-scale prediction of atomic-level protein structure with a language model. Science. 2023;379(6637):1123-1130. doi:10.1126/science.ade2574

39. Jumper J, Evans R, Pritzel A, et al. Highly accurate protein structure prediction with AlphaFold. Nature. 2021;596(7873):583-589. doi:10.1038/s41586-021-03819-2

40. Avsec Ž, Agarwal V, Visentin D, Ledsam JR, Grabska-Barwinska A, Taylor KR, et al. Effective gene expression prediction from sequence by integrating long-range interactions. Nat Methods. 2021;18(10):1196-1203. doi:10.1038/s41592-021-01252-x

41. Avsec Ž, Latysheva N, Cheng J, Novati G, Taylor KR, Ward T, et al. Advancing regulatory variant effect prediction with AlphaGenome. Nature. 2026;649(8099):1206-1218. doi:10.1038/s41586-025-10014-0

42. Ji Y, Zhou Z, Liu H, Davuluri RV. DNABERT: pre-trained bidirectional encoder representations from transformers model for DNA-language in genome. Bioinformatics. 2021;37(15):2112-2120. doi:10.1093/bioinformatics/btab083

43. Zhou Z, Ji Y, Li W, Dutta P, Davuluri R, Liu H. DNABERT-2: efficient foundation model and benchmark for multi-species genome. arXiv:2306.15006 [Preprint]. 2023.

44. Dalla-Torre H, Gonzalez L, Mendoza-Revilla J, Lopez Carranza N, Grzywaczewski AH, Oteri F, et al. Nucleotide Transformer: building and evaluating robust foundation models for human genomics. Nat Methods. 2025;22(2):287-297. doi:10.1038/s41592-024-02523-z

45. Nguyen E, Poli M, Faizi M, Thomas A, Wornow M, Birch-Sykes C, et al. HyenaDNA: long-range genomic sequence modeling at single nucleotide resolution. Adv Neural Inf Process Syst. 2023;36:43177-43201.

46. Schiff Y, Kao CH, Gokaslan A, Dao T, Gu A, Kuleshov V. Caduceus: bi-directional equivariant long-range DNA sequence modeling. Proc Mach Learn Res. 2024;235:43632-43648.

47. Avsec Ž, Latysheva N, Cheng J, Novati G, Taylor KR, Ward T, et al. Advancing regulatory variant effect prediction with AlphaGenome. Nature. 2026;649(8099):1206-1218. doi:10.1038/s41586-025-10014-0

48. Nguyen E, Poli M, Durrant MG, Kang B, Katrekar D, Li DB, et al. Sequence modeling and design from molecular to genome scale with Evo. Science. 2024;386(6723):eado9336. doi:10.1126/science.ado9336

49. Brixi G, Durrant MG, Ku J, Naghipourfar M, Poli M, Sun G, et al. Genome modelling and design across all domains of life with Evo 2. Nature. 2026;652(8112):1349-1361. doi:10.1038/s41586-026-10176-5

50. Merchant AT, King SH, Nguyen E, Hie BL. Semantic design of functional de novo genes from a genomic language model. Nature. 2025;649(8097):749-758. doi:10.1038/s41586-025-09749-7

51. He Y, Fang P, Shan Y, Pan Y, Wei Y, Chen Y, et al. Generalized biological foundation model with unified nucleic acid and protein language. Nat Mach Intell. 2025;7(6):942-953. doi:10.1038/s42256-025-01044-4

52. Liu Z, Li S, Chen Z, Xin L, Wu F, Yu C, et al. Life-Code: central dogma modeling with multi-omics sequence unification. arXiv:2502.07299 [Preprint]. 2025.

53. Shearer CA, Teufel F, Orenbuch R, Steinmetz CJ, Ritter D, Xie E, et al. A genomic language model for zero-shot prediction of promoter variant effects. bioRxiv [Preprint]. 2025. doi:10.1101/2024.11.11.623015

54. Cheng J, Novati G, Pan J, Bycroft C, Žemgulytė A, Applebaum T, et al. Accurate proteome-wide missense variant effect prediction with AlphaMissense. Science. 2023;381(6664):eadg7492. doi:10.1126/science.adg7492

55. Liu T, Zhang X, Ying R, Zhao H. Pre-training genomic language model with variants for better modeling functional genomics. npj Artif Intell. 2026. doi:10.1038/s44387-026-00103-4

56. Skok Gibbs C, Chen A, Bonneau R, Cho K. GLM-Prior: a nucleotide transformer model reveals prior knowledge as the driver of GRN inference performance. bioRxiv [Preprint]. 2025. doi:10.1101/2025.06.29.662198

57. Baghbanzadeh M, Mann BT, Crandall KA, Rahnavard A. seqLens: optimizing language models for genomic predictions. Mol Biol Evol. 2026;43(7):msag139. doi:10.1093/molbev/msag139

58. Mollerus M, Dittmar K, Crandall KA, Rahnavard A. resLens: genomic language models to enhance antibiotic resistance gene detection. npj Antimicrob Resist. 2026. doi:10.1038/s44259-026-00219-2

59. Akotenou G, El Allali A. Genomic language models (gLMs) decode bacterial genomes for improved gene prediction and translation initiation site identification. Brief Bioinform. 2025;26(4):bbaf311. doi:10.1093/bib/bbaf311

60. Jun H, Tanaka Y, Johri S, et al. A context-augmented large language model for accurate precision oncology medicine recommendations. Cancer Cell. 2026. doi:10.1016/j.ccell.2025.12.017

61. Munsamy G, Ayres G, Greco C, Kam K, Minto-Cowcher G, St John J, et al. Designing AI-programmable therapeutics with the EDEN family of foundation models. bioRxiv [Preprint]. 2026. doi:10.64898/2026.01.12.699009

62. Liu S, Lin C, Yang H, et al. A benchmark of Evo2 genomic AI models for efficient and practical deployment. bioRxiv [Preprint]. 2025. doi:10.1101/2025.09.10.675279

63. Provatas K, Karatzikos A, Koilakos C, Patsakis M, Tzanakakis A, Nayak A, et al. Accelerating inference in genomic and proteomic foundation models via speculative decoding. bioRxiv [Preprint]. 2026. doi:10.64898/2026.01.13.699044

64. Maiwald A, Jedryszek P, Draye F, Morris GM, Crook OM. Decode-gLM: tools to interpret, audit, and steer genomic language models. bioRxiv [Preprint]. 2025. doi:10.1101/2025.10.31.685860

65. Black JRM, Hanke MS, Maiwald A, Hernandez-Boussard T, Crook OM, Pannu J. Open-weight genome language model safeguards: assessing robustness via adversarial fine-tuning. arXiv:2511.19299 [Preprint]. 2025.

66. Wang Y, Cai Z, Zeng Q, Gao Y, Ouyang J, Xu Y, et al. Genomic Touchstone: benchmarking genomic language models in the context of the central dogma. bioRxiv [Preprint]. 2025. doi:10.1101/2025.06.25.661622

67. Tzanakakis A, Mouratidis I, Georgakopoulos-Soares I. Fundamental limitations of genomic language models for realistic sequence generation. bioRxiv [Preprint]. 2026. doi:10.64898/2026.01.17.700093

68. Boshar S, Evans B, Tang Z, Picard A, Adel Y, Lorbeer FK, Rajesh C, Karch T, Sidbon S, Emms D, Mendoza-Revilla J, Al-Ani F, Seitz E, Schiff Y, Bornachot Y, Hernandez A, Lopez M, Laterre A, Beguir K, Koo P, Kuleshov V, Stark A, de Almeida BP, Pierrot T. A foundational model for joint sequence-function multi-species modeling at scale for long-range genomic prediction. bioRxiv [Preprint]. 2025. doi:10.64898/2025.12.22.695963

69. Pearce MT, Dooms T, Yamamoto R, Meehl J, Molnar C, Bissell M, Hazra D, Fang C, Nguyen N, Anderson M, Osborne C, Duffy P, Toomey B, Klee E, Myasoedova E, Ryu AJ, Ayanian S, Korfiatis P, Redlon M, Jain A, Balsam D, Wang NK. EVEE: interpretable variant effect prediction from genomic foundation model embeddings. bioRxiv [Preprint]. 2026. doi:10.64898/2026.04.10.717844

70. Google DeepMind. AlphaGenome: AI for better understanding the genome [Internet]. 2025 Jun 25 [atualizado 2026 Jan; consultado 2026 Set 6]. Disponível em: https://deepmind.google/blog/alphagenome-ai-for-better-understanding-the-genome/

71. Molteni M. DeepMind releases AlphaGenome source code, aiming to improve its AI predictions of gene regulation. STAT [Internet]. 2026 Jan 28 [consultado 2026 Set 6]. Disponível em: https://www.statnews.com/2026/01/28/deepmind-opens-alphagenome-source-code/

72. Arc Institute. Evo 2: DNA foundation model [Internet]. [consultado 2026 Set 6]. Disponível em: https://arcinstitute.org/tools/evo

73. Basecamp Research. Basecamp Research brings EDEN's antibiotic and vaccine design models to Claude Science [comunicado de imprensa]. PR Newswire; 2026 Jun 30 [consultado 2026 Set 6]. Disponível em: https://www.prnewswire.com/news-releases/basecamp-research-brings-edens-antibiotic-and-vaccine-design-models-to-claude-science-302814440.html

74. Arc Institute. Evo 2: one year later [Internet]. 2026 Mar 4 [consultado 2026 Set 6]. Disponível em: https://arcinstitute.org/news/evo-2-one-year-later