A IA está esgotando os bugs ou enviesando a busca?

Será que, nesta era pós-IA, com ela tornando mais acessível encontrar falhas complexas e em maior quantidade em menos tempo, estamos de fato esgotando os bugs existentes ou enviesando a busca para o mesmo conjunto?

Talvez ela não seja um sistema capaz de achar falhas de forma ampla, mas um que é muito bom em achar falhas dentro dos padrões que conhece. Com o aumento de código gerado por IA, também surge o problema de a mesma que produz as falhas tentar encontrá-las, analisando padrões que ela já considera corretos.

Com isso, será que quem consegue achar vulnerabilidades com menos ajuda dela voltará a ter vantagem em achar coisas novas, além daquilo que os modelos já esgotaram de procurar?

Esse é um exemplo que peguei das pesquisas feitas usando o Codex no GitLab. É um retrato da limitação que o modelo tem em ter uma visão ampla: ele sempre chega nos pontos certos, mas também sempre deixa passar algo. Mesmo com RAG, harness, skills etc., o modelo entra em visão de túnel, e o viés sempre tende a ir para o mais comum e superficial e evitar trabalho complexo.

Por isso, acho que o custo-benefício está decaindo para conseguir achar bugs novos, enquanto o potencial de uma abordagem mais manual ou híbrida acaba desperdiçado. A tendência é que os modelos novos sejam mais restritos e ainda mais enviesados para tarefas de cyber.

O uso de agentes acaba dando uma falsa sensação de que os bugs estão se esgotando. Afinal, você acha dezenas e a maioria é dupe. Só que o número de novas CVEs continua crescendo, mostrando que as descobertas seguem acontecendo, mesmo quando a IA parece ter esgotado o que consegue achar. O diferencial entre o que uma pessoa encontra e outra não pode estar justamente na forma como cada uma conduz o modelo e o harness.

Dito isso, não acho que a IA esteja acabando com o bug bounty. Talvez estejamos voltando a algo parecido com antes, quando já havia muita automação e ficou mais difícil encontrar bugs comuns que ninguém tivesse reportado. A diferença é que agora podem ganhar espaço os bugs “pós-IA”: falhas nas relações entre componentes, diferenças de estado inesperadas e lacunas de segurança deixadas por confiar demais no comportamento comum.