A IA não deveria escrever errado o seu idioma
Procuramos falantes nativos de 7 idiomas. Veja como a IA escreve o seu idioma, 30 imagens por lote, com crédito em dados abertos.
Se a sua língua materna é árabe, japonês, chinês, inglês, espanhol, português ou alemão, queremos a sua ajuda. Os modelos de imagem com IA já escrevem texto em todos esses idiomas, e poucas pessoas que realmente os leem estão conferindo o resultado. Publicamos cada imagem e cada avaliação em um conjunto de dados aberto, e precisamos de falantes nativos que nos digam quais estão certas.
Um lote tem cerca de 30 imagens e leva cerca de 10 minutos. Suas respostas entram no conjunto de dados com o nome que você escolher. Para participar, escreva para [email protected] e diga qual é a sua língua materna.
O que a IA erra
A IA já escreve para o mundo inteiro: cartazes, placas, cartões, apresentações, até caligrafia árabe. Mas os modelos de imagem só treinaram de verdade alguns poucos sistemas de escrita. No nosso teste de cinco modelos de imagem, todos passaram de 90% em palavras curtas em inglês, alemão, espanhol, português e chinês.
No árabe eles se separam. De 57 a 59 primeiras tentativas cada, o GPT Image escreveu 53 palavras certas, o Nano Banana 55, o Grok Imagine 42, o Seedream 34 de 54 e o Qwen-Image 8 de 59. No japonês a diferença é menor, mas três dos cinco modelos ainda erraram de 7 a 14 de 59 palavras.
Os erros são pequenos. Um ponto no lugar errado, duas letras ligadas do jeito errado, um kana ganha um dakuten (ばくはつ vira ばくばつ). À primeira vista, a imagem parece escrita de verdade. Um único ponto pode transformar uma palavra árabe em outra, e só quem lê árabe vai perceber.
Por que precisa de um falante nativo
Cada imagem do nosso teste é lida primeiro por uma IA revisora, com zoom para árabe, chinês e japonês. Depois, uma pessoa passa pelas que têm mais chance de terem sido mal julgadas, incluindo todas as imagens em árabe. Essa pessoa é alguém da nossa equipe, e não somos falantes nativos da maioria desses idiomas.
Em novembro de 2026, uma pessoa falante nativa de árabe revisou as 291 primeiras tentativas em árabe do nosso teste, no lote AR-001. A pessoa via a palavra que cada modelo devia escrever, mas não o nome do modelo nem o nosso veredito. Comparado com a nossa própria avaliação (a da nossa pessoa revisora ou, onde ninguém tinha olhado, a da IA):
| Avaliação da revisão nativa | Imagens |
|---|---|
| Concordou com a gente | 254 |
| Errada, onde dissemos certa | 11 |
| Certa, onde dissemos errada | 12 |
| Sem certeza | 14 |
Em 41 dessas imagens, a nossa IA revisora e nós tínhamos discordado, então as deixamos fora da tabela de precisão. A revisão nativa resolveu 34 delas. Onde tínhamos concordado, essa pessoa derrubou 5 das 243 avaliações sobre as quais tinha certeza. Onde teve certeza, a avaliação dessa pessoa agora é o veredito.
As duas imagens abaixo mostram por quê. Os dois modelos receberam o mesmo prompt de fonte asteca e deviam escrever شمس (sol). Aprovamos a primeira imagem e reprovamos a segunda. A revisão nativa disse o contrário.
Estilo carregado deixa tudo mais difícil. Numa assinatura de muro em pichação, as nossas duas checagens reprovaram este ليل (noite) do Grok Imagine. A revisão nativa leu como certo.
Uma IA que lê mal o árabe e uma pessoa que não o tem como língua materna cometem o mesmo tipo de erro: julgam as formas, não a palavra. Quem lê como nativo julga a palavra. O mesmo vale para todos os outros idiomas da lista.
O que a sua revisão faz
Testamos um sistema de escrita por vez e publicamos cada imagem e cada avaliação no conjunto de dados de renderização de texto da AIFont no GitHub, também arquivado no Zenodo, sob CC BY 4.0. Cada registro guarda separadamente a avaliação de cada revisor, para que qualquer pessoa possa pesá-las. A tabela de precisão é recalculada a partir do conjunto de dados.
Quem cria os modelos raramente percebe esses erros sozinho. Um registro público de qual modelo errou qual palavra, conferido por quem lê o idioma, dá a essas pessoas evidências que elas conseguem ver, não podem ignorar e conseguem corrigir.
Cada avaliação sua fala por todos que compartilham o seu idioma. Ela entra com o crédito que você escolher: seu nome real, um pseudônimo ou anônimo.
Como funciona um lote de revisão
- Um idioma por lote, cerca de 30 imagens, cerca de 10 minutos. No AR-001, quem revisou levou em média 11 segundos por imagem.
- Em cada imagem você vê a palavra que o modelo devia escrever. Você responde três coisas: se está escrita corretamente; se não, o que está errado e o que a imagem realmente diz; se o texto é uma palavra real.
- O nome do modelo e os vereditos anteriores ficam ocultos, para que a sua avaliação seja independente.
- As respostas são salvas como rascunho enquanto você avança. Nada vale até você assinar e enviar o lote.
- Várias pessoas podem revisar o mesmo lote separadamente, para que as respostas possam ser comparadas entre si.
Já há lotes abertos em árabe, japonês, chinês, inglês, espanhol, português e alemão. O árabe é o que tem mais imagens esperando. Qualquer pessoa pode vê-los em aifont.ai/native-review.
Como participar
Escreva para [email protected] e diga qual é a sua língua materna. A gente cria uma conta de revisão para esse idioma, e você pode pegar qualquer lote aberto nele. Esperamos que você faça isso como uma contribuição; se precisar receber pelo seu tempo, diga no mesmo e-mail e a gente conversa.
Por enquanto, a revisão é só por convite. No conjunto de dados, "falante nativo" precisa significar alguma coisa, então adicionamos cada revisor manualmente.
Se você não quiser uma conta, ainda pode corrigir uma única imagem: abra uma issue no repositório do conjunto de dados com o id do registro e o que a imagem realmente diz.
Se você conhece alguém que lê um desses idiomas, mande esta página. Uma pessoa revisora por idioma já faz diferença.
Perguntas frequentes
Quem pode ser revisor nativo?
Qualquer pessoa que tenha como língua materna árabe, japonês, chinês, inglês, espanhol, português ou alemão. Não é preciso ter formação em linguística. Escreva para [email protected], diga qual é a sua língua materna e a gente cria uma conta de revisão para esse idioma.
Quanto tempo leva para revisar um lote?
Cerca de 10 minutos. Cada lote tem cerca de 30 imagens, e no nosso primeiro lote de árabe quem revisou levou em média 11 segundos por imagem. As respostas são salvas enquanto você avança, então dá para parar e voltar depois.
O que acontece com a minha revisão?
As respostas enviadas entram no conjunto de dados de renderização de texto da AIFont, no GitHub e no Zenodo sob CC BY 4.0, com o crédito que você escolher: seu nome real, um pseudônimo ou anônimo. Quando quem revisa na própria língua materna tem certeza, a avaliação dessa pessoa vira o veredito e a tabela de precisão é recalculada.
A revisão é paga?
A revisão é pensada como uma contribuição. Suas respostas entram em um conjunto de dados aberto com o crédito que você escolher, e decidem como o seu idioma é pontuado. Se você precisar receber pelo seu tempo, diga isso quando escrever para a gente e a gente conversa.
Por que uma IA não pode conferir as imagens sozinha?
Uma IA que lê mal um sistema de escrita julga as formas, não a palavra. No nosso teste de árabe, uma pessoa nativa discordou de 23 das nossas 291 avaliações e resolveu 34 das 41 imagens em que a nossa IA revisora e a nossa pessoa revisora não nativa não chegaram a um acordo.
Copie um prompt, cole no ChatGPT, no Gemini ou em qualquer modelo de imagem e troque o texto pelo seu.
Ver todas as fontes com IA