Benchmarks do Laya, com as ressalvas.

Principais resultados informados pelo projeto

Estas métricas específicas de cada checkpoint vêm de o relatório de benchmarks do Laya. Não são uma única comparação controlada. O projeto declara explicitamente que não teve acesso à API TypeSafe e que prompts e tamanhos de amostra podem diferir. A comparação é indicativa.

O checkpoint importa mais que a marca

Esses valores vêm de a tabela typed-decisions no relatório do Laya. Os checkpoints base do Laya ficam abaixo da referência da classe majoritária. O resultado destacado pertence à especialização. Jev corresponde melhor à distribuição completa do modelo professor e tem ECE não ajustado melhor nessa tabela.

Latência em uma Tesla T4

Esses são tempos de GPU local com modelo carregado. Segundo o repositório, um roteador em produção pode levar cerca de 7–10 segundos ao trocar de checkpoint; servidores multilíngues devem pré-carregar os modelos que oferecem.

Evidência multilíngue

Na classificação de intenções MASSIVE com 20 opções, o checkpoint multilíngue atinge precisão macro de 0.366 em 51 idiomas e supera o limite de utilidade de “três vezes o acaso” em 45. O modelo inglês atinge 0.227 e supera esse limite em 23.

“Suporta mais de 100 idiomas” descreve a cobertura prevista do codificador, não desempenho verificado em 100 ambientes de produção. A avaliação pública cobre 51 idiomas, com resultados muito variados. O roteamento faz parte do produto, não é uma otimização opcional.

Temas de aplicação

Uma demonstração bem produzida pode dar a impressão de que a moderação está resolvida, embora o resultado reservado diga o contrário. A avaliação em produção deve incluir desequilíbrio natural de classes, casos ambíguos e entradas adversariais, não só exemplos claros.

Correção de calibração

O repositório relata ECE médio mudando de 0.466 para 0.081 no checkpoint inglês e de 0.314 para 0.106 no multilíngue após ajustar temperaturas por tipo de pergunta e número de opções. São resultados promissores, mas uma calibração ajustada em uma distribuição pode desviar em outra.

Evidência independente: útil, mas pequena

Um teste separado em M4 Max comparou Laya-MLX multilíngue com Jev 1.13 em 40 chamados chineses. Jev acertou 31/40; Laya, 23/40. A latência local do Laya carregado foi 7.6ms, contra uma chamada API Jev de 588ms. Com um limite de cascata selecionado, o teste igualou a precisão do Jev encaminhando 55% dos casos a ele.

O autor deixa claros os limites: uma tarefa, uma máquina, uma pequena amostra e rótulos discutíveis. Isso deve gerar hipóteses, não afirmações amplas.

Lista de avaliação responsável

1. Congele um conjunto rotulado antes de ajustar prompts, critérios ou limites.
2. Informe o checkpoint exato, versão do pacote, hardware e limites de contexto.
3. Meça F1 macro e revocação por classe junto com a precisão agregada.
4. Trace a confiabilidade por faixa de confiança e examine erros confiantes.
5. Embaralhe as opções e teste paráfrases.
6. Inclua entradas ambíguas, vazias e fora do escopo.
7. Separe inferência com modelo carregado, carregamento e latência completa do serviço.

Fonte principal: BENCHMARKS.md do Laya e arquivos de resultados vinculados. Amostra independente: laya-jev-lab. Valores verificados no relatório do projeto em 25 de setembro de 2026 e sujeitos a mudanças.