Quick wins for a faster PC:
Clear out junk files and repair common Windows errorsFree Scan →Fix the driver behind crashes, sound loss and screen glitchesFind Drivers →Para testar um sistema multiagente com o Google Agent Development Kit (ADK), verifique não só a resposta final, mas também a trajetória que levou até ela: quais agentes foram chamados, que ferramentas usaram, o que devolveram e como o agente raiz integrou esses resultados. Use arquivos de teste de sessão única para iterar depressa e evalsets para cenários de integração mais longos.
O que um teste multiagente precisa verificar
Uma resposta plausível não prova que o sistema coordenou os agentes corretamente. O ADK recomenda avaliar o resultado final e a sequência de ações e decisões que o produziu. Em sistemas multiagentes, isso inclui conferir se o agente raiz delegou a tarefa adequada, se os agentes subordinados retornaram informações úteis e se o agente raiz as incorporou na resposta.
As an Amazon Associate I earn from qualifying purchases.
Para cada cenário importante, registre o pedido do usuário, as chamadas de ferramentas e delegações esperadas, as respostas intermediárias relevantes e o resultado final que conta como sucesso. Esses registros permitem detectar etapas ausentes, chamadas indevidas e trajetórias desnecessariamente complexas. A documentação do ADK descreve campos de teste para trajetória de ferramentas, respostas de agentes intermediários e resposta final.
Separe os sinais de qualidade
- Resultado final: a resposta satisfaz a tarefa e corresponde aos critérios ou à resposta de referência?
- Delegação e trajetória: o agente raiz chamou os subagentes apropriados e seguiu um caminho aceitável?
- Uso de ferramentas: as ferramentas necessárias foram chamadas corretamente, sem chamadas impróprias?
- Respostas intermediárias: os subagentes produziram os dados esperados e esses dados foram usados?
Uma métrica que avalia apenas a resposta final não demonstra, por si só, que houve coordenação correta entre agentes.
#1 Best Overall
Como criar casos de teste úteis
Comece com um ou dois casos centrais
O guia do agents-cli recomenda começar com um ou dois casos que cubram o comportamento mais importante. Escolha tarefas representativas e explicite o que deve acontecer em cada etapa. Por exemplo, para uma tarefa que exige delegação, defina qual subagente deve receber o trabalho, que informação intermediária é relevante e que resposta final demonstra conclusão. Não exija uma trajetória literal se houver caminhos alternativos válidos; declare quais ações são obrigatórias e quais são apenas aceitáveis.
Quando um caso falhar, identifique se o problema está nas instruções, nas ferramentas, na lógica de coordenação ou no resultado produzido. Corrija a causa e repita o teste antes de ampliar a cobertura. Assim, os primeiros casos funcionam como verificações focadas, não como uma coleção extensa de critérios difíceis de interpretar.
Registre o que permite diagnosticar uma falha
Um teste é mais útil quando deixa claro em que ponto a execução se desviou do esperado. Inclua evidência suficiente para distinguir, por exemplo, uma delegação omitida de uma delegação correta seguida de uma resposta final mal integrada. Se o critério depender de julgamento qualitativo, descreva o padrão de qualidade em vez de confiar apenas em uma resposta de referência rígida.
What’s actually slowing this PC down?
Pick the symptom - the matching free tool is one click away.
Escolha entre testes de sessão e evalsets
| Formato | Escopo | Uso indicado | Sinal que pode verificar |
|---|---|---|---|
Arquivo de teste .test.json |
Uma sessão, que pode conter vários turnos | Desenvolvimento ativo e ciclos rápidos | Uso intermediário de ferramentas, respostas de agentes e resposta final |
| Evalset | Múltiplas sessões, potencialmente longas | Integração e cenários mais complexos executados com menor frequência | Comportamento do sistema ao longo de sessões e conversas mais elaboradas |
Essa distinção é de escopo e frequência, não de valor: testes menores ajudam a localizar regressões durante mudanças frequentes; evalsets exercitam combinações mais extensas de turnos e sessões. Ambos podem fazer parte do mesmo fluxo de qualidade.
Como executar avaliações com agents-cli
O fluxo documentado do agents-cli executa os casos de um dataset e aplica as métricas configuradas com agents-cli eval run. Também permite separar a geração de traces da classificação, o que ajuda a inspecionar uma execução ou reclassificá-la sem confundir os dois passos.
- Prepare casos e critérios: mantenha exemplos centrais pequenos e defina os sinais que cada avaliação deve medir.
- Execute o dataset: use
agents-cli eval runno fluxo documentado para executar os casos e aplicar as métricas configuradas. - Inspecione os traces: examine ações, chamadas e respostas intermediárias quando o resultado indicar falha ou quando precisar entender por que uma métrica foi aprovada ou reprovada.
- Classifique com métricas compatíveis: confirme que a métrica aceita o formato do trace antes de interpretar o resultado.
O tutorial oficial do agents-cli descreve um projeto com diretórios tests/unit, tests/integration e tests/eval, incluindo dataset e configuração de métricas. É um ponto de partida para organizar testes, não uma garantia de que todos os caminhos de coordenação estejam cobertos. O tutorial indica Python 3.11 ou superior e uv como pré-requisitos, e aceita credenciais da Gemini API ou do Google Cloud para o fluxo de exemplo. Esses detalhes podem mudar entre versões.
Escolha métricas compatíveis com a execução
O guia atual do agents-cli lista métricas para qualidade geral, uso de ferramentas, qualidade e sucesso de tarefa em múltiplas interações, correspondência com resposta de referência, alucinação, grounding e segurança. Elas não aceitam necessariamente os mesmos dados: segundo o guia, apenas as métricas de sucesso da tarefa multi-turn, qualidade da trajetória multi-turn e qualidade de uso de ferramentas multi-turn aceitam traces multi-turn. As demais métricas integradas rejeitam esses traces.
Free tools Windows power users keep installed
One-click scans. No signup required.
Portanto, escolha a métrica depois de identificar o tipo de trace que está avaliando. Uma execução rejeitada por incompatibilidade de formato não é evidência de que o agente falhou na tarefa. E uma pontuação favorável numa métrica não substitui a inspeção de delegações e respostas intermediárias quando a coordenação entre agentes é o que está em avaliação.
Independent reader supportYour contribution helps us test, update, and keep practical guides available for everyone.Detecte regressões sem bloquear mudanças intencionais
O ADK descreve testes de conformidade que comparam o comportamento atual com interações de referência previamente registradas. No modo Replay, requisições, respostas e chamadas de ferramentas são comparadas com os registros. Isso ajuda a encontrar mudanças inesperadas após alterações nas instruções, ferramentas, lógica ou modelos.
Mantenha baselines revisados e atualize-os quando uma mudança intencional alterar a trajetória esperada. Caso contrário, uma melhoria válida pode parecer uma regressão apenas por ter seguido um caminho diferente. Compare o comportamento com critérios da tarefa, não apenas com a correspondência literal a uma execução anterior.
Amplie a avaliação conforme a cobertura amadurece
Depois que os casos centrais estiverem funcionando, expanda o conjunto para incluir tarefas importantes e trajetórias alternativas que o sistema deve suportar. O agents-cli também documenta recursos para gerar cenários multi-turn, comparar resultados, agrupar falhas e otimizar prompts. Eles são mais úteis quando os casos e critérios já estão bem definidos: revise o que cada métrica realmente mede antes de usar os resultados para orientar mudanças.
The Tool Desk
Outbyte PC Repair FREEClear out junk files and repair common Windows errorsFree Scan →Outbyte Driver Updater FREEFix the driver behind crashes, sound loss and screen glitchesFind Drivers →As páginas oficiais descrevem capacidades e fluxos de trabalho, mas não garantem que um conjunto específico de testes detectará todas as falhas em produção. A cobertura depende dos cenários escolhidos, dos critérios definidos e dos traces registrados. Também não há, nas fontes oficiais consideradas aqui, um benchmark aplicável que quantifique quanto um método de avaliação melhora sistemas multiagentes.
Quando considerar observabilidade externa
A documentação oficial do ADK registra uma integração com Freeplay para observabilidade de chamadas de agentes, modelos de linguagem e ferramentas, gestão de prompts, avaliações online e offline, datasets e testes em lote no nível de prompt ou do agente de ponta a ponta. É uma opção de terceiros, não um requisito para testar com ADK. Para muitos fluxos, os testes e evalsets documentados pelo próprio ADK já fornecem a estrutura necessária para verificar resultados e trajetórias.
Quick Recap
Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.
