********************************************** ********** AND - Resumo Ratio Games ********** ********************************************** Data : 29/11/2004 Versão : 04/07/2007 Professor: Francisco Aurélio de Souza Grossi Autor : Leandro Salvador ( leandrosalvador.com.br ) * Livro - Título : The Art Of Computer Systems Performance Analysis - Autor : Raj Jain - Capítulo: 11 - Ratio Games - Páginas : 174 a 185 * Introdução - taxas permitem mascarar índices de performance com os competidores - possuem um numerador e um enumerador (base) - duas taxas com bases diferentes não são comparáveis - a técnica de usar taxas com bases incomparáveis e cobminá-las em uma única vantagem é chamada de "ratio game" - há muitas maneiras explícitas e implícitas de usar as taxas com o objetivo de vencer como num jogo * Escolhendo um Sistema de Base Apropriado - a maneira mais simples de demonstrar seu uso é apresentando a performance de dois ou mais sistemas funcionando em diversas cargas de trabalho (workloads) - mede-se a taxa de performance para cada workload e então usa a taxa média para mostrar que o sistema proposto é melhor que o do concorrente - segue um exemplo de manipulação de taxas, onde há tres modos de medir a performance de dois sistemas A e B - pegar a média da performance de cada sistema individual e então calcular a taxa - normalizar a performance de cada sistema em cada workload pela do sistema A e então calcular a média entre as taxas - normalizar a performance de cada sistema em cada workload pela do sistema B e então calcular a média entre as taxas - esse exemplo mostra que através da escolha apropriada do sistema base pode-se reverter a conclusão sobre qual dos dois sistemas é melhor * Usando uma Métrica Apropriada - outra forma de manipular a taxa é escolhendo uma métrica obtida através de uma taxa de duas diferentes métricas - por exemplo, o throughput e o tempo de resposta são medidos em duas arquiteturas de rede, onde observa-se que a rede A tem um throughput maior (numa métrica HB, quanto maior melhor), mas também tem um maior tempo de resposta (numa métrica LB, quanto menor melhor) - os projetistas da rede A sugerem que a métrica certa para comparar as redes é o poder, o qual é definido como uma taxa entre throughput e tempo de resposta - os resultados transformados levam a crer que a rede A é melhor que a rede B - tabela usando a taxa como métrica ("ratio metric") .-----------------------------------------. | Sistema | Throughput | Response | Power | | A | 10 | 2 | 5 | | B | 4 | 1 | 4 | '-----------------------------------------' * Usando Ganho de Performance Relativo - algumas vezes a métrica de performance já está especificada - nesse caso é possível mostrar que um crescimento relativo na performance é melhor usando um tipo de aumento do que outro, desde que ambos sejam tentados em máquinas diferentes * Manipulando Taxas com Percentagens - percentagens são basicamente taxas - elas permitem manipular as taxas de modo não se parecem com taxas - por exemplo, elas podem ser usadas para ter um impacto psicológico no leitor: números grandes chamam a atenção imediatamente - um ganho de performance de 1000% parece mais impressionante do que um ganho de 11 vezes - esta técnica é útil quando a performance antes do ganho ou o aumento de performance total não impressionam - ao invés de dizer que o vazão da rede aumentou de 1 pacote por segundo para 11 pacotes por segundo, é melhor dizer que a performance foi aumentada em 1000% - a base na porcentagem deveria ser o valor inicial, aquele que vem primeiro na ordem cronológica - pessoas que desejam vender um produto agressivamente, ignoram este conceito e especificam porcentagens à respeito dos valores finais * Estratégias para Vencer um Jogo de Taxas ("Ratio Game") - 1) se um sistema é melhor em todos os benchmarks, não pode-se tirar conclusões contraditórias por qualquer técnica de manipulação de taxas - conclusão contraditória significa que um sistema é o melhor com uma base e um outro é o melhor em alguma outra base - 2) até se um sistema é melhor que outro em todos os benchmarks, uma melhor performance relativa pode ser mostrada selecionando-se a base apropriada - 3) se um sistema é melhor em algum benchmark e pior em outro, conclusões contraditórias podem ser tiradas em alguns casos - 4) se a métrica de performance é do tipo LB (Lower is Better - quanto menor melhor), é melhor usar seu sistema como base - 5) se a métrica de performance é do tipo HB (Higher is Better - quanto maior melhor), é melhor usar a base do seu concorrente --> uma maior taxa média pode ser obtida do Sistema A se o Sistema B é usado como base - exemplos de métricas HB: throughput, eficiência, MIPS e MFLOPS - 6) aqueles benchmarks que apresentam-se melhor no seu sistema devem ser alongados e aqueles que apresentam-se pior devem ser diminuidos - é importante ter-se em mente que a média de uma taxa não é o modo correto de analizar-se um dado - infelizmente isto é feito tão freqüentemente que é útil saber essas regras para auto-proteção - o método correto para analizar-se dados do mesmo modo é usando técnicas para analizar projetos experimentais, que pretendem ser imparciais * Análise Correta - a principal rasão pela qual a análise de taxas resultam em resultados contraditórios é que a aproximação de extrair um significado da taxa é errada - a aproximação ignora completamente o fato de que a performance é afetada por muitos fatores tanto quanto por erros de experimento * Conclusão - a utilização de taxas pode ser feita de forma extremamente tendenciosa, manipulando completamente os resultados a fim de dar a forma desejada aos números, sem utilizar-se de qualquer inverdade, mas apenas uma literal manipulação da verdade - o consumidor deve procurar saber quais os parâmetros e critérios utilizados em uma pesquisa para saber se aqueles dados, por mais verdadeiros que sejam, não estão mostrando apenas uma verdade colorida que interessa única e exclusivamente a objetivos comerciais excusos ----------//----------