MLCommons lança novos benchmarks para aumentar o desempenho de ML

Compreender as características de desempenho de diferentes hardwares e softwares para aprendizado de máquina (ML) é fundamental para organizações que desejam otimizar suas implantações.

Uma das maneiras de entender os recursos de hardware e software para ML é usar os benchmarks da MLCommons — uma organização com várias partes interessadas que cria diferentes benchmarks de desempenho para ajudar a avançar o estado da tecnologia de ML.

O regime de testes MLCommons MLPerf tem uma série de diferentes áreas onde os benchmarks são realizados ao longo do ano. No início de julho, a MLCommons lançou benchmarks em dados de treinamento de ML e hoje está lançando seu mais recente conjunto de benchmarks MLPerf para inferência de ML. Com o treinamento, um modelo aprende com os dados, enquanto a inferência é sobre como um modelo “infere” ou fornece um resultado a partir de novos dados, como um modelo de visão computacional que usa inferência para reconhecimento de imagem.

Os benchmarks vêm da atualização MLPerf Inference v2.1, que apresenta novos modelos, incluindo SSD-ResNeXt50 para visão computacional e uma nova divisão de testes para inferência pela rede para ajudar a expandir o conjunto de testes para melhor replicar cenários do mundo real.

“A MLCommons é uma comunidade global e nosso interesse realmente é permitir o ML para todos”, disse Vijay Janapa Reddi, vice-presidente da MLCommons, durante uma coletiva de imprensa. “O que isso significa é reunir todos os players de hardware e software no ecossistema em torno do aprendizado de máquina para que possamos tentar falar a mesma linguagem.”

Ele acrescentou que falar a mesma língua é ter formas padronizadas de reivindicar e relatar métricas de desempenho de ML.

Como o MLPerf mede os benchmarks de inferência de ML

Reddi enfatizou que o benchmarking é uma atividade desafiadora na inferência de ML, pois há várias variáveis ​​diferentes que estão mudando constantemente. Ele observou que o objetivo da MLCommons é medir o desempenho de forma padronizada para ajudar a acompanhar o progresso.

A inferência abrange muitas áreas consideradas no pacote MLPerf 2.1, incluindo recomendações, reconhecimento de fala, classificação de imagens e recursos de detecção de objetos. Reddi explicou que o MLCommons extrai dados públicos e, em seguida, tem um modelo de rede ML treinado para o qual o código está disponível. O grupo então determinou um certo índice de qualidade alvo que os remetentes de diferentes plataformas de sistemas de hardware precisam atender.

“Em última análise, nosso objetivo aqui é garantir que as coisas melhorem, então, se pudermos medi-las, podemos melhorá-las”, disse ele.

Resultados? MLPerf Inference tem milhares

O benchmark do pacote MLPerf Inference 2.1 não é uma lista para os fracos de coração ou para aqueles que têm medo de números – muitos e muitos números.

No total, o novo benchmark gerou mais de 5.300 resultados, fornecidos por uma longa lista de remetentes, incluindo Alibaba, Asustek, Azure, Biren, Dell, Fujitsu, Gigabyte, H3C, HPE, Inspur, Intel, Krai, Lenovo, Moffett, Nettrix, NeuralMagic, Nvidia, OctoML, Qualcomm, Sapeon e Supermicro.

“É muito emocionante ver que temos mais de 5.300 resultados de desempenho, além de mais de 2.400 resultados de medição de potência”, disse Reddi. “Portanto, há uma riqueza de dados para analisar.”

O volume de dados é enorme e inclui sistemas que estão chegando ao mercado. Por exemplo, entre os muitos envios da Nvidia estão vários para o acelerador H100 da próxima geração da empresa que foi anunciado pela primeira vez em março.

“O H100 está oferecendo acelerações fenomenais em relação às gerações anteriores e a outros concorrentes”, comentou Dave Salvator, diretor de marketing de produtos da Nvidia, durante uma coletiva de imprensa que a Nvidia organizou.

Embora Salvator esteja confiante no desempenho da Nvidia, ele observou que, de sua perspectiva, também é bom ver novos concorrentes aparecerem nos últimos benchmarks MLPerf Inference 2.1. Entre esses novos concorrentes está o fornecedor chinês de aceleradores de inteligência artificial (IA) Biren Technology. Salvator observou que Biren trouxe um novo acelerador que, segundo ele, fez uma primeira exibição “decente” nos benchmarks MLPerf Inference.

“Com isso dito, você pode ver o H100 superá-los (Biren) com folga e o H100 estará no mercado aqui muito em breve antes do final deste ano”, disse Salvator.

Esqueça o hype da IA, as empresas devem se concentrar no que é importante para elas

Os números de inferência MLPerf, embora detalhados e potencialmente esmagadores, também têm um significado real que pode ajudar a reduzir o hype da IA, de acordo com Jordan Plawner, diretor sênior de produtos de IA da Intel.

“Acho que provavelmente todos podemos concordar que tem havido muito hype na IA”, comentou Plawner durante a coletiva de imprensa da MLCommons. “Acho que minha experiência é que os clientes são muito cautelosos com o PowerPoint em reivindicações ou reivindicações baseadas em um modelo.”

Plawner observou que alguns modelos são ótimos para determinados casos de uso, mas nem todos os casos de uso. Ele disse que o MLPerf ajuda ele e a Intel a se comunicarem com os clientes de maneira confiável com uma estrutura comum que analisa vários modelos. Embora tentar traduzir problemas do mundo real em benchmarks seja um exercício imperfeito, o MLPerf tem muito valor.

“Este é o melhor esforço da indústria para dizer aqui [is] um conjunto objetivo de medidas para pelo menos dizer – é a empresa XYZ credível”, disse Plawner.