MLPerf Inference yapay zekâ benchmark testi için ilk sonuçlar gelmeye başladı

Günümüzde yapay zekâ algoritmaları artık her alana girmiş durumda. Üreticiler daha iyi yapay zekâ algoritmaları geliştirmek için yatırımlarını sürekli arttırıyor. Bununla birlikte algoritmaların performansını ölçmek için genel geçer bir benchmark testi bulunmuyor. MLPerf bunun için kuruldu.

MLPerf Inference neler sunuyor?

MLPerf grubu Nvidia, Google, Intel, Baidu gibi yapay zekâ alanında çalışmalar yapan pek çok firmadan oluşuyor. Bu bakımdan sektörde yakın gelecekte genle kabul gören yapay zekâ benchmark testleri ortaya çıkacak.

Grup hali hazırda MLPerf Inference adında bir test platformu geliştiriyor. Algoritmaların öğrendiği verileri uygulayabilme anlamına gelen Inference tarafına odaklanan MLPerf Inference, 0.5 sürümüne yükselmiş durumda. Halen kararlı değil ancak üye firmaların ilk test sonuçları gelmeye başladı.

Ayrıca Bkz.WhatsApp üzerinden direkt olarak alışveriş yapmak artık mümkün

MLPerf Inference 0.5 ilk olarak Haziran ayında kullanıma sunulmuş ve üyelerin katılım sağlaması istenmişti. Test düşük güçteki yapay zekâ motorlarından üst seviye uygulama hızlandırıcılara kadar hemen tüm kategorileri kapsıyor.

Benchmark paketinde 5 farklı kategori yer alıyor. ResNet50 testi görsellerin sınıflandırılmasını test ediyor. Bunun bir de taşınabilir sistemler için versiyonu var. SSD-ResNet34 ise nesne algılama konusunu test ediyor ve bir mobil versiyonu mevcut. GNMT testi ise makine çeviri görevlerini kapsıyor. Her kategoride tek bir kaynak ile çalışan bir istemci, çok kaynakla çalışan bir istemci, sunucu ve gerçek zamanlı olmayan sunucu şeklinde 4 farklı senaryo uygulanıyor.

MLPerf Inference testlerini bulut bilişim, yonga seti tasarımcıları, yazılım geliştiricileri gibi kategorilerden 14 farklı organizasyon, 30 farklı sistemde test etmiş. Alibaba HanGuang 800, Nvidia yongaları hatta Raspberry Pi 4 sistemleri bile mevcut. Toplamda 600 sonuç sisteme yüklenmiş.

Testlerde net bir ölçümleme olmadığı için şimdilik karşılaştırma yapılmıyor ancak en azından endüstride göreceği desteği ölçmek adına önemli. Örneğin Nvidia Tesla hızlandırıcıları testlerde zirvede. Snapdragon 855 yonga seti, Google Tensor işlem birimi, Alibaba HanGuang 800 yine testlerde önemli sonuçlar almış.

MLPerf Inference deneme yaptıkça zaman içerisinde kendisini geliştirecek ve mükemmel sürümüne ulaşacak. Daha iyi değerlendirmeler için kategorilerin ve senaryoların arttırılması planlanıyor. Ayrıca bir mobil uygulama da kullanıma sunulacak.