Cihaz üzerinde çıkarım ne anlama geliyor?
Cihaz üzerinde yapay zekâ, eğitilmiş bir modelin kullanıcı isteğini uzak bir sunucuya göndermek yerine telefon veya bilgisayarda işlemesi anlamına geliyor. Metin özetleme, ses işleme ve görüntü sınıflandırma gibi görevler, uygun model ve donanımla yerel olarak yürütülebiliyor.
Gizlilik ve gecikme avantajı
Yerel işleme, ilgili görevde verinin cihaz dışına gönderilmesi ihtiyacını azaltabilir ve ağ bağlantısına bağlı gecikmeyi ortadan kaldırabilir. Ancak uygulamanın diğer servisleri veri toplamaya devam edebilir; cihaz üzerinde çalışma tek başına eksiksiz bir gizlilik garantisi değildir.
Küçük modellerin sınırları
Bellek kapasitesi, pil tüketimi ve ısınma, yerel modellerin performansını belirler. Daha küçük veya nicemlenmiş modeller kaynak ihtiyacını azaltırken bazı görevlerde kalite kaybı yaşayabilir. Büyük bağlamlar ve karmaşık işler için bulut desteği hâlâ gerekli olabilir.
Geliştiriciler nereden başlamalı?
Önce dar kapsamlı bir görev seçin ve gerçek cihazlarda doğruluk, gecikme ve enerji tüketimini ölçün. Model indirme boyutunu, çevrimdışı kullanımını ve desteklenmeyen cihazlar için alternatif akışı da ürün tasarımına dahil edin.
Teknik kaynak: Google AI Edge
Tüm yazılara dön →