Mobil Dünya Kongresi (MWC) 2024 kapsamında Qualcomm, Snapdragon platformu üzerinde çalışan Android telefonlar için yeni üretken yapay zeka özellikleri sergiledi. Bu yapay zekalar sayesinde telefon üzerinde sesle etkinleştirilen medya düzenlemeleri, Stable Diffusion kullanarak cihaz üzerinde görüntü oluşturma ve Meta’nın Llama’sı gibi büyük dil modelleri üzerine inşa edilmiş akıllı sanal asistanları telefonlara gelecek. Qualcomm’dan Android ve Windows için yapay zeka çıkarması
Qualcomm’un hazırladığı yapay zeka özelliklerinden birisi Large Language and Vision Assistant (LLaVa) modeline dayanıyor. Bu, Google Lens ve ChatGPT’nin birleşmesiyle oluşan bir sohbet robotu gibi düşünülebilir. Dolayısıyla Qualcomm’un çözümü sadece metin girdilerini değil görsel girdileri de işleyebilerek çok modlu bir yetenek sağlamış oluyor. Qualcomm’a göre LLaVa, Android için dünyanın ilk multimodal büyük dil modeli konumunda. Firmaya göre 7 milyardan fazla parametreyi işleyebilen model, herhangi bir görüntüye dayalı olarak devam sorularına cevaplar verebiliyor. Hemen üstteki görselden bunun bir örneğine göz atabilirsiniz. Bununla birlikte ChatGPT, Gemini ve Copilot gibi çok modlu (multimodal) yapay zekalara zaten bir süredir sahibiz. Ancak onlarla Qualcomm’unki arasında önemli bir fark var.
ChatGPT ve Copilot gibi ürünler hala bulut tabanlı bir mimariye dayanırken Qualcomm ise süreci doğrudan cihaz üzerinde ilerletiyor. Yani veriler cihazınızda kalıyor ve her şey telefonunuzda gerçekleşiyor. Bu sayede hem daha tepkisel ve hızlı bir deneyim hem de daha güvenli bir süreç sağlanmış oluyor. Öte yandan Qualcomm’un sergiledi LLaVa tabanlı sanal asistanın bağımsız bir uygulama olarak mı geleceği veya ücretli olup olmayacağı şimdilik belirsiz.
Bir diğer yapay zeka duyurusu ise görüntü oluşturma ve düzenleme alanına odaklanan LoRA (Low-Rank Adaptation) uygulaması. Dall E gibilerin aksine LoRA, görüntü üretiminde farklı bir yaklaşım kullanıyor. Microsoft tarafından geliştirilen bu teknik sayesinde model daha küçük ve daha doğru hale getirilebilirken bellek gereksinimleri azaltılıyor ve süreç hızlandırılıyor. Qualcomm bir akıllı telefon için LoRA tekniğini ilk defa uyguladığını söylüyor. Qualcomm’a göre LoRA ile Stable Diffusion’ı çalıştıran kullanıcılar, kişisel veya sanatsal tercihlere göre yüksek kaliteli özel görüntüler oluşturabiliyor. Firmaya göre bu da cihaz üzerinde çalışıyor. Qualcomm ayrıca Android dışında Windows PC’ler için de önemli bir duyuru gerçekleştirdi. Firma, teknoloji demosunda, bir Windows PC’de sesli muhakeme özelliğine sahip dünyanın ilk büyük çok modlu modelini (LMM) sergiledi. Böylelikle büyük dil modellerinin artık duyabildiğini, sesi anlayabildiğini ve bu konuda muhakeme yapabildiğini söyleyebiliriz.
Qualcomm bir Windows PC’de, metin ve ses girdilerini (örn. müzik, trafik sesi vb.) kabul edebilen ve ses hakkında çok turlu konuşmalar oluşturabilen 7+ milyar parametreli bir LMM üzerinde çalışıyor. Firmaya göre Full Stack AI optimizasyonu sayesinde düşük güçle yüksek performans elde ediliyor. Bu araç da yine cihaz üzerinde çalışıyor.
Qualcomm AI Hub
Yukarıda detaylandırdığımız AI özellikleri esasında Qualcomm’un yeni dönem AI planları arasında yer alıyor. Bu planlar ise Qualcomm AI Hub paketinde toplanıyor. Qualcomm AI Hub, geliştiricilere Snapdragon ve Qualcomm platformları için 75’ten fazla optimize edilmiş AI modeli sunuyor. Yeni Qualcomm AI Hub, Snapdragon ve Qualcomm platformları tarafından desteklenen cihazlarda sorunsuz dağıtım için önceden optimize edilmiş AI modellerinden oluşan bir kütüphane içeriyor. Bu kütüphane, cihaz üzerinde gelişmiş performans, daha düşük bellek kullanımı ve daha iyi güç verimliliği için optimize edilmiş, farklı form faktörlerinde paketlenmiş Whisper, ControlNet, Stable Diffusion ve Baichuan 7B gibi 75’ten fazla popüler üretken yapay zeka bulunuyor.
Her model, Qualcomm AI Engine (NPU, CPU ve GPU) içindeki tüm çekirdeklerde donanım hızlandırmadan yararlanacak şekilde optimize edilmiş ve böylece 4 kat daha hızlı çıkarım süreleri elde edilmesi sağlanmış durumda.
Desteklenen platformlar
- Snapdragon 8 Gen 3 Mobil
- Snapdragon 8 Gen 2 Mobil
- Snapdragon 8 Gen 1 Mobil
- Snapdragon 888
- Snapdragon 865
- Snapdragon 855
- Snapdragon 845
- Snapdragon 778
- Snapdragon XR2+ Gen 2
- Snapdragon XR1+ Gen 2
- Snapdragon AR2 Gen 1
- Qualcomm Robotics RB5
