 Apple’ın yeni amiral gemisi iPhone 17 Pro, yapay zeka alanında sınırları zorlayan bir deneyle gündeme geldi. Cihaz, normalde süper bilgisayarlara özgü olduğu düşünülen devasa bir dil modelini, kendi üzerinde çalıştırmayı başardı.Bu deneyde, tam 400 milyar parametreye sahip bir yapay zeka modeli, telefonun içinde yerel olarak çalıştırıldı. Bu boyuttaki modellerin tipik olarak 200 GB’tan fazla RAM gerektirdiği düşünüldüğünde, sadece 12 GB RAM’e sahip bir akıllı telefonda bu başarının elde edilmesi, teknoloji dünyasında büyük bir sürpriz olarak karşılandı. Bu imkansız gibi görünen başarının arkasında, açık kaynaklı Flash-MoE projesi yatıyor. Sistem, dev modelin tamamını RAM’e yüklemek yerine, akıllı bir şekilde çalışma prensibi benimsiyor. İhtiyaç duyulan belirli parçalar, depolamadan anlık olarak çekiliyor ve işleniyor. Ayrıca, “Mixture of Experts” (Uzmanlar Karışımı) adı verilen bir yöntemle, modelin sadece küçük ve gerekli bir kısmı aynı anda aktif hale getiriliyor. Bu iki ileri seviye teknik bir araya gelerek, devasa yapay zeka modelinin iPhone 17 Pro’da çalışmasını mümkün kıldı]. Ancak, bu teknolojik marifetin önemli bir bedeli var: hız. Modelin üretim kapasitesi, saniyede yalnızca 0.6 token seviyesinde kalıyor. Bu performans, tek bir kelimenin oluşturulması için bile birkaç saniye beklemek anlamına geliyor ve kullanım deneyimini oldukça yavaş ve sabır gerektiren bir hale getiriyor. Üstelik, bu denli yoğun ve karmaşık işlemler, cihazın pil tüketimini de ciddi oranda artırıyor. Dolayısıyla, mevcut haliyle bu teknoloji günlük kullanım için pratik bir çözüm sunmaktan uzak görünüyor. Fakat bu gelişme, mobil teknolojinin geleceği açısından son derece önemli ipuçları barındırıyor. Büyük dil modellerinin tamamen cihaz içinde (on-device) çalıştırılabilmesi, gizlilik ve gecikme süresi gibi konularda devrim yaratma potansiyeli taşıyor. Bu deney, Apple’ın ve sektörün, yapay zekayı buluta bağımlılıktan kurtarmak için attığı cesur bir adım olarak yorumlanıyor. Sizce, bu tür dev modellerin akıllı telefonlarda pratik bir şekilde çalıştırılabilmesi için önümüzdeki en büyük engel donanım mı, yoksa yazılım ve optimizasyon mu? |
[TD width="30%"]
