Ağır serebral palsili bir kadının dilini düzeltmek için yapay zekayı kullanma

Madrid. Kaliforniya Üniversitesi, San Francisco (UCSF) ve Amerika Birleşik Devletleri’ndeki Berkeley Üniversitesi’ndeki araştırmacılar, felç nedeniyle ciddi şekilde felç olan bir kadının dijital bir avatar aracılığıyla konuşmasına olanak tanıyan bir beyin-bilgisayar arayüzü (BCI) geliştirdiler.

Araştırmacıların Nature dergisinde bildirdiğine göre, konuşma ve yüz ifadeleri beyin sinyallerinden ilk kez sentezleniyor. Sistem ayrıca bu sinyallerin kodunu dakikada yaklaşık 80 kelimelik bir hızla metne dönüştürebilir. Bu, ticari olarak mevcut teknolojiye göre önemli bir gelişmedir.

On yılı aşkın bir süredir beyin-bilgisayar arayüzü (BCI) olarak bilinen teknoloji üzerinde çalışan UCSF’de nöroşirürji profesörü Edward Chan, araştırmanın yakın gelecekte çığır açıcı gelişmelere yol açacağını umuyor. Gıda ve İlaç İdaresi tarafından onaylanan beyin sinyallerinden ses alınmasını sağlayan bir sisteme bağlanın.

UCSF’nin Weill Nörobilim Enstitüsü’nden psikiyatri araştırmacısı Gene Robertson, “Amacımız aslında başkalarıyla konuşmanın en doğal yolu olan zenginleştirilmiş bir iletişim biçimini kurtarmaktır” diyor. Seçkin bir profesör olan Chan ekledi.

Bu gelişmelerin bizi hastalar için gerçek çözümlere çok daha fazla yaklaştırdığını vurguladı.

Chang’ın ekibi daha önce, yıllar önce beyin sapında ani bir beyin dolaşımı kesintisi (felç) geçiren bir adamın metinlerindeki beyin sinyallerini deşifre edebildiklerini göstermişti. Mevcut araştırmalar daha iddialı bir şey öneriyor. Bu, beyin sinyallerinin, konuşma sırasında kişinin yüzünü canlandıran hareketlerle birlikte zengin konuşmaya dönüştürülmesidir.

Dr. Chan, kadının beyninin yüzeyine, ekibinin dil açısından önemli bulduğu bölgelere dik açılarla 253 adet kağıt inceliğinde elektrot yerleştirdi.

bilgisayar bankası

Elektrotlar, felç olmasaydı dile, çeneye, gırtlak kaslarına ve yüze gönderilecek olan beyin sinyallerini bloke etti. Başlığa monte edilmiş bir bağlantı noktasına bağlanan bir kablo, elektrotları bir bilgisayar bankasına bağladı.

Birkaç hafta boyunca katılımcılar, sistemin yapay zeka (AI) algoritmalarını konuşmadaki benzersiz beyin sinyallerini tanıyacak şekilde eğitmek için ekiple birlikte çalıştı. Bunu yapmak için, bilgisayar seslerle ilişkili beyin aktivitesi kalıplarını tanıyana kadar 1.024 kelimelik kelime dağarcığından farklı cümleleri tekrar tekrar tekrarladı.

Uzmanlar, yapay zekayı tüm kelimeleri tanıyacak şekilde eğitmek yerine, kelimeleri fonemlerden çözen sistemler oluşturdular. Bunlar, harflerin yazı dilini oluşturduğu gibi konuşma dilini de oluşturan ses alt birimleridir. Örneğin Hola dört ses birimi içerir: HH, AH ve L y OW.

Bu yöntemi kullanarak, bir bilgisayarın herhangi bir İngilizce kelimeyi çözebilmesi için yalnızca 39 ses birimini öğrenmesi yeterlidir. Bu, sistemin doğruluğunu artırdı ve hızını üç katına çıkardı.

Doğruluk, hız ve kelime bilgisi önemlidir. Bu, kullanıcıların zamanla neredeyse bizim kadar hızlı iletişim kurmasına ve daha doğal ve normal bir konuşma yapmasına olanak tanır. Metin kod çözücüyü Alex Silva ile birlikte geliştiren Shawn Metzger şunları söyledi: Her ikisi de Berkeley’deki California Üniversitesi’nde yüksek lisans öğrencisi. UCSF Biyoteknoloji İşbirliği Programı.

Sesi oluşturmak için ekip, Ann’in düğündeki konuşmasının kaydını kullanarak ve bunu Ann’in yaralanmadan önceki sesine benzeyecek şekilde ayarlayarak sesi sentezleyecek bir algoritma geliştirdi.

Ekip, yüz kaslarını simüle etmek ve hareket ettirmek için yapay zeka tabanlı yüz animasyonu üreten bir şirket olan Speech Graphics tarafından geliştirilen yazılımı kullanarak avatarları canlandırdı.

Araştırmacılar, şirketin yazılımının, bir kadının konuşmaya çalıştığında beyninin gönderdiği sinyalleri kullanmasına ve bunları bir avatarın yüz hareketlerine çevirmesine olanak tanıyan özel bir makine öğrenme süreci geliştirdi. Bu durum çenelerin açılıp kapanmasına, dudakların dışarı çıkmasına, kırışıklıkların ve dilin yukarı aşağı hareket etmesine, sevinç, üzüntü ve şaşkınlık dolu yüz hareketlerine neden olur.

Felç nedeniyle hasar gören beyin ile ses sistemi arasındaki bağlantıları yeniden sağlıyoruz. Bir denek bu sistemle ilk kez konuştuğunda ve aynı anda avatarının yüzünü hareket ettirdiğinde bunun büyük bir etki yaratacağını biliyordum. Kahire Littlejohn ve Prof. Gopala Anumanthipalli, Prof. Chan ile birlikte çalışan yüksek lisans öğrencileri şunları söyledi: Kendisi Berkeley’deki Kaliforniya Üniversitesi’nden elektrik mühendisliği ve bilgisayar bilimleri alanında lisans derecesine sahiptir.

Ekip için bir sonraki önemli adım, kullanıcıların BCI’ya fiziksel olarak bağlanmasını gerektirmeyen bir kablosuz sürüm oluşturmaktır.

David Mo, eğer bu teknoloji insanlara bilgisayarları ve telefonları üzerinde daha fazla kontrol sağlamak için kullanılırsa, bunun insanların bağımsızlığı ve sosyal etkileşimleri üzerinde derin bir etkisi olacağı sonucuna vardı.

Bir yanıt yazın