Muhtemelen şimdiye kadar YouTube’un podcast yayıncılığını yediğini duymuşsunuzdur; yapılan araştırmalar, Alphabet’in sahip olduğu video platformunun, podcast yayıncılığının ses öncelikli bir format olarak tarihsel kimliğine rağmen, Spotify ve Apple Podcasts’in önünde, her yerdeki podcast tüketicileri için tercih edilen dağıtım noktası olduğunu gösteriyor. Bu iddialara biraz şüpheyle bakma eğilimindeyim, çünkü bu eğilim bana her zaman YouTube’un mecranın izleyici payını “kazanmasından” ziyade mecrayı kendi şartlarına göre yeniden tanımlamasıyla ilgili gibi geliyor.

Tabii ki vicdan azabımın bir önemi yok. Gerçek şu ki, bildiğimiz podcast ekosistemi platformun gölgesi altında yaşamaya adapte oldu, bu ister onun mantığına uymak isterse de şebeke dışında ayakta kalmanın ve gelişmenin yollarını bulmak anlamına gelsin. Dolayısıyla YouTube’un içine aldığı topluluk ve ekosistemi nasıl gördüğü sorusu büyük önem taşıyor ve bu da bizi bu haftaki köşe yazımıza getiriyor.

Bugün YouTube yeni bir kilometre taşına ulaştığını duyurdu: Platform, “YouTube’da podcast içeriğinin aylık 1 milyardan fazla aktif izleyicisi olduğunu” söylüyor. Bu tam olarak ne anlama geliyor? Ben de bunu öğrenmek istiyordum ve bana bu konuda bilgi verebilecek bir YouTube yöneticisiyle konuşma fırsatı buldum: Tim Katz, farklı sektörlerdeki (haber, yurttaşlık, sağlık, eğitim, çocuk içerikleri) ortaklıkları denetleyen bir başkan yardımcısı ve şimdi podcast’ler de buna dahil.

Bana bu konunun geçmişini anlatın. YouTube podcast’leri bilinçli olarak platforma entegre etmeye ne zaman başladı?

Yaklaşık dört yıl önce. Platformda şöyle bir trendin ortaya çıktığını gördük: “Vay be, pek çok insan podcast dinlemek için YouTube’a geliyor ve pek çok podcast yayıncısı içeriklerini YouTube’a koymaya başlıyor, ancak podcast kullanıcılarını veya podcast yayıncılarını desteklemek için tek bir şey bile yapmadık. Muhtemelen buraya eğilmeliyiz.”

Bu organik bir konuşmaydı. Podcast yayıncıları, özellikle de video podcast yayıncıları, gerçekten büyük kitlelerin ilgisini çekmeye başlamıştı ve bu, YouTube’da oturma odası tüketiminin yaygınlaşmaya başladığını görmeye başlamamızla aynı zamana denk geliyordu. Bu da özellikle uzun süreli podcast yayıncıları için büyük bir faktördü. İlk başta bu biraz garipti çünkü podcast yayıncılığı ses yayıncılığıydı ve YouTube’un büyük bir kısmı videodan oluşuyordu, ancak kullanıcıların video podcast’lerle giderek daha fazla rezonansa girdiğini görmeye başladığımızda, “Tamam, bunu benimsememiz çok mantıklı” dedik. İşte o zaman, popüler podcast’leri platform dışından YouTube’a getirmeye çalışmak için uygun bir ortaklık ekibi kurmaya başladık. Teknoloji tarafında, harika kullanıcı ve podcaster deneyimleri oluşturmaya başladık – insanların içeriklerini YouTube’a taşımalarını ve YouTube’da para kazanmalarını kolaylaştırdık.

Ve kullanıcıların bunları keşfetmesine yardımcı olmak.  Şahsen ben dört yıl önce yeni bir podcast keşfettiğimde bunu ya bir arkadaşımdan duymuştum ya da bir yerde ilk on listesinde görmüştüm. YouTube’u gerçekten sihirli kılan şeylerden biri de her zaman doğru videoyu doğru zamanda doğru kullanıcının önüne getirmeye çalışmamız. Böylece bu gerçek bir farklılaştırıcı haline geldi: Tıpkı YouTube’un geri kalanında olduğu gibi, belki de başka türlü bulamayacağınız ilginç, alakalı podcast’leri keşfedebileceksiniz.

Bana platformda ilgi gördüğünü fark ettiğiniz ilk podcast’lerden bahsedin. Herhangi bir örnek var mı?

Joe Rogan, Spotify anlaşmasından önce, harika bir örnek olarak bariz bir örnektir. Ayrıca diğer tanınmış kişilerin de YouTube’u platformda dağıtımı ve kullanımı kolay bir format olarak benimsediğini ve ona yöneldiğini giderek daha fazla görmeye başladık. Elbette siyasi alanda da.

“Kamuya mal olmuş kişiler” derken, yeni FBI başkan yardımcımız Dan Bongino ve benzeri kişileri mi kastediyorsunuz?

Dan bunun için en iyi örnek olur mu bilmiyorum ama her iki taraftan da yaratıcıların seslerini duyurmak ve dağıtmak için podcast yayıncılığını bir mekanizma olarak benimsediklerini gördük.

Buradaki haberlerden bahsedelim: “Platformdaki podcast içeriğinin aylık 1 milyar aktif izleyicisi.” YouTube bu bağlamda “aylık aktif izleyici” tanımını nasıl yapıyor?

Belirli bir ay içinde YouTube’da bir podcast tüketen kişi.

Anladım. Peki YouTube “podcast içeriğini” nasıl tanımlıyor? Hot Ones gibi bir şeyin podcast olarak kodlanmayacağını varsayıyorum.

Evet, sanırım neyin podcast olabileceği ile neyin YouTube’da sadece bir şov olabileceği arasında bulanık bir çizgi var.  Bizim bu konudaki düşüncemiz “dinlenebilir içerik”; yani isteğe bağlı video içeriği.

Bugünlerde neyin podcast olup neyin olmadığına dair bir tartışma var, özellikle de YouTube artık kategoriyi çok güçlü bir şekilde tanımladığından beri. Bu kavramın platformda kültürel olarak nasıl şekillendiğini anlamaya çalışıyorum ve “podcast ”i neyin oluşturduğuna içerik oluşturucu tarafından karar veriliyor gibi görünüyor.

Evet, ve bence “geleneksel podcast” olarak düşünülen şeyi tanımlayan çizgiler (sadece ses, RSS beslemeleri) kesinlikle gelişti ve video bunun merkez üssü gibi bir şey.

[Katz’ın ekibi daha sonra tanımla ilgili daha fazla bilgi verdi: “Genel olarak, yükleme sürecinde bize içeriklerinin bir ‘podcast’ olup olmadığını söyleyen bireysel içerik oluşturucuların liderliğini takip ediyoruz. Bununla birlikte, podcast’ler de genellikle epizodik olan ve bir oynatma listesi içinde düzenlenen isteğe bağlı içerik olarak kabul edilir.”]

YouTube’da zaten iyi çalışan formatlara uymayan podcast’leri desteklemek için bir plan var mı? Yalnızca sesli programlar, yüksek oranda düzenlenmiş anlatı programları veya doğal olarak anahtar kelimeyle aranabilirliğe veya görsel bir küçük resme uygun olmayan programları düşünüyorum?

Kısa cevap evet.  Yalnızca ses yayını yapan birçok podcast yayıncısıyla çalışıyoruz ve onlara tonlarca destek veriyoruz. Bu içerik hem ana uygulamamızda hem de YouTube Music uygulamasında dağıtılıyor. Ayrıca, zaman içinde giderek artan bir şekilde, tarihsel olarak yalnızca sesli olan kişilerin de video içeriği oluşturmaya başladığını gördüğümüzü söyleyeceğim. Somut bir örnek olarak, platform dışında büyük bir izleyici kitlesine sahip olan ve her zaman yalnızca sesli bir program olan The Daily gibi bir program verilebilir…

Şimdi de Michael Barbaro kamera karşısında yuvarlak masa toplantıları yapıyor.

Aynen öyle. Bu, videoya evrimi nasıl görmeye başladığımıza dair iyi bir örnek ve şu anda her zaman video yapan birçok başka podcast var. Yani diyebilirim ki, evet, her ikisini de destekliyoruz, ancak en iyi uygulama ve video ile yankı bulduğunu gördüğümüz şey açısından, podcast yayıncıları platformda en hızlı çekişi görüyor.

YouTube ile ilgili tarihsel literatürde nispeten yeniyim ve hala daha geniş dinamikleri anlamaya çalışıyorum, ancak platformda bir orta sınıf içerik oluşturucunun var olabileceği fikrini destekleyen hangi verilere sahipsiniz?

Bunun genel olarak içerik oluşturucu ekosisteminden farklı olmadığını düşünüyorum.  YouTube’da gerçekten sevdiğim şeylerden biri – ve platformun geri kalanını taklit eden podcasting’de de aynı eğilimleri görüyoruz – evet, platformda harika işler çıkaran çok büyük podcast’ler var ve onları desteklemeye devam etmek istiyoruz, ancak bugün YouTube’da para kazanan ve YouTube’da sürdürülebilir işletmelere sahip olan milyonlarca içerik oluşturucumuz var.

Podcasting için de aynı şey geçerli. YouTube podcast ekosisteminde bu şekilde büyük bir fark yaratabilir: Podcast yayıncılarının başını, gövdesini ve kuyruğunu destekleyebilir ve insanların ilk on listesinde yer alan az sayıda podcast yerine platformda doğru kitleyi bulmalarına yardımcı olabiliriz.

Bana ortaklıklara nasıl yaklaştığınızdan bahsedin. Kimlerin peşinden gidiyorsunuz, öncelikleriniz neler ve hedefiniz nedir?

Sadece podcast yayıncılığında değil, tüm ortaklıklarımızı düşündüğümde, aslında platforma eğilen içerik oluşturucularla çalışmak ve YouTube’da daha başarılı olmalarının yollarını bulmakla ilgili olduğunu görüyorum. İki grup insanımız var. Birincisi, başka formatlarda içerik üreten içerik oluşturucular: Kısa filmler hazırlayabilirler; YouTube’da normal VOD’lar hazırlayabilirler; canlı yayınlar yapabilirler vs. Giderek artan bir şekilde “Hey, aslında yeni olmayan, ancak YouTube için nispeten yeni olan podcasting adında harika bir format var” diyoruz ve ardından YouTube içerik oluşturucularının podcast yayıncılarına dönüştüğünü görüyoruz. Bu daha kolay, daha anlaşılır bir adım.

İkincisi, YouTube’da olmayan popüler podcast’lere sahip kişiler ve biz onların katılmasını sağlamaya çalışıyoruz. Birkaç yıl önce podcast yayıncılarının çoğu YouTube’da yoktu, şimdi ise ABD’deki en iyi podcast’lere bakarsanız neredeyse hepsinin YouTube’da olduğunu görürsünüz. Burada birkaç şey söz konusu. Birincisi, daha genç ve farklılaşmış kitlelere ulaşabilmeleri. İkincisi, erişimle ilgili olan keşfedilebilirlikle ilgili. Üçüncüsü ise YouTube İş Ortağı Programımız aracılığıyla para kazanma. Platform genelinde para kazanmayı ölçeklendirmiş olmamız, insanların YouTube’a gelmesi ve platformda gerçek gelir elde etmesi için oldukça zorlayıcı. Sonuncusu ise veri ve analitik. Sınıfının en iyisi verilere sahip olduğumuzu ve insanların içeriklerini saniye saniye analiz ederek nasıl değiştireceklerine veya değiştirebileceklerine karar verebildiklerini düşünmek istiyoruz.

 Merak ediyorum: YouTube’daki podcast tüketicilerinin yüzde kaçının videoyu arka planda açık bırakanların aksine gerçekten izlediğine dair bir fikriniz var mı?

Şu anda paylaşmaya hazır olduğumuz belirli bir rakam var mı bilmiyorum ama oldukça yüksek.  Bence birileri podcast sunucusunu veya içeriği gerçekten gördüğünde bir topluluk unsuru oluşuyor – izlediklerinde daha ilgi çekici bir şey oluyor. Podcast yayıncısıyla, yalnızca sesten elde edebileceğinizin ötesine geçen benzersiz bir şekilde bir bağ hissediyorlar. Yani kısa cevap evet. Bu eğilimin var olmasının nedeni, kullanıcıların bundan çok fazla değer elde etmesidir. Anlamlı bir şey.

Bunu söylemeniz ilginç, çünkü podcast’in ana kullanım alanlarından biri, araba kullanmak veya evi temizlemek gibi başka bir şey yaparken onu nasıl tükettiğinizdir.

Kesinlikle. Bugün araba kullanırken YouTube Music uygulamasında bir podcast dinliyordum.

Genel olarak, YouTube’un podcasting ile ilgili en büyük yanılgısı nedir sizce?

Oh, bu ilginç. Yanılgılardan biri, YouTube’da sesli podcast yayıncılarının olmasıyla ilgili sorduğunuz sorulara değinmek gerekirse, bunun yalnızca videolara yönelik bir deneyim olduğu. Kesinlikle, müzik uygulamasında gördüğümüz tüketimin tamamı ses.

Bir diğeri… Bu bir yanılgıdan ziyade dikkat çekmeye değer bir şey. Gördüğümüz bir şey de, içeriğinizi diğer dillere çevirebileceğiniz çok dilli ses aracına sahip olmamız. Sanırım giderek daha fazla görmeye başladığımız şey, podcast yayıncılarının ve daha geniş anlamda içerik oluşturucuların, alışkın oldukları pazarın, ülkenin ve dilin dışında da izleyiciler bulmaları. Yani Brezilyalı bir podcaster’ın Portekizce bir video oluşturduğunu ve daha sonra bunu diğer dillere çevirmelerine yardımcı olmak için araçlarımızı kullandığını görebilirsiniz, şimdi İngilizce bir kitlenin bunu tükettiğini görebilirsiniz. Bu, podcast yayıncılarının potansiyel adreslenebilir pazarınız olarak düşündüğünüz kitlenin dışındaki kitleleri bulmalarına yardımcı olmak için gerçekten güçlü bir araç olabilir.

Bu soruyu soruyorum çünkü YouTube’un podcast yayıncılığına girişiyle ilgili varsayımım, bunun kısmen Spotify’ın video yayıncılığına girişine bir yanıt olduğu yönünde. Bu konuda ne söyleyebilirsiniz?

Kullanıcılarımız için içerik oluşturuyoruz. Bahsettiğim başlangıç hikayesine geri dönecek olursak, bunun nedeni platformumuzda bu trendi görmemizdi.  Kullanıcılarımıza ve içerik üreticilerimize mümkün olan en iyi şekilde hizmet etmek için en iyi şeyi yapmak istiyoruz. Diğer platformların ne yaptığını düşünmüyoruz.

Rakiplerinizi hiç düşünmüyor musunuz?

Hiç düşünmüyorum diyemem. Ancak kendi işimizi yapmaya çalışıyoruz ve bunu kullanıcılarımız ve içerik oluşturucularımız için doğru olanı yapmaya çalışıyoruz.  Elbette sektörde neler olup bittiğine dikkat ediyoruz ve diğer insanların müşterilere ve kullanıcılara gerçekten iyi hizmet eden şeyler yaptığını düşünürsek, biz de kendi insanlarımızı desteklemek isteriz. Yani rekabeti tamamen görmezden geldiğimizi söyleyemem.

Son soru: Ne dinlersiniz?

Büyük bir spor hayranıyım, çünkü on yılı aşkın bir süre burada spor ortaklıklarından sorumlu başkan yardımcılığı yaptım. Bugün işe gelirken Travis & Jason Kelce ile New Heights‘ı dinliyordum.

Şimdi kısa bir ara veriyorum.

Mesele şu: Arabayla gelirken günlük olarak dinlediğim şeyleri değiştiriyorum, bu yüzden elimdeki tüm podcast’lerden oluşan birikimim üzerinde çalışıyorum. Jason’ın bu çatışmayı yaşadığı, Eagles için çok uzun süre oynadığı ve tabii ki Travis’in Super Bowl’da olduğu bir yıl olması – hepsi çok zorlayıcı bir dinleme sağladı. Shannon Sharpe’ın podcast’ini dinliyorum. Bir sürü siyasi haber podcast’i dinliyorum. Bir sürü iş podcast’i dinliyorum. Yenilerini bulmak eğlenceli. YouTube’un sevdiğim yanı da bu: Her hafta bana yeni veya farklı içerikler öneriliyor.

Kaynak: Vulture

OpenAI, geçen yıl Mart ayında sadece 15 saniyelik bir konuşma ile bir kişinin sesini klonlayabileceğini iddia ettiği Voice Engine adlı yapay zeka hizmetinin “küçük ölçekli bir önizlemesini” duyurdu. Yaklaşık bir yıl sonra, araç önizleme aşamasında kalmaya devam ediyor ve OpenAI ne zaman piyasaya sürülebileceğine ya da hiç piyasaya sürülüp sürülmeyeceğine dair hiçbir belirti vermedi.

Şirketin hizmeti yaygınlaştırma konusundaki isteksizliği, kötüye kullanım korkusuna işaret ediyor olabilir, ancak aynı zamanda düzenleyici incelemeyi davet etmekten kaçınma çabasını da yansıtabilir. OpenAI geçmişte güvenlik pahasına “parlak ürünlere” öncelik vermekle ve rakip firmaları pazara sürmek için acele etmekle suçlanmıştı.

Bir OpenAI sözcüsü yaptığı açıklamada, şirketin Voice Engine’i sınırlı sayıda “güvenilir ortak” ile test etmeye devam ettiğini söyledi.

Sözcü, “[Ortaklarımızın] teknolojiyi nasıl kullandıklarını öğreniyoruz, böylece modelin kullanışlılığını ve güvenliğini geliştirebiliriz” dedi. “Konuşma terapisinden dil öğrenimine, müşteri desteğine, video oyunu karakterlerine ve yapay zeka avatarlarına kadar farklı kullanım şekillerini görmek bizi heyecanlandırdı.”

Geri itildi

OpenAI’nin metinden konuşmaya API’sinde ve ChatGPT’nin Ses Modunda bulunan seslere güç veren Voice Engine, orijinal konuşmacıya çok benzeyen doğal sesli konuşma üretir. Araç, yazılı karakterleri konuşmaya dönüştürüyor ve yalnızca içerikle ilgili belirli korkuluklarla sınırlı. Ancak en başından beri gecikmelere ve değişen sürüm pencerelerine maruz kaldı.

OpenAI’nin Haziran 2024 tarihli bir blog yazısında açıkladığı gibi, Ses Motoru modeli, farklı sesleri, aksanları ve konuşma tarzlarını dikkate alarak, bir konuşmacının belirli bir metin transkripti için çıkaracağı en olası sesleri tahmin etmeyi öğreniyor. Bundan sonra, model yalnızca metnin sözlü versiyonlarını değil, aynı zamanda farklı konuşmacı türlerinin metni yüksek sesle nasıl okuyacağını yansıtan “sözlü ifadeler” de üretebilir.

TechCrunch tarafından görülen taslak bir blog yazısına göre OpenAI başlangıçta Özel Sesler olarak adlandırılan Ses Motorunu 7 Mart 2024’te API’sine getirmeyi amaçlıyordu. Plan, “sosyal fayda” sağlayan veya teknolojinin “yenilikçi ve sorumlu” kullanımlarını gösteren uygulamalar geliştiren geliştiricilere öncelik verilerek, daha geniş bir çıkıştan önce 100’e kadar “güvenilir geliştirici” grubuna erişim sağlamaktı. OpenAI bu teknolojiyi markalaştırmış ve fiyatlandırmıştı bile: “standart” sesler için milyon karakter başına 15 dolar ve “HD kalitesinde” sesler için milyon karakter başına 30 dolar.

Ardından, on birinci saatte şirket duyuruyu erteledi. OpenAI, Voice Engine’i birkaç hafta sonra herhangi bir kayıt seçeneği olmadan tanıttı. OpenAI, araca erişimin şirketin 2023’ün sonlarında birlikte çalışmaya başladığı yaklaşık 10 geliştiriciden oluşan bir kohortla sınırlı kalacağını söyledi.

OpenAI, Voice Engine’in Mart 2024 sonundaki duyuru blog yazısında “Sentetik seslerin sorumlu bir şekilde konuşlandırılması ve toplumun bu yeni yeteneklere nasıl uyum sağlayabileceği konusunda bir diyalog başlatmayı umuyoruz” diye yazdı. “Bu konuşmalara ve küçük ölçekli testlerin sonuçlarına dayanarak, bu teknolojinin geniş ölçekte kullanılıp kullanılmayacağı ve nasıl kullanılacağı konusunda daha bilinçli bir karar vereceğiz.”

Uzun süredir üzerinde çalışılıyor

OpenAI’ye göre Voice Engine 2022’den beri üzerinde çalışılan bir araç. Şirket, aracın potansiyelini ve risklerini göstermek için 2023 yazında “en üst düzeydeki küresel politika yapıcılara” demo yaptığını iddia ediyor.

Bugün aralarında engelli insanların daha doğal iletişim kurmasını sağlayan cihazlar geliştiren Livox’un da bulunduğu çok sayıda iş ortağı Voice Engine’e erişebiliyor. Livox’un CEO’su Carlos Pereira TechCrunch’a verdiği demeçte, aracın çevrimiçi olması gerekliliği nedeniyle (Livox’un müşterilerinin çoğunun interneti yok) Voice Engine’i bir ürün haline getiremediklerini, ancak teknolojiyi “gerçekten etkileyici” bulduğunu söyledi.

Pereira TechCrunch’a e-posta yoluyla yaptığı açıklamada, “Sesin kalitesi ve seslerin farklı dillerde konuşması imkanı benzersiz – özellikle de müşterilerimiz olan engelli insanlar için” dedi. “Gerçekten de gördüğüm en etkileyici ve kullanımı kolay ses oluşturma [aracı] […] OpenAI’nin yakında çevrimdışı bir sürüm geliştirmesini umuyoruz.”

Pereira, OpenAI’den olası bir Voice Engine lansmanı konusunda rehberlik almadığını ve şirketin hizmet için ücret almaya başlamayı planladığına dair herhangi bir işaret görmediğini söylüyor. Livox şimdiye kadar kullanımı için ödeme yapmak zorunda kalmadı.

Yukarıda bahsedilen Haziran 2024 tarihli gönderide OpenAI, Voice Engine’i geciktirirken göz önünde bulundurduğu hususlardan birinin geçen yılki ABD seçim döngüsü sırasında kötüye kullanım potansiyeli olduğunu ima etti. Paydaşlarla yapılan görüşmeler sonucunda Voice Engine, üretilen sesin kaynağını izlemek için filigran da dahil olmak üzere çeşitli hafifletici güvenlik önlemlerine sahiptir.

OpenAI’ye göre, geliştiriciler Voice Engine’i kullanmadan önce orijinal konuşmacıdan “açık onay” almalı ve izleyicilerine seslerin yapay zeka tarafından üretildiğine dair “açık açıklamalar” yapmalıdır. Ancak şirket bu politikaları nasıl uygulayacağını açıklamadı. OpenAI’nin kaynaklarına sahip bir şirket için bile bunu geniş ölçekte yapmak son derece zor olabilir.

OpenAI blog yazılarında ayrıca hoparlörleri doğrulamak için bir “ses kimlik doğrulama deneyimi” ve tanınmış kişilere çok benzeyen seslerin oluşturulmasını engelleyen bir “gidilmeyecekler” listesi oluşturmayı umduğunu ima etti. Her ikisi de teknolojik açıdan iddialı projeler ve bunları yanlış yapmak, sık sık güvenlik girişimlerini bir kenara bırakmakla suçlanan bir şirkete kötü yansıyacaktır.

Etkili filtreleme ve kimlik doğrulama, sorumlu ses klonlama teknolojisi sürümleri için hızla temel gereksinimler haline geliyor. Bir kaynağa göre yapay zeka ses klonlama, 2024’ün en hızlı büyüyen üçüncü dolandırıcılığı oldu. Gizlilik ve telif hakkı yasaları ayak uydurmakta zorlanırken, dolandırıcılık ve banka güvenlik kontrollerinin atlanmasına yol açtı. Kötü niyetli aktörler, ünlülerin ve politikacıların kışkırtıcı deepfake’lerini yaratmak için ses klonlamayı kullandı ve bu deepfake’ler sosyal medyada orman yangını gibi yayıldı.

OpenAI Voice Engine’i önümüzdeki hafta yayınlayabilir ya da hiç yayınlamayabilir. Şirket defalarca bu hizmetin kapsamını küçük tutmayı düşündüğünü söyledi. Ancak net olan bir şey var: Optik nedenlerden, güvenlik nedenlerinden ya da her ikisinden dolayı, Voice Engine’in sınırlı önizlemesi OpenAI’nin tarihindeki en uzun önizlemelerden biri haline geldi.

Kaynak: TechCrunch

Kaliforniya merkezli bir startup olan Sesame AI, konuşma çıktısına kasıtlı olarak kusurları dahil ederek sesli yapay zekaya alışılmadık bir yaklaşım getiriyor. Yeni modelleri, daha otantik diyaloglara ve yapay zeka sistemlerinde “ses varlığı” olarak adlandırdıkları şeye doğru erken bir adımı temsil ediyor.

İlk testlere göre, Sesame’ın en etkileyici özellikleri, konuşmalar sırasında mikro duraklamalar, vurgu değişimleri ve kahkahalar gibi ince unsurlar. Bir etkileşimde, Sesame’in avatarı Maya, bir kullanıcının ani kıkırdamasına gerçek zamanlı olarak yanıt vererek duygusal farkındalık gösterdi.

Sistem, cümle ortasında kendi kendini düzeltme, kesintiler için özür dileme ve dolgu sözcükleri gibi insan benzeri davranışları kasıtlı olarak içeriyor. Techradar bu kasıtlı kusurları özellikle övdü ve ChatGPT veya Gemini’nin cilalı kurumsal tonundan ne kadar farklı olduklarına dikkat çekti.

İş stresi veya parti planlaması hakkındaki tartışmalar gibi simüle edilmiş senaryolarda, sistem genel ifadelere geri dönmek yerine bağlama uygun yanıtlar ve sorular sağladı.

Sesame AI semantik ve akustik belirteçleri kullanıyor

Henüz resmi bir makale yayınlanmamış olsa da, Sesame’in blog yazısı mimarileri hakkında fikir veriyor. CSM, temel işleme için bir omurga transformatörünü (1-8 milyar parametre) ses üretimi için daha küçük bir kod çözücü (100-300 milyon parametre) ile birleştiren iki parçalı bir transformatör yapısı kullanıyor.

Sistem, perde ve vurgu gibi ses özellikleri için akustik belirteçlerin yanı sıra dilsel özellikler ve fonetik için semantik belirteçler kullanarak konuşmayı işliyor. Eğitimi optimize etmek için, ses kod çözücü ses karelerinin yalnızca on altıda biri üzerinde eğitilirken, anlamsal işleme tüm veri kümesini kullanıyor.

Model, beş dönem boyunca bir milyon saatlik İngilizce ses verisi üzerinde eğitildi. Uçtan uca bir mimaride 2.048 jetona kadar (yaklaşık iki dakikalık ses) dizileri işleyebiliyor. Bu yaklaşım, metin ve sesi entegre bir şekilde işlemesiyle geleneksel metinden sese sistemlerinden ayrılıyor.

Blog yazısında doğrudan belirtilmese de demo ses, Google’ın açık kaynaklı LLM Gemma’sının 27 milyar parametreli bir versiyonunu kullandığını ortaya koyuyor.

Testler insana yakın performans ortaya koyuyor

Sesame ile yapılan kör testlerde, katılımcılar kısa konuşma parçacıkları sırasında CSM ile gerçek insanlar arasında ayrım yapamadı. Bununla birlikte, daha uzun diyaloglar, zaman zaman doğal olmayan duraklamalar ve ses artefaktları gibi sınırlamaları ortaya çıkardı.

Sesame, model performansını ölçmek için özel fonetik kıyaslamalar geliştirdi. Dinleme testlerinde, katılımcılar üretilen konuşmayı bağlam olmadan duyduklarında gerçek kayıtlara eşdeğer olarak değerlendirdiler, ancak bağlam sağlandığında orijinali tercih etmeye devam ettiler.

Deneklerin yapay zeka tarafından üretilen konuşma tercihi neredeyse insani seviyelere ulaşıyor. | Resim: Sesame AI

Gelecekteki gelişmeler ve açık kaynak planları

Sesame, araştırmalarının temel bileşenlerini Apache 2.0 lisansı altında açık kaynak olarak yayınlamayı planlıyor. Önümüzdeki aylarda, hem model boyutunu hem de eğitim kapsamını büyütmeyi ve 20’den fazla dile genişletmeyi planlıyorlar.

Şirket özellikle önceden eğitilmiş dil modellerini entegre etmeye ve konuşmacı geçişleri, duraklamalar ve hızlanma gibi konuşma dinamiklerini doğrudan verilerden öğrenebilen tam çift yönlü yetenekli sistemler geliştirmeye odaklanıyor. Bu gelişme, veri küratörlüğünden eğitim sonrası yöntemlere kadar işleme hattı boyunca temel değişiklikler gerektirecek.

Geliştiriciler, “Sesli varlığa sahip dijital bir yol arkadaşı oluşturmak kolay değil, ancak kişilik, hafıza, ifade ve uygunluk dahil olmak üzere birçok cephede istikrarlı bir ilerleme kaydediyoruz” diyor.

Eski Oculus CTO’su Brendan Iribe ve ekibi tarafından kurulan Sesame AI, Andreessen Horowitz liderliğinde önemli bir A Serisi fon sağladı. Bir demo mevcut.

Doğal yapay zeka seslerinin asistanların benimsenmesi üzerindeki etkisi, ChatGPT’nin Gelişmiş Ses Modu etrafındaki heyecanla kanıtlandı. LLM’ler tarafından desteklenen sesli asistanların, Amazon’un Alexa+’ı piyasaya sürmesinin de gösterdiği gibi, giderek daha yaygın hale gelmesi muhtemel.

Kaynak: The Decoder