Küçük Yapay Zeka Stüdyosunun Savunması
Kurucu odaklı yapay zeka geliştirmenin ve küçük yapay zeka stüdyosunun ölçeği neden yendiği: zevk, sahiplenme, hız ve hayır deme disiplini.
Yazan Vitor Lima
Çoğu yapay zeka ürünü hakkında söyleyebileceğiniz en dürüst şey, aslında kimsenin gerçekten sorumlu olmadığıdır. Bunu dikişlerinde hissedebilirsiniz: bir gösterge paneline cıvatalanmış bir sohbet kutusu, ne verirseniz verin aynı dört yavan cümleyi üreten bir "özetle" düğmesi, bir ürün yöneticisinin dahil etmek için tartışmayı kazandığı on bir model geçişinin (toggle) olduğu bir ayarlar sayfası. Bunlar bir rakibe kaybeden ürünler değildir. Kendi organizasyon şemalarına kaybettiler. Bu, küçük yapay zeka stüdyosunun savunmasıdır — kurucu odaklı yapay zeka geliştirmenin, geçip gittiğiniz bir aşama değil, bilinçli bir seçim olduğunun savunması.
Geçimimizi yapay zeka uygulamaları geliştirerek sağlıyoruz, iki kişilik bir stüdyo olarak. Bu, özür dilediğimiz bir kısıt değil. İşin iyi olmasının nedeni bu. Aşağıda anlatılanlar, garaj startuplarına duyulan bir nostalji değil. Yapay zeka ürünlerinin nerede bozulduğuna ve onları bozulmaktan korumak için kimin konumlandığına dair bir iddiadır.
Zevk, küçük ekip avantajıdır ve yapay zeka bunu büyüttü
Üretken modellerden önce, yazılımda zevk çoğunlukla düzen ve metindi. Yalnızca yeterince iyi bir şey sevk edebilirdiniz ve kullanıcılar uyum sağlardı. Yapay zeka riskleri değiştirdi çünkü modelin çıktısı ürün yüzeyinin ta kendisidir. Uygulamanız yazdığında, önerdiğinde, özetlediğinde veya karar verdiğinde, binlerce küçük yargı kararı doğrudan kullanıcıya sızar: ton, uzunluk, ne zaman sessiz kalınacağı, ne zaman belirsizliğin itiraf edileceği, hatta bu kişi için şu anda "iyi" bir yanıtın neye benzediği.
Bu kararlar bir komiteden sağ çıkamaz. Ortalamaya vurulup lapaya dönüşürler.
Yapay zeka destekli günlük uygulamamız Youp'ta, en zor iş asla model tesisatı olmadı. Uygulamanın ne söylememesi gerektiğine karar vermekti. Zor bir günlük girişini neşeli bir pozitiflikle karşılayan bir günlük arkadaşı, hiçbir şey söylemeyenden daha kötüdür. Bu yüzden çabamızı kendini tutmaya harcadık: yanıt uzunluğu, bir yansımanın ne zaman tek sessiz bir cümle olması gerektiği, doğru hamlenin ne zaman hiçbir şey sormamak olduğu. Bu bir zevk kararıdır ve yalnızca bir veya iki kişi tüm bunu zihninde tuttuğu ve bir "hayır"ı savunmaya istekli olduğu için tutarlı kalır.
Çıkarım: Yapay zeka ürünleri için zevk bir süsleme değildir. Şartnamedir. Zevk sahibi kişi prompttan, token akışından ve boş durumdan üç katman uzakta oturuyorsa, zevki asla kullanıcıya ulaşmaz. Küçük bir stüdyoda bu mesafe sıfırdır.
Sahiplenme: modeli seçen, ayrıca destek talebine (ticket) de cevap verir
Büyük ekipler sorumluluğu bölmek üzere örgütlenmiştir ki bu, bulanık ve enine kesen şekillerde başarısız olan sistemler için tam olarak yanlış biçimdir. Halüsinasyon gören bir alan, yük altında bir gecikme sıçraması, sessizce hiçbir şey döndürmeyen bir geri getirme (retrieval) adımı — bunların hiçbiri ekip sınırlarına saygı göstermez. "Model ekibi", "platform ekibi" ve "uygulama ekibi" arasındaki boşlukta yaşarlar. Boşluklar, kimsenin acıyı hissetmediği yerlerdir.
Kripto sipariş ve alım-satım operasyonları uygulamamız MadaiOps bunu somutlaştırıyor. Borsalar arasında gerçek zamanlı olarak sipariş verir, yönlendirir ve izler. "Siparişim gerçekten geçti mi" için tolere edilebilir başarısızlık oranı kabaca sıfırdır. Bunu dağınık bir sahiplenmeyle inşa edemezsiniz, çünkü güvenilirlik eklediğiniz bir özellik değildir. Yeniden denemeler, idempotentlik, kısmi dolumlar ve bir borsa kendi durumu hakkında yalan söylediğinde kullanıcıya ne gösterileceği hakkında binlerce savunmacı karardır. Yönlendirme mantığını yazan kişi, gece 3'te sıkışmış bir siparişin dehşetini hisseden kişiyle aynı olmalıdır. Bunlar farklı kişiler olduğunda, aralarındaki dikiş kesintiye (outage) dönüşür.
Çıkarım: Organizasyon şemasını sevk ederseniz, onun dikişlerini de sevk edersiniz. Aynı ellerin prompta, yeniden deneme mantığına ve olay kanalına dokunduğu bir stüdyo, daha az başarısız olan ve daha hızlı toparlanan sistemler üretir — insanlar daha zeki olduğu için değil, hiçbir sorumluluk bir boşluğa düşmediği için.
Hız gerçektir, ama ilginç olan kısım hızın türüdür
Herkes küçük ekiplerin hızlı hareket ettiğini iddia eder. Bunun tembel versiyonu doğru ve sıkıcıdır: daha az toplantı, onay zinciri yok. İlginç versiyonu ise, yapay zeka geliştirmenin, büyük ekiplerin yapısal olarak eşleştiremeyeceği belirli bir tempoyu ödüllendirmesidir.
Modellerle geliştirmek deneyseldir. Bir promptun, bir bağlam penceresinin veya bir araç-kullanım döngüsünün nasıl davrandığını, onu gerçek girdilere karşı çalıştırana kadar bilemezsiniz. Temel döngü şudur: bir hipotez oluştur, tek bir şeyi değiştir, gerçek çıktılara bak, zihinsel modelini gözden geçir. Kazanan ekipler bu döngüyü günde birçok kez, koltukta gerçek karar vericiyle birlikte çalıştırır.
Büyük bir organizasyon her yinelemeyi bir destek talebine, bir sprinte, bir incelemeye dönüştürür. Geri bildirim ulaştığında, hipotezi olan kişi ipin ucunu kaçırmıştır. Bir stüdyo, hipotezden gözleme kadar geçen süreyi dakikalara sıkıştırır. Bu yüzden erken Linea çalışmamız — şu anda özel betada olan yapay zeka yerel iş akışı otomasyonu — bir yol haritası yerine sıkı bir prototipleme döngüsünde kaldı. Ajan davranışı, bir Gantt çizelgesinde planlanamayacak kadar ortaya çıkışsaldır (emergent). İnşa edersiniz, aptalca bir şey yaptığını izlersiniz ve akıl yürütmeyi düzeltirsiniz, tekrar tekrar, döngüyü yiyen hiçbir devir teslim olmadan.
Ödünleşim, dürüstçe ifade edildi
Bu tür bir hızın gerçek bir bedeli vardır. İnsan ekleyerek ölçeklenmez ve birkaç bireyin derinlemesine bağlamda kalmasına bağlıdır. Bu gerçek bir risktir ve aksini iddia etmek dürüst olmazdı. Bunu kabul ediyoruz çünkü yapay zeka ürünleri için alternatif — personel değişiminden sağ çıkan ama yargıyı sulandıran süreç — daha kötü yazılım üretir. Büyük ve ortalanmış olmaktansa küçük ve tutarlı olmayı tercih ederiz.
Hayır demek disiplinin bütünüdür
Yapay zeka ürünlerinin şu andaki tanımlayıcı patolojisi, hayır diyememektir. Her model her şeyden biraz yapabildiği için, her yol haritası her şeyi içerecek şekilde şişer. Sonuç, geniş, sığ ve unutulabilir ürünlerdir: bir bakış açısının olması gereken yerde bir özellik listesi.
Küçük bir stüdyonun kaldıracı, inandırıcı "hayır"dır. Çoğu kullanıcının mantığını yürütemediği model geçişlerine hayır. Olmaması gereken bir üründeki bir sohbet botuna hayır. Güvenilir kılamayacağımız bir yeteneği sevk etmeye hayır, çünkü tutarsız bir yapay zeka özelliği hiç özellik olmamasından daha kötüdür. Kullanıcılara size güvenmemeyi öğretir ve o güven geri gelmez. Bu bir çilecilik değil. Yapay zeka ürünlerinde yüzey alanının bir yükümlülük olduğunun kabulüdür. Açığa çıkardığınız her yetenek, artık sınırsız bir girdi uzayında tutmak zorunda olduğunuz, kalite hakkında bir vaattir.
Çıkarım: Küçük bir stüdyonun ürettiği en değerli eser, çoğu zaman inşa etmeyi reddettiği şeylerin listesidir. Bu liste, ürünün omurgasıdır. Büyük ekipler böyle bir liste tutmakta zorlanır, çünkü bir yeteneğe hayır demek genellikle bir meslektaşa hayır demek anlamına gelir — vasat versiyonu sevk etmekten daha zor bir konuşma.
Bunun anlamı olmayan şey
"Küçük iyi, büyük kötü" diyerek bitirmek ucuz olurdu. Bazı şeyler gerçekten ölçek gerektirir: sınır (frontier) model eğitimi, gezegen ölçeğinde altyapı, personel sayısının denetim izleri ve yasal savunulabilirlik satın aldığı düzenlemeye tabi alanlar. Bir stüdyo bunlar için doğru biçim değildir ve öyleymiş gibi davranmıyoruz.
Ama çalıştığımız katman — zaten var olan modellerin üzerine uygulamalar tasarlamak ve sevk etmek — tam olarak ölçeğin yardım etmeyi bırakıp sulandırmaya başladığı yerdir. Oradaki darboğaz işlem gücü veya personel sayısı değildir. Binlerce küçük karara amansızca uygulanan, işe her birini hissedecek kadar yakın insanlar tarafından tutulan tutarlı yargıdır.
Savunmanın bütünü budur. Daha ucuz veya daha atak olmamız değil, medyumun yargının yoğunlaşmasını ödüllendirmesi ve küçük, kurucu odaklı bir stüdyonun yargının alabileceği en yoğun biçim olmasıdır. Model her şeyi yapabildiğinde, kıt olan şey, ne yapması gerektiğine — zevkle ve sonucun sorumluluğunu üstlenerek — ve daha da sık olarak ne yapmaması gerektiğine karar veren birisidir.