dipublikasikan oleh: Eleanor Vale Global Technology Editor

Selama hampir sepuluh tahun terakhir, kemajuan dalam model bahasa besar diukur dari skala: lebih banyak data, lebih banyak komputasi, lebih banyak parameter, dan lebih banyak dana.[1] Klaim Subquadratic bertentangan dengan narasi tersebut. Startup yang berbasis di Miami ini mengatakan telah menemukan hambatan matematis yang telah membatasi LLM selama bertahun-tahun, dan jika kerja dasarnya terbukti, maknanya bukan hanya teknis. Ini akan men unjukkan bahwa sebagian pertumbuhan bidang ini dibatasi oleh arsitektur sebanyak oleh kekuatan kasar, sebuah proposisi yang lebih mengganggu bagi para pemain lama yang membangun keunggulannya pada skala.[1]

Perusahaan tersebut keluar dari mode rahasia bulan lalu, dan reaksi awalnya sudah dikenal: kekaguman yang bercampur kehati-hatian.[1] Pengumuman awal minim detail, dan banyak pengamat tidak yakin.[1] Skeptisisme itu sehat. Dalam AI di garis depan, jarak antara klaim teoretis yang bersih dan sistem produksi yang kuat cukup jauh, dan pasar telah belajar menganggap bahasa berani sebagai undangan untuk menunggu bukti. Sejak itu, Subquadratic mulai membagikan lebih banyak materi, termasuk referensi riset yang tampak mendukung klaim, tapi dukungan bukan berarti validasi luas.[1][2][3][4]

Yang penting di sini bukan hanya apakah Subquadratic menemukan trik yang lebih baik, tapi jenis bottleneck apa yang mereka klaim telah hilangkan. Model bahasa besar semakin menemui batasan yang bukan hanya finansial, tapi struktural: biaya inferensi, kesulitan dalam penalaran konteks panjang, dan tekanan untuk membuat model lebih mampu tanpa membuatnya terlalu mahal saat dioperasikan.[3] Pengurangan nyata pada beban itu akan mengubah ekonomi distribusi sama pentingnya dengan matematika pelatihan. Kompetisi sesungguhnya bukan lagi hanya soal model; ini soal arsitektur mana yang bisa menerjemahkan kemajuan menjadi sistem yang dapat digunakan dan biaya yang tertoleransi.[1][3]

Klaim tentang pemecahan hambatan matematis berbeda dengan klaim tentang pengiriman lapisan aplikasi yang cerdas.[1] Ini menyiratkan sesuatu yang lebih mendekati jalur baru dalam ruang desain komputasi model. Jika Subquadratic benar, implikasinya akan meluas melampaui peta jalan produk satu perusahaan. Mereka akan merambah perlombaan lebih luas antar laboratorium dan startup untuk membuat penalaran konteks panjang, inferensi berlatensi rendah, dan penyajian model lebih efisien menjadi layak secara komersial.[3] Dalam industri di mana satu poin performa ekstra dapat menarik perhatian besar, lompatan nyata dalam efisiensi akan sangat berharga.

Startup ini kini telah mempublikasikan lebih banyak karya pendukungnya, termasuk tautan ke materi riset yang beredar di ekosistem makalah AI biasa, tapi beban pembuktian masih tinggi.[1][4][5][6] Untuk klaim seambisius ini, pertanyaan bermanfaat adalah yang lugas: Apakah hasil itu sudah direplikasi oleh peneliti independen? Apakah berlaku di luar kondisi yang dipilih perusahaan? Apakah meningkatkan akurasi, biaya, latensi, atau ketiganya dengan cara yang bertahan dalam beban kerja nyata? Itulah ambang batas yang memisahkan teorema menarik dari pergeseran industri bermakna.[1][4][5][6]

Ada logika bisnis juga di waktu ini. Pasar AI semakin padat, intensif modal, dan skeptis terhadap klaim inkremental. Perusahaan besar dapat membeli waktu dengan infrastruktur dan distribusi; startup membutuhkan keunggulan yang lebih tajam.[1] Keuntungan matematis, jika nyata, memberi perusahaan kecil bahasa diferensiasi yang lebih sulit ditiru daripada produk pembungkus atau antarmuka baru. Ini juga memberi investor sesuatu yang lebih langka daripada hype: kemungkinan jalur ke efisiensi yang dapat dipertahankan.[1] Di bidang dengan komputasi mahal dan akses chip tidak merata, efisiensi sendiri telah menjadi aset strategis.

Poin strategis itu melampaui neraca satu perusahaan. Infrastruktur AI semakin menjadi infrastruktur geopolitik.[1] Ekonomi inferensi dan penalaran konteks panjang kini membentuk di mana sistem dapat diterapkan, oleh siapa, dan pada skala apa.[3] Jika terobosan mengurangi kebutuhan komputasi, itu mengubah nilai perangkat keras yang terbatas, kekuatan tawar penyedia awan, dan kesenjangan praktis antara laboratorium terkemuka dan operator yang lebih kecil. Ini bahkan mungkin menggeser pusat gravitasi dari ukuran model murni ke desain algoritma yang membuat perangkat keras yang ada bisa berfungsi lebih jauh.

Namun, sikap editorial yang tepat adalah menahan diri. Referensi riset dan jejak dokumen berguna, tapi tidak menyelesaikan masalah kecuali metode dasarnya jelas, dapat direproduksi, dan diuji secara independen.[2][4][5][6] Bukti berikut yang akan mengubah penilaian jelas: telaah sejawat, hasil tolok ukur dalam kondisi bervariasi, dan tanda bahwa tim lain dapat mengimplementasikan pendekatan tanpa bantuan pendiri. Sampai saat itu, kesimpulan paling aman adalah Subquadratic telah berhasil memaksa percakapan serius tentang efisiensi, belum membuktikan era baru untuk LLM.

Percakapan itu pantas dilakukan karena asumsi industri saat ini mungkin semakin sempit. Jika fase AI terakhir didefinisikan oleh perlombaan skala, fase berikutnya mungkin didefinisikan oleh keterbatasan: memori, latensi, daya, dan matematika pemrosesan urutan panjang.[3] Terobosan kredibel di salah satu bidang itu akan berpengaruh pada penyedia model, operator awan, dan pengguna perusahaan. Ini juga mengingatkan pasar bahwa kemajuan AI bukan garis lurus ke atas, melainkan serangkaian jalan pintas sampai seseorang menggambar ulang arsitekturnya sendiri. Pertanyaannya sekarang adalah apakah Subquadratic telah melakukannya, atau hanya menunjukkan batas lebih jelas daripada pesaingnya. Untuk saat ini, itu cukup untuk diamati dengan seksama, tapi belum cukup untuk menyatakan peta sudah digambar ulang.[1]