Free tools Windows power users keep installed
One-click scans. No signup required.
Dalam arti yang sempit, ya. Model kecil yang dilatih pada data TinyStories dapat menunjukkan inferensi sederhana yang dibutuhkan untuk melanjutkan sebuah cerita secara koheren. Namun, bukti yang tersedia tidak menunjukkan bahwa model 64 juta parameter mampu bernalar secara umum, dan tidak membuat model sekecil itu setara dengan asisten bahasa besar. Jawaban yang akurat bergantung pada dua hal: apa yang dimaksud dengan “bernalar”, dan eksperimen 64M yang mana yang dibicarakan.
Apa arti “bernalar” dalam paper TinyStories
Paper TinyStories yang ditulis Ronen Eldan dan Yuanzhi Li pada 2023 memakai istilah reasoning untuk contoh yang sangat terbatas. Salah satu contohnya: tokoh cerita ingin memelihara kucing atau anjing, tetapi ibunya tidak mengizinkan anjing. Kelanjutan yang masuk akal adalah tokoh itu memilih kucing. Model harus menyimpulkan dari konteks bahwa pilihan anjing sudah tertutup.
As an Amazon Associate I earn from qualifying purchases.
Ini memang inferensi, tetapi terikat narasi. Contoh tersebut tidak mengukur perhitungan, perencanaan panjang, atau pengetahuan dunia yang luas. Membacanya sebagai bukti kecerdasan umum berarti melampaui apa yang ditunjukkan paper.
Windows Errors? Fix Them Before They Spread
Repair common Windows errors and clear accumulated junk for a smoother, more stable PC - no reinstall needed.Free scan · no reinstallCrashes, No Sound, or Screen Glitches?
Random freezes, missing sound and display glitches usually trace back to one bad driver. Find and replace yours safely.Free scan · under a minuteMengapa data TinyStories berbeda dari korpus web
Kemampuan model kecil di paper ini tidak lepas dari cara datanya dibuat. TinyStories adalah kumpulan cerita sintetis berbahasa Inggris yang dihasilkan dengan GPT-3.5 dan GPT-4. Ciri utamanya:
#1 Best Overall
- Use scikit-learn to track an example ML project end to end
- Explore several models, including support vector machines, decision trees, random forests, and ensemble methods
- Exploit unsupervised learning techniques such as dimensionality reduction, clustering, and anomaly detection
- Dive into neural net architectures, including convolutional nets, recurrent nets, generative adversarial networks, autoencoders, diffusion models, and transformers
- Use TensorFlow and Keras to build and train neural nets for computer vision, natural language processing, generative models, and deep reinforcement learning
- Kosakata sederhana. Proses pembuatan data memakai sekitar 1.500 kata dasar, yang dilaporkan paper sebagai bagian dari upaya menjaga cerita tetap mudah dipahami.
- Plot pendek dengan tema konsisten. Setiap cerita relatif sempit dalam tokoh, konflik, dan latar.
- Distribusi yang terbatas. Model belajar pola bahasa dari satu jenis teks yang seragam, bukan dari beragam genre dan topik.
Karena itu, hasil paper tidak bisa langsung diasumsikan berlaku jika model 64 juta parameter dilatih pada teks web umum. Kapasitas yang kecil pada korpus luas menghadapi tantangan yang jauh berbeda.
Apa yang dilaporkan paper
Paper menyatakan bahwa TinyStories dapat dipakai untuk melatih dan mengevaluasi model yang jauh lebih kecil dari model mutakhir. Kutipan lengkapnya:
“We show that TinyStories can be used to train and evaluate LMs that are much smaller than the state-of-the-art models (below 10 million total parameters), or have much simpler architectures (with only one transformer block), yet still produce fluent and consistent stories with several paragraphs that are diverse and have almost perfect grammar, and demonstrate reasoning capabilities.” (Terjemahan: model di bawah 10 juta parameter, atau arsitektur yang sangat sederhana dengan satu blok transformer, tetap dapat menghasilkan cerita lancar dan konsisten beberapa paragraf, dengan tata bahasa yang hampir sempurna, serta menunjukkan kemampuan penalaran.)
Rank #2
Secara lebih rinci, temuan paper adalah:
- Model di bawah 10 juta parameter sudah dapat menghasilkan beberapa paragraf cerita yang lancar dan konsisten pada tugas yang terfokus ini.
- Model terbesar, sekitar 80 juta parameter, memperoleh skor hampir sempurna untuk tata bahasa dan konsistensi, tetapi masih tertinggal dari GPT-4 dalam kreativitas.
- Urutan peningkatan. Menurut pengamatan penulis, tata bahasa membaik lebih dulu daripada konsistensi. Kreativitas terus membaik pada skala yang lebih besar dan lebih bergantung pada data. Penulis sendiri menyebut temuan tentang lebar dan kedalaman jaringan sebagai hasil awal yang masih bersifat sugestif.
Penulis juga membatasi klaim mereka sendiri. Dalam kesimpulan, mereka menulis:
“It remains a challenge, however, to assess the true extent of the ‘creativity’ of our models, and to which the models reflect a certain ‘understanding’ (on a very low level of course) of the stories that they produce as opposed to just template matching to create a plausible continuation.” (Terjemahan: masih menjadi tantangan untuk menilai sejauh mana kreativitas model, dan sejauh mana model mencerminkan “pemahaman” pada tingkat yang sangat rendah atas cerita yang dihasilkannya, dibanding sekadar pencocokan pola untuk membuat kelanjutan yang masuk akal.)
Cara paper menilai cerita
Penilaian dilakukan dengan sekitar 50 prompt yang disiapkan manual. Model menerima awal cerita dan menghasilkan kelanjutannya. Lalu GPT-4 memberi skor pada tiga aspek: tata bahasa, kreativitas, dan konsistensi terhadap awal cerita.
Metode ini berguna untuk membandingkan kualitas generasi cerita, tetapi memiliki batas yang jelas. GPT-4 berperan sebagai penilai, sehingga skor bergantung pada cara penilaian itu bekerja. Skor tersebut juga hanya mengukur cerita, bukan kemampuan umum. Angka yang tinggi pada konsistensi cerita tidak sama dengan skor penalaran umum.
Model 64M: apa yang sudah ada dan apa yang belum
Ada beberapa sumber yang menyebut ukuran model di sekitar 50 hingga 80 juta parameter. Ketiganya tidak menjawab pertanyaan yang sama.
| Sumber | Ukuran model | Data dan pelatihan | Tujuan | Yang bisa disimpulkan |
|---|---|---|---|---|
| Paper TinyStories (Eldan dan Li, 2023) | Di bawah 10 juta hingga sekitar 80 juta parameter (model terbesar) | Cerita sintetis TinyStories | Generasi cerita yang koheren dan evaluasinya | Inferensi sederhana dalam konteks cerita. Hasil utama tidak dilaporkan khusus untuk 64 juta parameter. |
| Studi penghapusan pengetahuan (Selective Gradient Masking; tahun publikasi tidak dapat dipastikan) | 64 juta parameter | 1,2 miliar token TinyStories bilingual Inggris-Spanyol, satu epoch | Melokalisasi dan menghapus pengetahuan satu bahasa | Model 64M pernah dipakai dalam eksperimen berbasis TinyStories. Studi ini tidak mengklaim penalaran umum. |
| Repositori komunitas WPeytz (tanggal publikasi tidak tercantum) | 50,8 juta parameter | Implementasi GPT 50.8M; konfigurasi GPU RTX 2070 dengan VRAM 8 GB | Implementasi rujukan | Contoh konfigurasi perangkat, bukan spesifikasi minimum dan bukan bukti untuk model 64M. |
Jadi, sejauh sumber-sumber ini, tidak ada hasil yang menunjukkan model 64 juta parameter diuji untuk penalaran umum. Eksperimen 64M yang ada menjawab pertanyaan lain.
Rank #4
Cara membangun model bahasa 64M dari nol
Sumber yang tersedia tidak menetapkan hyperparameter yang bisa disalin untuk model 64 juta parameter, seperti jumlah lapisan, lebar, laju pembelajaran, atau ukuran batch. Karena itu, langkah berikut menggambarkan alur kerjanya. Nilai pastinya perlu Anda uji sendiri.
1. Siapkan korpus cerita
Mulai dari kumpulan TinyStories, atau buat cerita sintetis sendiri dengan kosakata terbatas dan plot pendek. Tujuannya adalah menjaga distribusi data tetap sempit, sama seperti di paper. Jika korpus diperluas ke teks web umum, hasil paper tidak boleh diasumsikan berlaku.
2. Tentukan tokenizer dan kosakata
Pilih tokenizer kecil yang konsisten dengan kosakata korpus Anda. Paper tidak menjadikan pilihan tokenizer sebagai bagian utama hasilnya, jadi pastikan Anda mencatat versi dan konfigurasinya agar eksperimen bisa diulang.
Best Value
3. Pilih arsitektur kecil
Paper menunjukkan bahwa varian dengan satu blok transformer pun dapat menghasilkan cerita yang lancar, tetapi kontribusi lebar dan kedalaman jaringan masih terbuka. Mulailah dari transformer kecil, lalu bandingkan beberapa variasi kedalaman dan lebar dengan metrik evaluasi yang sama.
4. Latih dan pantau hasil di tengah jalan
Paper menyebut bahwa pelatihan TinyStories umumnya dapat dilakukan dalam waktu kurang dari sehari pada satu GPU. Waktu nyata bergantung pada arsitektur, panjang konteks, ukuran batch, presisi numerik, dan korpus. Selama pelatihan, pantau kurva loss dan simpan contoh generasi dari beberapa checkpoint. Pola yang diharapkan dari paper adalah tata bahasa membaik lebih dulu daripada konsistensi. Jika keluaran terus berulang, keluar dari topik, atau loss tidak turun, periksa data, tokenizer, dan laju pembelajaran sebelum menambah ukuran model.
5. Evaluasi dengan prompt tetap
Siapkan sekitar 50 awal cerita secara manual, lalu catat kelanjutan model untuk setiap prompt. Nilai setiap hasil pada tata bahasa, kreativitas, dan konsistensi. Jika memakai GPT-4 sebagai penilai seperti paper, catat versi dan rubrik yang dipakai. Tambahkan pembacaan manual, karena skor otomatis tidak menangkap semua kualitas cerita.
Kebutuhan perangkat keras
Paper tidak menetapkan kartu grafis minimum. Repositori komunitas WPeytz melaporkan konfigurasi GPT 50.8M dengan GPU RTX 2070 berVRAM 8 GB. Angka ini bisa dipakai sebagai titik awal untuk model sekecil itu, tetapi bukan syarat minimum untuk 64 juta parameter. Untuk ukuran yang sedikit lebih besar, ukuran batch dan panjang konteks perlu dinaikkan secara bertahap sambil memantau penggunaan memori.
Pembaca yang tidak memiliki GPU lokal dapat memakai layanan GPU awan. Biaya dan ketersediaannya bergantung pada penyedia dan tidak dibahas di sini.
Apa yang masih perlu diuji
- Inferensi di luar narasi. Apakah model 64 juta parameter yang dilatih pada TinyStories dapat menyelesaikan tugas penalaran di luar cerita, belum diuji oleh sumber yang tersedia.
- Ketahanan pada korpus lain. Hasil TinyStories belum diverifikasi pada teks dengan kosakata dan topik yang lebih luas.
- Penilaian independen. Skor GPT-4 perlu dilengkapi evaluasi lain, termasuk pembacaan manual dan tugas yang tidak bergantung pada penilai model.
- Hubungan ukuran dan kreativitas. Paper menyebut kreativitas bergantung pada skala dan data, tetapi hubungan kuantitatifnya belum ditetapkan untuk ukuran 64 juta parameter.
Jika Anda membangun model sendiri, hasil yang paling bermakna adalah laporan jujur tentang korpus, arsitektur, dan metrik yang dipakai, bukan klaim bahwa model “bernalar” secara umum.
Quick Recap
Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.
Quick wins for a faster PC:
Scan for outdated or missing drivers - takes under a minuteDriver Scan →Clear out junk files and repair common Windows errorsFree Scan →
