begitu juga dengan batas AI untuk kemajuan otonom untuk konteks: beberapa hari yang lalu, saya menulis prompt untuk "NanoHVM" - versi mainan dari runtime saya, dengan istilah 16-bit - dan meminta AI untuk menulis evaluator. setelah beberapa loop kolaborasi manusia-AI, saya mendapatkan implementasi yang sangat cepat sayangnya, file itu menjadi sangat besar dan jelek, jadi saya ingin membuatnya lebih kecil. Saya menyiapkan sesi codex/claude/gemini, dan meminta mereka untuk "membuatnya lebih pendek". prompt pertama berhasil, jadi saya terus mengulangi permintaan yang sama, berulang kali, selama beberapa jam. akhirnya, AI menabrak tembok. tidak peduli seberapa banyak saya terus bertanya, mereka tidak bisa mempersingkatnya melewati ambang batas tertentu. Saya ingin memahami mengapa, jadi saya membaca file itu. Yang mengejutkan saya, itu jelas tidak optimal - banyak redundansi dan abstraksi buruk - namun, hampir tidak berubah lagi. commit demi commit, itu masih menyertakan teknik yang sama, pendekatan yang sama, dan redundansi yang sama. Hanya ada penyesuaian kecil, tetapi tidak ada penulisan ulang besar yang terjadi, dan itu diperlukan untuk keuntungan lebih lanjut. jadi, saya meminta AI untuk melakukan hal itu. "Lakukan penulisan ulang lengkap kali ini" "alasan tentang itu secara mendasar" "Anda bebas mengubah apa pun" "berhenti melakukan perubahan bertahap" "mengganti X dengan pendekatan yang sama sekali baru" namun, ini sia-sia. Permintaan umum ini tidak berpengaruh sama sekali. Beberapa jam kemudian, file tersebut masih menerapkan pendekatan yang sama. AI terjebak di minima lokal, dan tidak bisa keluar darinya. jadi, saya menyerah, dan memutuskan untuk bergabung. Saya meluangkan beberapa menit untuk memikirkannya, dan menulis prompt singkat - sekitar 500 token - dengan petunjuk tertentu. "ganti X dengan Y, lakukan Z dengan cara ini". Entah bagaimana ~3 paragraf ini membuat sesuatu diklik, mereka segera terlepas, bekerja selama ~1h30m lurus, dan kembali dengan file yang hampir 2x lebih kecil *dan* 10% lebih cepat. dan itu adalah file yang sangat indah dan berkualitas tinggi jadi, saya kira pelajarannya adalah: AI modern tidak dapat membuat kemajuan otonom. Jika Anda membiarkan mereka bekerja tanpa pengawasan, mereka akan terjebak. Itu adalah batasan mendasar dari bagaimana hal-hal ini bekerja, setidaknya untuk saat ini. Namun, jika, setiap beberapa jam, Anda meluangkan waktu 5-10 menit untuk menguasai mereka kembali, memahami di mana mereka berada, dan menyuntikkan beberapa pengetahuan manusia - maka mereka akan terus berjalan, melakukan banyak pekerjaan dan mendapatkan hasil yang luar biasa, saat Anda menghabiskan akhir pekan Anda bermain beberapa game Saya bertanya-tanya apa yang hilang bagi mereka untuk bisa terlepas tanpa campur tangan saya. Rasanya seperti prompt saya tidak ada yang istimewa. semua ide tentangnya adalah konsep yang diketahui AI ini, dan rasanya mereka benar-benar bisa menghasilkan ide-ide ini sendiri. namun, mereka tidak ... Mengapa? Bagaimanapun, saya berencana untuk membuka sumber hal lucu ini akhir minggu depan. Ini tidak terlalu berguna bagi sebagian besar dari Anda, tetapi jika Anda, secara kebetulan, telah mencari mesin pencocokan pola 16-bit tercepat di dunia, file ini mungkin yang Anda cari!

"Perhatian, ini adalah suntingan terakhir Anda" jangan khawatir, saya yakin itu adalah kesalahan ketik terakhir

Oh, persetan