về giới hạn của AI cho sự tiến bộ tự động để có bối cảnh: vài ngày trước, tôi đã viết một prompt cho "NanoHVM" - một phiên bản toy của runtime của tôi, với các thuật ngữ 16-bit - và đã yêu cầu AI viết một trình đánh giá. sau vài vòng hợp tác giữa con người và AI, tôi đã có một triển khai nhanh chóng một cách bất ngờ thật không may, tệp tin ngày càng lớn và xấu xí, vì vậy tôi muốn làm cho nó nhỏ hơn. Tôi đã thiết lập một phiên codex/claude/gemini, và yêu cầu họ "làm cho nó ngắn hơn". prompt đầu tiên đã hoạt động, vì vậy tôi tiếp tục lặp lại yêu cầu đó, hết lần này đến lần khác, trong vài giờ. cuối cùng, AI đã gặp phải một bức tường. bất kể tôi đã hỏi bao nhiêu lần, họ không thể rút ngắn nó qua một ngưỡng nhất định. Tôi muốn hiểu tại sao, vì vậy tôi đã đọc tệp tin. thật bất ngờ, nó rõ ràng không tối ưu - rất nhiều sự dư thừa và trừu tượng kém - nhưng, nó hầu như không thay đổi nữa. cam kết sau cam kết, nó vẫn bao gồm cùng một kỹ thuật, cùng một cách tiếp cận, và cùng một sự dư thừa. chỉ có những điều chỉnh nhỏ, nhưng không có sự viết lại lớn nào diễn ra, và điều đó là cần thiết cho những lợi ích tiếp theo. vì vậy, tôi đã yêu cầu AI làm điều đó. "thực hiện một sự viết lại hoàn toàn lần này" "suy nghĩ về nó một cách cơ bản" "bạn có thể thay đổi bất cứ điều gì" "ngừng thực hiện những thay đổi gia tăng" "thay thế X bằng một cách tiếp cận hoàn toàn mới" tuy nhiên, điều này là vô ích. những yêu cầu chung này không có tác dụng gì cả. vài giờ sau, tệp tin vẫn thực hiện cùng một cách tiếp cận. AI đã mắc kẹt trong một điểm cực tiểu địa phương, và không thể thoát ra khỏi nó. vì vậy, tôi đã từ bỏ, và quyết định tham gia. Tôi đã dành vài phút để suy nghĩ về điều đó, và viết một prompt ngắn - khoảng 500 token - với các chỉ dẫn cụ thể. "thay thế X bằng Y, thực hiện Z theo cách này". bằng cách nào đó, khoảng 3 đoạn văn này đã làm cho điều gì đó bật lên, họ ngay lập tức thoát khỏi tình trạng bế tắc, làm việc liên tục trong khoảng 1h30m, và quay lại với một tệp tin gần như nhỏ hơn gấp đôi *và* nhanh hơn 10%. và đó là một tệp tin thực sự đẹp, chất lượng cao vì vậy, tôi đoán bài học là: AI hiện đại không thể tiến bộ tự động. nếu bạn để chúng làm việc không có giám sát, chúng sẽ bị mắc kẹt. đó là một giới hạn cơ bản của cách mà những thứ này hoạt động, ít nhất là bây giờ. tuy nhiên, nếu, mỗi vài giờ, bạn dành 5-10 phút để xem lại chúng, hiểu nơi chúng đang ở, và tiêm một chút kiến thức của con người - thì chúng sẽ tiếp tục, làm một khối lượng công việc khổng lồ và đạt được những kết quả đáng kinh ngạc, trong khi bạn dành cuối tuần của mình để chơi một số trò chơi Tôi tự hỏi điều gì còn thiếu để chúng có thể thoát khỏi tình trạng bế tắc mà không cần sự can thiệp của tôi. cảm giác như prompt của tôi không có gì đặc biệt. tất cả các ý tưởng trong đó đều là những khái niệm mà AI này biết, và cảm giác như chúng hoàn toàn có thể đã nghĩ ra những ý tưởng này một cách độc lập. tuy nhiên, chúng chỉ không... tại sao? dù sao, tôi dự định sẽ mã nguồn mở thứ dễ thương này vào cuối tuần tới. nó không thực sự hữu ích cho hầu hết các bạn, nhưng nếu bạn, tình cờ, đang tìm kiếm động cơ khớp mẫu 16-bit nhanh nhất thế giới, thì tệp tin này có thể chính là thứ mà bạn đang tìm kiếm!

Tôi cảm thấy buồn vì tôi cứ yêu cầu AI làm những điều không thể về mặt toán học và vật lý, và nó cứ thất bại.