របៀបដែល Agent រៀន Code៖ RL, Self-Play, និងការដេញតាមរបស់ Open

Mental model លំនាំដើមសម្រាប់ “របៀបដែល AI ប្រសើរឡើង” គឺ scale៖ ទិន្នន័យច្រើនជាង parameter ច្រើនជាង pretraining compute ច្រើនជាង ហើយ curve សមត្ថភាពឡើង។ វាជា model ដែលប្រគល់អនាគតស្ងាត់ៗឱ្យអ្នកណាដែលមានដើមទុនច្រើនបំផុត ព្រោះការ pretrain frontier model ជាល្បែងមួយ billion ដុល្លារដែល lab មួយក្ដាប់អាចលេង។ ប៉ុន្តែការផ្លាស់ប្ដូរសំខាន់បំផុតក្នុង coding agent ឆ្នាំ ២០២៦ មិនបានមកពីល្បែងនោះទាល់តែសោះ។ វាបានមកពីការផ្លាស់ប្ដូររបៀបដែល agent អនុវត្ត — ហើយការផ្លាស់ប្ដូរនោះ run លើដើមទុនតិចជាងយ៉ាងខ្លាំង ដែលធ្វើឱ្យវាជាការអភិវឌ្ឍមានផលប៉ះពាល់បំផុតសម្រាប់គ្រប់គ្នាដែលមិនមែនជា frontier lab។

លទ្ធផលចំណងជើងស្ទើរតែគួរឱ្យភ្ញាក់ផ្អើលក្នុងភាពថោករបស់វា។ Open coding agent មួយ DeepSWE ត្រូវបាន train ពី open-weight Qwen3-32B base ដោយប្រើ តែ reinforcement learning — ហើយ “with just 200 steps of RL training, [its] SWE-Bench-Verified score increases from 23→42%។” នោះជាការកើនជិតទ្វេដងនៃសមត្ថភាព coding ពិត គ្មាន pretraining ថ្មីពាក់ព័ន្ធ ចុះមកនៅ 42.2% Pass@1 និង 59% with test-time scaling។ សមត្ថភាពមិនបានមកពី model ធំជាង។ វាបានមកពីការអនុញ្ញាតឱ្យ model អនុវត្តក្នុងបរិស្ថានដែលអាចប្រាប់វាពេលណាដែលវាត្រឹមត្រូវ។

ការអនុវត្តប្រឆាំងនឹង compiler មិនមែន corpus

បច្ចេកទេសនៅខាងក្រោមនេះគឺ reinforcement learning ពី reward ដែល verifiable ហើយ coding ជា domain ដ៏ល្អឥតខ្ចោះរបស់វា។ បញ្ហាជាមួយ RL ភាគច្រើនលើ language model គឺការកំណត់ reward — អ្វីដែលរាប់ជាចម្លើយ “ល្អ” ចំពោះសំណួរបើកចំហ? Code គេចបញ្ហានោះទាំងស្រុង៖ test ជាប់ឬមិនជាប់ code compile ឬមិន compile issue ត្រូវបានដោះស្រាយឬមិន។ បរិស្ថានខ្លួនឯងជាចៅក្រម ហើយវាជាចៅក្រមដ៏ស្មោះត្រង់។

ដូច្នេះជំនួសឱ្យការរៀនធ្វើត្រាប់ corpus នៃ code របស់មនុស្ស (pretraining) ឬដំណោះស្រាយដែលសរសេរដោយមនុស្ស (supervised fine-tuning) agent ព្យាយាម task software ពិតក្នុងបរិស្ថាន executable ពិត ទទួលបាន signal verifiable អំពីថាតើវាដំណើរការ ហើយកែតម្រូវ។ ធ្វើដូចនោះទូទាំង task រាប់ពាន់ ហើយ agent រៀនរបស់ដែលការធ្វើត្រាប់មិនអាចបង្រៀន៖ មិនមែនអ្វីដែល code ល្អមើលទៅដូចទេ ប៉ុន្តែអ្វីដែល ដំណើរការ។ ការលោត 200-step របស់ DeepSWE ជាអ្វីដែលនោះមើលទៅដូចក្នុងការអនុវត្ត — model ដឹងរួចហើយរបៀបសរសេរ code ដែលទំនងពី pretraining; RL បង្រៀនវាឱ្យសរសេរ code ដែលពិតជាជាប់។

ជាក់ស្ដែង loop មើលទៅដូចនេះ៖ ប្រគល់ repository ពិត និង test ដែលបរាជ័យឱ្យ agent (ឬ bug report ជាមួយ fix ដែលដឹង) អនុញ្ញាតឱ្យវា edit file និង run test suite ហើយ reward វាពេល suite ប្រែជាបៃតង។ គ្មានមនុស្សវាយតម្លៃការព្យាយាម — test harness ធ្វើ ដោយស្វ័យប្រវត្តិ រាប់ពាន់ដង។ Agent ដែលចាប់ផ្ដើមដោយការទាយ patch ដែលទំនងបណ្ដើរៗរៀនថា pattern នៃការស៊ើបអង្កេត ការ edit និងការ verification ណាមួយពិតជាដោះស្រាយ issue ព្រោះទាំងនោះជារបស់ដែលបរិស្ថាន reward។ នេះជាមូលហេតុដែល coding បានក្លាយជាគែមនាំមុខនៃ agentic RL៖ ស្ទើរតែគ្មាន domain ផ្សេងណាផ្ដល់ឱ្យអ្នកនូវចៅក្រមឥតគិតថ្លៃ ស្មោះត្រង់ ដែលអាចធ្វើឡើងវិញដោយគ្មានកំណត់ ដែលសាងសង់ត្រង់ក្នុង task។

Self-play៖ ការដកឧបសគ្គទិន្នន័យមនុស្ស

នៅតែមានឧបសគ្គលាក់ខ្លួនក្នុងរឿងនោះ៖ អ្នកត្រូវការការផ្គត់ផ្គង់ task ពិតជាមួយលទ្ធផល verifiable ដើម្បីអនុវត្តប្រឆាំង ហើយការ curate ទាំងនោះតាមប្រវត្តិសាស្ត្រមានន័យថាការខិតខំរបស់មនុស្ស។ ការងារឆ្នាំ ២០២៦ ដែលមើលទៅមុខបំផុតវាយប្រហារពិតនោះ។ Self-Play SWE-RL (arXiv 2512.18552) ឱ្យ agent បង្កើត training signal ផ្ទាល់ខ្លួន — ហើយលទ្ធផលមុតស្រួច៖ “SSR achieves notable self-improvement (+10.4 and +7.8 points, respectively) and consistently outperforms the human-data baseline over the entire training trajectory” លើ SWE-bench Verified និង SWE-Bench Pro។ គួរឱ្យកត់សម្គាល់បំផុត វាកែលម្អលើ issue ភាសាធម្មជាតិដែល អវត្តមានពី self-play training — សមត្ថភាព generalize លើសពីអ្វីដែលវាបានអនុវត្ត។

ឃ្លា “outperforms the human-data baseline” នោះជាផ្នែកដែលគួរអង្គុយជាមួយ។ ការសន្មតធម្មតាគឺថាវឌ្ឍនភាពត្រូវបាន gate ដោយការចូលដំណើរការ dataset មនុស្សធំ ដែល curate ដោយថ្លៃ — ធនធានមួយទៀតដែលអនុគ្រោះអ្នកដែលមានមូលនិធិល្អ។ Self-play និយាយថា agent អាចផលិតការអនុវត្តផ្ទាល់ខ្លួន ហើយធ្វើ ប្រសើរ ជាងវានឹងធ្វើជាមួយទិន្នន័យមនុស្ស។ ឧបសគ្គដែលគេសន្មតថាការពារ incumbent ប្រែជាមិនចាំបាច់។

ហើយជញ្ជាំង compute កំពុងធ្លាក់ចុះ

ការជំទាស់ដែលនៅសល់ចំពោះ RL គឺតម្លៃ៖ end-to-end RL ស្រេក compute ព្រោះវាត្រូវការ turn ច្រើននៃ on-policy rollout។ ជញ្ជាំងនោះកំពុងត្រូវ chip away ដែរ។ PivotRL (arXiv 2603.21383) កំណត់គោលដៅភាពតានតឹងដោយផ្ទាល់ — supervised fine-tuning ថោកប៉ុន្តែផុយ out-of-domain full RL ធន់ប៉ុន្តែថ្លៃ — ដោយ filter សម្រាប់ “pivot” (ចំណុចសម្រេចចិត្ត variance ខ្ពស់ដែលការរៀនពិតជាកើតឡើង) ហើយ reward action ដែលស្មើគ្នាតាមមុខងារ ជាជាង match string ត្រឹមត្រូវ។ លទ្ធផល៖ “+4.17% higher in-domain accuracy” និង “+10.04% higher OOD accuracy” នៅ accuracy ប្រកួតប្រជែងជាមួយ end-to-end RL ដោយប្រើ rollout turn តិចជាង 4x។

Rollout compute តិចជាងបួនដងសម្រាប់លទ្ធផលប្រៀបធៀបបានជាប្រភេទនៃការទទួលប្រសិទ្ធភាពដែលផ្លាស់បច្ចេកទេសពី “frontier-lab-only” ទៅ “ក្រុមតូចដែលដំណើរការល្អអាចធ្វើនេះ”។ ហើយវាជាផ្នែកនៃ pattern ទូលំទូលាយជាង — ជារៀងរាល់ឆ្នាំ recipe សម្រាប់ post-training ប្រកបដោយប្រសិទ្ធភាពកាន់តែស្តើង កាន់តែ document បានល្អ និងកាន់តែ reproducible លើ hardware commodity ដូចគ្នាដែល image-model fine-tuning បានទៅពីឯកទេស research-lab ទៅជាអ្វីដែល hobbyist run លើ GPU មួយ។ Trajectory ទូទាំងលទ្ធផលបីនេះស៊ីសង្វាក់គ្នា៖ base model ដែលមានសមត្ថភាពគឺ open វិធីដែលកែលម្អវាគឺ RL ក្នុងបរិស្ថាន verifiable ទិន្នន័យអាច self-generate បាន ហើយតម្លៃ compute កំពុងធ្លាក់លឿន។

ហេតុអ្វីនេះជា economics ខុសគ្នា

ថយក្រោយ ហើយចំណុចរចនាសម្ព័ន្ធជារឿងទាំងមូល។ Pretraining និង post-training ជាល្បែងខុសគ្នាជាមួយ economics ខុសគ្នា។ Pretraining ជាល្បែង scale-and-capital — GPU ច្រើនជាង ទិន្នន័យច្រើនជាង លុយច្រើនជាង ហើយ lab ដែលមានហោប៉ៅជ្រៅបំផុតឈ្នះ។ Post-training តាមរយៈ RL ជាល្បែង វិនិច្ឆ័យ៖ វា reward អ្នកណាដែលរចនាបរិស្ថានអនុវត្តល្អបំផុត ជ្រើស task ត្រឹមត្រូវ ហើយ shape reward ឱ្យបានល្អ។ អ្នកមិនត្រូវកាន់កាប់ base model — អ្នកយក open មួយ។ អ្នកមិនត្រូវកាន់កាប់ frontier cluster — compute តិចតួច និងធ្លាក់ចុះ។ អ្នកមិនត្រូវការ hoard នៃទិន្នន័យដែលដាក់ label ដោយមនុស្ស — self-play អាចផលិតវា។

នោះមានន័យថា lever ដែលកែលម្អ coding agent សម្រាប់ domain របស់អ្នក លែងជាដើមទុនទៀតហើយ។ វាជាការវិនិច្ឆ័យ engineering អំពីរបៀបដែល agent គួរអនុវត្ត។ ហើយការវិនិច្ឆ័យជា input តែមួយដែលមិនត្រូវបានចែកចាយដោយទ្រព្យសម្បត្តិ។

វាក៏ផ្លាស់ប្ដូរអត្ថន័យនៃការ “កាន់កាប់” សមត្ថភាព AI ផងដែរ។ អ្នកមិនត្រូវ train model ពីដំបូងដើម្បីមាន model ដែលពិតជា របស់អ្នក — អ្នកយក open base ដែលគ្រប់គ្នាចែករំលែក ហើយបត់វាទៅរកបញ្ហារបស់អ្នកតាមរយៈបរិស្ថានដែលអ្នកសាងសង់ និង reward ដែលអ្នកជ្រើស។ ទ្រព្យសម្បត្តិដែលការពារបានមិនមែនជា weight ទេ វាជាបរិស្ថានអនុវត្ត និងការរចនា reward ដែល encode ការយល់ដឹងជាក់លាក់របស់អ្នកអំពីអ្វីដែល “ត្រឹមត្រូវ” មានន័យក្នុង domain របស់អ្នក។ ទ្រព្យសម្បត្តិនោះមិនអាចទិញពីធ្នើរ ឬជួលពី vendor ព្រោះ vendor មិនដឹងបញ្ហារបស់អ្នក។ វាត្រូវតែសាងសង់ដោយអ្នកដែលដឹង — ហើយអ្នកនោះមិនត្រូវការមានទ្រព្យ គ្រាន់តែជិតបញ្ហា និងម៉ត់ចត់អំពីរបៀបដែល agent រៀនវា។

ហេតុអ្វីនេះអនុគ្រោះអាស៊ីអាគ្នេយ៍

នេះជា version ផ្ទាល់បំផុតនៃអំណះអំណាងដែលយើងតែងតែធ្វើ ហើយវាចុះមកខ្លាំងបំផុតនៅទីនេះ។ ក្រុមមួយនៅភ្នំពេញ ឬ Da Nang មិនអាច pretrain frontier model បានទេ ហើយមិនគួរព្យាយាម។ ប៉ុន្តែការយក open-weight model ដែល run រួចហើយលើ hardware ផ្ទាល់ខ្លួន ហើយកែលម្អវា — តាមរយៈ RL ក្នុងបរិស្ថាន executable ដែលលៃតម្រូវសម្រាប់បញ្ហា របស់វា — ឥឡូវនេះពិតជានៅក្នុងដៃ។ របាំងដើមទុនដែល gate “ការបង្កើត coding agent ល្អជាង” បានផ្លាស់ភាគច្រើនពី pretraining (មិនអាចបានដោយគ្មាន lab) ទៅ post-training (រឿងនៃការវិនិច្ឆ័យ engineering និង compute តិចតួច)។

ហើយ leverage ផ្សំក្នុង domain ដែល frontier lab មិនខ្វល់។ គ្មានការលើកទឹកចិត្តពាណិជ្ជកម្មសម្រាប់ OpenAI ដើម្បី optimize agent សម្រាប់ codebase ភាសាខ្មែរ format ទិន្នន័យរដ្ឋាភិបាលក្នុងស្រុក ឬ stack ជាក់លាក់របស់ធនាគារកម្ពុជា — ប៉ុន្តែទាំងនោះពិតជា domain ដែលបរិស្ថាន verifiable អាចសាងសង់បាន ហើយ open base អាច RL-tune ដោយមនុស្សដែលយល់បញ្ហា។ Self-play មានន័យថាអ្នកមិនត្រូវការ dataset ដែលដាក់ label ធំដើម្បីចាប់ផ្ដើម បរិស្ថានល្អ និង reward ល្អគ្រប់គ្រាន់។ នេះជា សមត្ថភាព GPU-light, judgment-heavy ដូចគ្នាដែលយើងតែងតែអះអាងថាតំបន់គួរសាងសង់ ឥឡូវនេះតម្រង់ទៅ model ខ្លួនឯងជាជាងគ្រាន់តែ loop ជុំវិញវា — ហើយវាជាចម្លើយមុតស្រួចបំផុតរហូតមកដល់ការព្រួយបារម្ភថា economics អនុគ្រោះអ្នកណាដែលចំណាយច្រើនបំផុត។

Frontier lab នឹងបន្តឈ្នះការប្រណាំង pretraining ហើយការប្រណាំងនោះនឹងបន្តសំខាន់សម្រាប់សមត្ថភាពឆៅ។ ប៉ុន្តែការប្រណាំងដែលសម្រេចថាតើ agent របស់អ្នក ល្អនៅបញ្ហា របស់អ្នក កាន់តែជាការប្រណាំង post-training — ហើយការប្រណាំងនោះឈ្នះដោយការវិនិច្ឆ័យ មិនមែនដើមទុន។ សម្រាប់តំបន់ដែលសម្បូរក្នុងមុនៗ ហើយខ្វះក្នុងក្រោយ មិនដែលមានពេលណាល្អជាងនេះដើម្បីរៀនរបៀបដែល agent រៀន។