Agent របស់អ្នកមានផ្ទៃវាយប្រហារបីដែលអ្នកមិនបានតាមដាន

ក្នុងរយៈពេលពីរឆ្នាំចុងក្រោយ “សុវត្ថិភាព AI” មានន័យថាការពារ model៖ ភាពធន់នឹង jailbreak, alignment, និងការបដិសេធសំណើអាក្រក់។ ការដាក់ស៊ុមនោះសមហេតុផល ពេលដែល model គ្រាន់តែអាចនិយាយ។ វាមិនអាចរស់រានពេលដែល model អាច ធ្វើសកម្មភាព។ ភ្លាមៗដែល agent ទទួលសិទ្ធិពិតប្រាកដ — filesystem ដែលវាសរសេរបាន, database ដែលវា query បាន, គណនី email ដែលវាផ្ញើពី, និង API key ដែលវាចំណាយ — សំណួរសុវត្ថិភាពលែងជា “តើ model នឹងនិយាយអ្វីដែលបង្កគ្រោះថ្នាក់ឬទេ?” ហើយក្លាយជា “ពេល agent នេះត្រូវបាន hijack តើវាអាចប៉ះពាល់អាជីវកម្មរបស់ខ្ញុំប៉ុន្មាន?” កត់សម្គាល់ពាក្យ ពេល មិនមែន បើ។ ការវិភាគ meta នៃការសិក្សា prompt-injection ៧៨ (arXiv 2601.17548) រកឃើញអត្រាជោគជ័យនៃការវាយប្រហារលើស ៨៥% ប្រឆាំងនឹង defense ទំនើបបំផុតក្រោម adaptive attack។ អ្នកគួរគ្រោងផែនការដោយផ្អែកលើការសន្មតថា agent នឹង — នៅទីបំផុត — ត្រូវបានធ្វើឱ្យធ្វើអ្វីដែលអ្នកមិនមានចេតនា។

ការដាក់ស៊ុមឡើងវិញនោះមិនស្រួលទេ ព្រោះវាផ្លាស់ការងារពីកន្លែងដែលយើងចូលចិត្ត — ការ train model ដ៏ឆ្លាតវៃ — ទៅកន្លែងដែលយើងតែងតែមិនអើពើ៖ ព្រំដែនរវាង agent និងអ្វីៗគ្រប់យ៉ាងដែលវាអាចទៅដល់។ ហើយព្រំដែននោះមិនមែនជាផ្ទៃតែមួយទេ។ វាមានបី ហើយក្រុមភាគច្រើនមិនបានតាមដានណាមួយឡើយ។ អត្ថបទនេះជា taxonomy៖ indirect prompt injection, tool poisoning, និង permission escalation។ យើងបានសរសេរអំពីលទ្ធផលអសមត្ថភាពនៅស្រទាប់ model ក្នុង Sandboxing the Agent និងអំពីផ្ទៃមួយក្នុងចំណោមនេះយ៉ាងស៊ីជម្រៅក្នុង MCP’s ‘By Design’ RCE; អត្ថបទនេះជាផែនទីដែលឋិតនៅពីលើពួកវាទាំងអស់ ដូច្នេះអ្នកដឹងថាអ្នកពិតជាកំពុងការពារអ្វី។ ផ្ទៃផ្សេងទៀតត្រូវបានគ្របដណ្ដប់ក្នុង MCP in 2026 និង The $100 Billion Guardrail។