Jak agenci uczą się kodować: RL, self-play i otwarte dogonienie

Domyślnym modelem mentalnym tego, „jak AI staje się lepsze”, jest skala: więcej danych, więcej parametrów, więcej mocy obliczeniowej na pretraining, a krzywa zdolności idzie w górę. To model, który po cichu oddaje przyszłość temu, kto ma najwięcej kapitału, bo pretrenowanie frontierowego modelu to gra za miliardy dolarów, w którą może zagrać garstka laboratoriów. Ale najważniejsza zmiana w agentach kodujących w 2026 roku w ogóle nie wzięła się z tej gry. Wzięła się ze zmiany tego, jak agenci ćwiczą — a ta zmiana działa na dramatycznie mniejszym kapitale, co czyni ją najbardziej brzemiennym w skutki wydarzeniem dla każdego, kto nie jest frontierowym laboratorium.

Czołowy wynik jest niemal zaskakujący w swojej taniości. Otwarty agent kodujący, DeepSWE, został wytrenowany z otwartego base modelu Qwen3-32B przy użyciu wyłącznie reinforcement learning — i „with just 200 steps of RL training, [its] SWE-Bench-Verified score increases from 23→42%.” To niemal podwojenie realnej zdolności kodowania, bez żadnego nowego pretrainingu, lądujące na 42,2% Pass@1 i 59% z test-time scaling. Zdolność nie wzięła się z większego modelu. Wzięła się z pozwolenia modelowi ćwiczyć w środowisku, które potrafiło mu powiedzieć, kiedy ma rację.

Ćwiczenie wobec compilera, nie korpusu

Techniką leżącą pod tym jest reinforcement learning z weryfikowalnych nagród, a kodowanie to jego idealna domena. Problemem większości RL na modelach językowych jest zdefiniowanie nagrody — co liczy się jako „dobra” odpowiedź na otwarte pytanie? Kod całkowicie omija ten problem: testy przechodzą albo nie, kod się kompiluje albo nie, issue zostaje rozwiązane albo nie. Samo środowisko jest sędzią, i to uczciwym.

Zamiast więc uczyć się naśladować korpus ludzkiego kodu (pretraining) albo napisanych przez ludzi rozwiązań (supervised fine-tuning), agent próbuje zmierzyć się z realnym zadaniem programistycznym w realnym, wykonywalnym środowisku, dostaje weryfikowalny sygnał o tym, czy zadziałało, i się dostosowuje. Zrób to w tysiącach zadań, a agent nauczy się tego, czego naśladowanie nauczyć nie może: nie tego, jak wygląda dobry kod, lecz tego, co działa. Skok DeepSWE o 200 kroków to właśnie to w praktyce — model już wiedział, jak pisać wiarygodny kod z pretrainingu; RL nauczył go pisać kod, który faktycznie przechodzi.

Konkretnie, pętla wygląda tak: podaj agentowi realne repozytorium i niezdający test (albo zgłoszenie buga ze znaną poprawką), pozwól mu edytować pliki i uruchamiać test suite, i nagródź go, gdy suite zrobi się zielony. Żaden człowiek nie ocenia próby — robi to test harness, automatycznie, tysiące razy. Agent, który zaczynał od zgadywania wiarygodnych łatek, stopniowo uczy się, które wzorce dochodzenia, edycji i weryfikacji faktycznie rozwiązują issues, bo tylko te środowisko nagradza. Dlatego właśnie kodowanie stało się czołem agentowego RL: niemal żadna inna domena nie daje ci darmowego, uczciwego, nieskończenie powtarzalnego sędziego wbudowanego prosto w zadanie.

Self-play: usuwanie wąskiego gardła ludzkich danych

W tej historii wciąż czai się wąskie gardło: potrzebujesz podaży realnych zadań z weryfikowalnymi wynikami, wobec których można ćwiczyć, a kurowanie ich historycznie oznaczało ludzki wysiłek. Najbardziej wybiegające w przyszłość prace z 2026 roku atakują dokładnie to. Self-Play SWE-RL (arXiv 2512.18552) sprawia, że agent generuje własny sygnał treningowy — a wyniki są wymowne: „SSR achieves notable self-improvement (+10.4 and +7.8 points, respectively) and consistently outperforms the human-data baseline over the entire training trajectory” na SWE-bench Verified i SWE-Bench Pro. Co najbardziej uderzające, poprawia się na zgłoszeniach w języku naturalnym, które były nieobecne w treningu self-play — zdolność generalizuje poza to, na czym ćwiczyła.

Ta klauzula „outperforms the human-data baseline” to część warta zatrzymania się. Konwencjonalne założenie mówi, że postęp jest bramkowany dostępem do dużych, kosztownie kurowanych ludzkich zbiorów danych — kolejnego zasobu, który sprzyja dobrze finansowanym. Self-play mówi, że agent może wytworzyć własne ćwiczenia, i robić to lepiej, niż zrobiłby z ludzkimi danymi. Wąskie gardło, które miało chronić zasiedziałych graczy, okazuje się opcjonalne.

A ściana mocy obliczeniowej się obniża

Pozostałym zarzutem wobec RL jest koszt: end-to-end RL jest głodne mocy obliczeniowej, bo potrzebuje wielu tur on-policy rolloutu. Ta ściana też jest podkuwana. PivotRL (arXiv 2603.21383) celuje w to napięcie wprost — supervised fine-tuning jest tani, ale kruchy out-of-domain, pełny RL jest odporny, ale drogi — filtrując pod kątem „pivotów” (punktów decyzyjnych o wysokiej wariancji, w których faktycznie zachodzi uczenie) i nagradzając funkcjonalnie równoważne akcje zamiast dokładnych dopasowań stringów. Zysk: „+4.17% higher in-domain accuracy” i „+10.04% higher OOD accuracy”, przy konkurencyjnej dokładności względem end-to-end RL używając 4x mniej tur rolloutu.

Czterokrotnie mniej mocy obliczeniowej na rollout przy porównywalnych wynikach to taki rodzaj zysku wydajności, który przesuwa technikę z „tylko-dla-frontierowych-laboratoriów” do „dobrze prowadzony mały zespół potrafi to zrobić”. I jest to część szerszego wzorca — z każdym rokiem przepisy na skuteczny post-training stają się szczuplejsze, lepiej udokumentowane i bardziej reprodukowalne na sprzęcie z półki, tak samo jak fine-tuning modeli obrazowych przeszedł ze specjalności laboratorium badawczego do czegoś, co hobbysta uruchamia na jednym GPU. Trajektoria w tych trzech wynikach jest spójna: zdolne base modele są otwarte, metodą, która je poprawia, jest RL w weryfikowalnym środowisku, dane mogą być self-generowane, a koszt mocy obliczeniowej szybko spada.

Dlaczego to inna ekonomia

Cofnij się o krok, a strukturalny punkt jest całą historią. Pretraining i post-training to różne gry o różnej ekonomii. Pretraining to gra w skalę i kapitał — więcej GPU, więcej danych, więcej pieniędzy, a wygrywają laboratoria z najgłębszymi kieszeniami. Post-training przez RL to gra w osąd: nagradza tego, kto zaprojektuje najlepsze środowisko ćwiczeniowe, dobierze właściwe zadania i dobrze ukształtuje nagrodę. Nie musisz posiadać base modelu — bierzesz otwarty. Nie musisz posiadać frontierowego klastra — moc obliczeniowa jest skromna i spada. Nie potrzebujesz zapasu danych etykietowanych przez ludzi — self-play może je wytworzyć.

To znaczy, że dźwignią, która poprawia agenta kodującego dla twojej domeny, nie jest już kapitał. To inżynierski osąd tego, jak agent powinien ćwiczyć. A osąd to jeden input, który nie jest rozdzielany przez bogactwo.

To też przeformułowuje to, co znaczy „posiadać” zdolność AI. Nie musisz trenować modelu od zera, by mieć model, który jest naprawdę twój — bierzesz otwarty base, który wszyscy współdzielą, i naginasz go ku swojemu problemowi przez środowisko, które budujesz, i nagrody, które wybierasz. Bronionym aktywem nie są wagi; to środowisko ćwiczeniowe i projekt nagrody, które kodują twoje konkretne rozumienie tego, co znaczy „poprawne” w twojej domenie. Tego aktywa nie da się kupić z półki ani wynająć od dostawcy, bo dostawca nie zna twojego problemu. Musi go zbudować ktoś, kto go zna — a ten ktoś nie musi być bogaty, jedynie blisko problemu i rygorystyczny co do tego, jak agent się go uczy.

Dlaczego sprzyja to Azji Południowo-Wschodniej

To najbardziej bezpośrednia wersja argumentu, który wciąż stawiamy, i tu ląduje najmocniej. Zespół w Phnom Penh albo Da Nang nie może pretrenować frontierowego modelu i nie powinien próbować. Ale wzięcie open-weight modelu, który już działa na własnym sprzęcie i poprawienie go — przez RL w wykonywalnym środowisku dostrojonym do jego problemu — jest teraz naprawdę w zasięgu. Bariera kapitałowa, która bramkowała „zrobienie lepszego agenta kodującego”, w dużej mierze przesunęła się z pretrainingu (niemożliwego bez laboratorium) do post-trainingu (kwestii inżynierskiego osądu i skromnej mocy obliczeniowej).

A dźwignia kumuluje się w domenach, na których frontierowym laboratoriom nie zależy. Nie ma komercyjnej zachęty dla OpenAI, by optymalizować agenta pod bazy kodu w języku khmerskim, lokalne formaty danych rządowych albo konkretny stack kambodżańskiego banku — ale to dokładnie te domeny, gdzie można zbudować weryfikowalne środowisko, a otwarty base może zostać dostrojony RL przez ludzi, którzy rozumieją problem. Self-play znaczy, że nie potrzebujesz ogromnego etykietowanego zbioru danych, żeby zacząć; dobre środowisko i dobra nagroda wystarczą. To ta sama lekka na GPU, ciężka w osąd zdolność, o której wciąż argumentujemy, że region powinien ją budować, teraz wycelowana w sam model, a nie tylko w pętlę wokół niego — i to najostrzejsza jak dotąd odpowiedź na obawę, że ekonomia sprzyja temu, kto wydaje najwięcej.

Frontierowe laboratoria będą dalej wygrywać wyścig pretrainingu, a ten wyścig będzie dalej miał znaczenie dla surowej zdolności. Ale wyścig, który rozstrzyga, czy twój agent jest dobry w twoim problemie, jest coraz bardziej wyścigiem post-trainingu — a ten wygrywa się osądem, nie kapitałem. Dla regionu bogatego w to pierwsze i ubogiego w to drugie nigdy nie było lepszego czasu, by nauczyć się, jak uczą się agenci.