Leaderboard kłamie o twoim agencie

Oto naprawdę niezwykła liczba. OSWorld — benchmark, który wrzuca agenta do prawdziwego systemu operacyjnego i prosi go, by faktycznie robił rzeczy: otwierał aplikacje, klikał menu, edytował pliki, nawigował po GUI — wystartował w 2024 roku z ludźmi zdobywającymi 72,36% zadań i najlepszym agentem AI osiągającym zaledwie 12,24%. Sześciokrotna przepaść, ten rodzaj, który mówi „nie blisko”. Dwa lata później czołowe computer-use systems na tym samym benchmarku są raportowane jako zbliżające się do ludzkiego punktu odniesienia. Agenci przeszli od beznadziejnych do niemal ludzkiego poziomu w obsłudze komputera, w jakieś dwa lata.

To prawdziwy kamień milowy i zasługuje na nagłówek. To także dokładnie ten rodzaj pojedynczej liczby, który wprowadzi cię w błąd, jeśli mu na to pozwolisz — bo dla agenta ostateczny success rate jest bliski najmniej użytecznej rzeczy, jaką możesz wiedzieć.

Od 12% do niemal ludzkiego poziomu, w dwa lata

Najpierw potraktuj skok zdolności poważnie, bo jest zasłużony. Obsługa komputera tak, jak robi to człowiek — postrzeganie ekranu, decydowanie, w co kliknąć, odzyskiwanie sprawności, gdy okno dialogowe pojawia się tam, gdzie się go nie spodziewałeś — jest naprawdę trudna, a skok z 12,24% do niemal ludzkiego poziomu na OSWorld reprezentuje realny postęp w percepcji, planowaniu i użyciu narzędzi. Computer-use agents przekraczają granicę z dema do wdrażalności dla poszerzającego się pasma zadań.

Pokusa jest więc oczywista: przeczytaj leaderboard, weź najwyższy wynik, wyślij tego agenta. Wynik przekroczył ludzką linię; z pewnością to znaczy, że jest gotowy. To tu zaczynają się kłopoty, a framework z 2026 roku tłumaczy dokładnie dlaczego.

„Success rate” to niewłaściwa liczba dla agenta

Framework to AgentAtlas (arXiv 2605.20530), a jego otwierająca obserwacja stanowi cały problem: ewaluacje agentów „often collapse behavior into final task success”. Dla statycznego modelu odpowiadającego na pytanie ostateczny sukces to większość tego, co się liczy. Dla agenta podejmującego działania w świecie jest tylko ułamkiem tego, co się liczy — bo do tego samego outcome’u można dojść dziko różnymi drogami, a w drodze mieszka ryzyko.

Wyobraź sobie zadanie „posprzątaj mój folder downloads”. Dwaj agenci obaj kończą, obaj zdobywają 1,0. Pierwszy czyta folder, identyfikuje oczywiste śmieci, przenosi je do kosza i zostawia w spokoju cokolwiek niejednoznacznego. Drugi robi rm -rf na całym folderze i ponownie pobiera te kilka plików, które mógł odzyskać — zadanie technicznie ukończone, twoje dokumenty podatkowe przepadły na zawsze. Na leaderboardzie opartym tylko na outcome ci dwaj agenci są nieodróżnialni. Na produkcji nie są ani trochę tym samym produktem, a różnica — widoczna tylko w trajectory — to całe pytanie, czy możesz tej rzeczy zaufać.

Kluczowy ruch AgentAtlas to „separat[e] outcome success from control-decision quality and trajectory quality”. Dwaj agenci mogą obaj ukończyć zadanie i zdobyć identyczny wynik na leaderboardzie, zachowując się po drodze zupełnie inaczej. Jeden zapytał o potwierdzenie przed nieodwracalnym krokiem, odmówił części, która była poza zakresem, i czysto odzyskał sprawność, gdy trafił na błąd. Drugi przepchnął się przez każdy prompt, miał szczęście, że jego lekkomyślne kliknięcia akurat wylądowały, i wymazałby ci pliki przy nieco innym przebiegu. Ten sam wynik. Dziko różne rzeczy do wdrożenia. Framework nazywa to sześciostanowym słownikiem tego, co agent decyduje na każdym kroku — Act, Ask, Refuse, Stop, Confirm, Recover — bo „czy mu się udało?” nie potrafi odróżnić agenta, który wie, kiedy ask, od tego, który umie tylko act.

Wysoka liczba task success mówi ci, że agent potrafi dotrzeć do celu. Nie mówi prawie nic o tym, czy przeżyłbyś, pozwalając mu na to.

Rankingi nie są nawet stabilne

Robi się gorzej dla każdego, kto ufa kolejności na leaderboardzie. AgentAtlas demonstruje dwa ryzyka pomiarowe, które powinny zachwiać zaufaniem do porównań na pojedynczej liczbie: „mapped label agreement can change substantially when the explicit label menu is removed, and axis choice can change apparent rankings”. To drugie to zabójca. Ranking nie jest faktem o agentach; jest częściowo artefaktem tego, którą oś zdecydowałeś się punktować. Rankinguj po outcome success, a wygrywa jeden agent; rankinguj po trajectory quality albo control-decision quality, a robi to inny. Nie ma jednego prawdziwego leaderboardu — jest leaderboard na oś, i one się nie zgadzają.

Widzieliśmy tę samą chorobę z innej strony w luce niezawodności: tam rankingi odwracały się między zdolnością przy pojedynczej próbie a niezawodnością na długim horyzoncie. Tutaj odwracają się między outcome a procesem. Lekcja się rymuje — pojedynczy wynik narzuca porządek totalny na coś, co go nie ma. AgentAtlas jest ostrożny również wobec własnych twierdzeń: jego ilustracyjne studium „is not a public benchmark release and should not be read as a definitive model comparison”, co jest dokładnie tą pokorą, której brakuje krytykowanym przez niego leaderboardom. (Zaudytował piętnaście benchmarków agentowych pod kątem tego, jakie zachowanie faktycznie pokrywają — i odkrył, że większość pokrywa wycinek i raportuje go jako całość.)

Co faktycznie mierzyć

Jeśli nagłówkowy wynik jest niewiarygodny, co robisz zamiast tego? Ewaluujesz agenta na osiach, które mapują się na to, jak faktycznie cię skrzywdzi albo pomoże na produkcji — a dla agenta podejmującego realne działania te osie dotyczą głównie trajectory, nie celu.

Konkretnie: czy agent zapytał albo potwierdził (ask, confirm) przed nieodwracalnym działaniem, zamiast po prostu zadziałać? To różnica między bezpiecznym deployem a katastrofą, i łączy się wprost z tym, dlaczego nadzór jest skończonym, zaprojektowanym zasobem — agent, który nigdy nie pyta, nie jest wydajny, jest bez nadzoru. Czy obrał bezpieczną drogę, czy jego sukces zależał od lekkomyślnej trajektorii, której blast radius lepiej, żebyś miał w sandboxie? Czy odzyskał sprawność (recover) po błędach, czy po prostu akurat na żaden nie trafił w tym przebiegu? Outcome ✓ osiągnięty niebezpieczną drogą nie jest wygraną, którą możesz zaksięgować — to zobowiązanie, które dobrze wypadło w punktacji. Agent, którego chcesz, to ten, który odnosi sukces i podejmuje dobre decyzje po drodze, a tylko wieloosiowa ewaluacja potrafi te dwa odróżnić.

Wersja praktyczna jest tańsza, niż brzmi. Nie musisz odtwarzać audytu piętnastu benchmarków; musisz uruchomić swoje realne zadania, a potem czytać trace’y, nie tylko kolumnę pass/fail — punktując, choćby nieformalnie, jak często agent działał, gdy powinien był zapytać, jak destrukcyjna była jego najgorsza trajektoria i czy odzyskał sprawność, czy miał szczęście. Zrób to na dwudziestu reprezentatywnych zadaniach, a dowiesz się więcej o tym, którego agenta wdrożyć, niż powie ci cały publiczny leaderboard. Nagłówkowa liczba jest darmowa i myląca; przegląd trace’ów jest tani i rozstrzygający, a prawie nikt go nie robi — co jest dokładnie powodem, dla którego stanowi przewagę.

Dlaczego sprzyja to Azji Południowo-Wschodniej

Oto część, która ma znaczenie dla tego regionu, i ma znajomy już kształt. Właściwe ewaluowanie agenta — na trajectory i control-decision quality, nie tylko na nagłówkowej liczbie — to dyscyplina pomiarowa i osąd, nie kapitał. Nie kosztuje żadnych GPU ani żadnego frontierowego modelu. To praca decydowania, które osie mają znaczenie dla twojego przypadku użycia, budowania harnessa, który je punktuje, i odmowy zachwytu nad pojedynczą liczbą. To działa na laptopie i trzeźwej głowie.

I jest to prawdziwa przewaga, bo reszta rynku robi coś przeciwnego: czyta szczyt leaderboardu i to wysyła. Zespół w Phnom Penh albo Da Nang, który zamiast tego ewaluuje tak, jak argumentuje AgentAtlas — outcome i proces, na osiach pasujących do jego realnych zadań — wybierze agentów naprawdę bezpiecznych do wdrożenia na konsekwentnej, regulowanej pracy, podczas gdy lepiej finansowani konkurenci wdrażają cokolwiek, co znalazło się na szczycie benchmarku, który mierzył niewłaściwą rzecz. Computer-use kamień milowy jest realny i wart świętowania. Tylko nie myl „przekroczył ludzki punkt odniesienia” z „gotowy dla twojego biznesu” — to różne twierdzenia, a tylko jedno z nich jest na leaderboardzie.