METR: AI v Anthropicu zrychluje vlastní výzkum, pokrok běží 1,9× rychleji

METR strávil uvnitř Anthropicu jedenáct týdnů, od 12. srpna do 29. října, a hodnocení zveřejnil 5. listopadu. Tým spojil interní benchmarky, data o kódu a pull requestech, výdaje na agenty, průzkumy a zhruba patnáct rozhovorů.

Hlavní číslo: na AECI, což je anthropická verze Epoch Capabilities Indexu, se pokrok po říjnu 2025 zrychlil 1,9× (95% interval spolehlivosti 1,5 až 2,8). To je zhruba 15 bodů za rok předtím a 29 bodů za rok potom. METR to popisuje jako dva roky historického pokroku slisované do jednoho.

Zrychlení nevysvětluje rychlejší škálování trénovacího výpočtu. METR odhaduje, že zhruba 80 % pochází ze samotné AI, s výraznou nejistotou. Subjektivně vnímaný nárůst produktivity stoupl z přibližně 1,2× u Claude 3.7 Sonnet na asi 12× u Model 4.

Zpráva je nezvykle otevřená o svých limitech. Anthropic začernil většinu důkazů, které METR považoval za nejinformativnější. Tři položky kontrolního seznamu AEF-1, přímý přístup, zveřejnění metodiky a právo rozhodovat o redakcích, zůstávají nesplněné a plánované ověření alokace výpočtu Anthropic zrušil.

Kontroly robustnosti daly rozpětí 1,1× až 2,9×. METR říká, že by ho překvapilo žádné zrychlení i hodnota nad 3×, ale odhad označuje za velmi nejistý. Žádné jasné úzké místo v algoritmickém pokroku, výpočtu ani datech pro příštích dvanáct měsíců nenašel, opět s nízkou jistotou.

Pokud AI skutečně zrychluje výzkum AI, zkracují se cykly schopností. Nákup, bezpečnostní revize i školení zaměstnanců pak musí běžet v měsících, ne v letech. Stejná logika platí pro regulaci: pravidla psaná na roční vydání modelů budou zaostávat.

Zároveň to zostřuje debatu o plánovaném IPO Anthropicu. Investoři nekupují chatbotovou firmu, oceňují výzkumný stroj, který může růst rychleji, než trh předpokládá. Redakce to činí hůř ověřitelným.