V objavi z naslovom “The Illusion of Thinking” Apple trdi, da top “reasoning” modeli (Claude 3.7, DeepSeek R1, o3 Mini) dejansko ne razmišljajo.
Trdijo, da si modeli samo zapomnijo vzorce, dokler stvari niso pretežke.
link: https://machinelearning.apple.com/research/illusion-of-thinking
- Apple je testiral „velike reasoning modele“ (LRM) na logičnih ugankah, kot je Hanojski stolp
- Natančnost pade na nič, ko se preseže prag kompleksnosti – celo če je še na voljo računska moč
- Modeli so za težje probleme porabili manj žetonov
- Neuspešni so bili celo, ko so bili napajani s pravim algoritmom
- Kritiki pravijo, da modeli niso „manj razmišljali“ – preprosto so dosegli omejitve žetonov/konteksta (tokens limit)
- Apple je blokiral orodja, kot je kodiranje, ki seveda uganke rešijo takoj
Gary Marcus obravnava nedavno objavo podjetja Apple, ki kritizira učinkovitost velikih jezikovnih modelov (LLM) in poudarja njihovo nezmožnost zanesljivega razmišljanja ali reševanja klasičnih problemov, kot je stolp v Hanoju. Poudarja, da je raziskava v skladu z njegovim dolgoletnim trditvijo, da nevronske mreže lahko generalizirajo le v okviru podatkov, s katerimi so bile usposobljene, in da pogosto ne delujejo zunaj tega obsega. Marcus priznava potencialno vrednost LLM za kodiranje in brainstorming, vendar poudarja, da jim primanjkuje logičnih sposobnosti razmišljanja, potrebnih za pravo umetno splošno inteligenco (AGI), saj njihova učinkovitost ne presega učinkovitosti osnovnih algoritmov ali tradicionalnih metod reševanja problemov. Marcus nadalje kritizira pojmovanje LLM kot poti do AGI in navaja, da njihove omejitve postajajo vse bolj očitne in da je zanašanje na njih za zapletene naloge napačno. Črpa iz dela kolegov raziskovalcev, kot je Subbarao Kambhampati, ki je poudaril, da je »razumevanje«, ki ga kažejo LLM, pogosto površno in ne ustreza pravim kognitivnim procesom. Marcus na koncu zagovarja pomembnost razvoja AI, ki združuje človeško prilagodljivost z zanesljivo računalniško učinkovitostjo, in nakazuje, da sedanja pot razvoja LLM morda ne bo privedla do transformativnega napredka družbe.