Antrhopic zrobił bardzo szczere badanie, z którego możemy dowiedzieć się o wielu negatywnych aspektach wykorzystania sztucznej inteligencji w programowaniu. To zaskakujące, tym bardziej, że Anthropic jest autorem modelu Claude i jednego z najpopularniejszych narzędzi wykorzystywanych przez programistów - Claude Code.

Z https://www.anthropic.com/research/AI-assistance-coding-skills wyszło coś co można się było spodziewać, ale skala problemu jest naprawdę duża. 52 dwóch programistów Pythona na poziomie junior podzielono na dwie grupy, z których jedna miała za zadanie zaprogramować coś z użyciem AI, a druga zrobić wszystko ręcznie. Dano im nową bibliotekę Trio, której nie znali i kazano z niej skorzystać.

Po wykonanych zadaniu przeprowadzono test ze znajomości rozwiązania jakie stworzyli i biblioteki, którą wykorzystali. Programujący z AI test właściwie oblali: ich wyniki było średnio o 17% gorsze od programujących “ręcznie”. To dużo, bo gdyby przełożyć to na oceny szkolne to jest tak jakby old schoolowcy dostali w szkole czwórkę, a koderzy AI dwóję.

Co więcej: nie było warto korzystać z AI. Zadanie było złożone i dla obu grup zajęło podobną ilość czasu. Vibe koderzy musieli wielokrotnie poprawiać wynik wykonując dodatkowe prompty (i oni w teście kompletnie polegli bo nie znali kodu i narzędzia w ogóle), natomiast ci, którzy podeszli do zadania jak do “AI-assited” (analizowali wyniki, próbowali różnych podejść, dzielili zadanie na mniejsze) osiągnęli lepszy wynik w teście (bo poznali to, nad czym pracują) ale oczywiście wymagało to więcej czasu.

To tylko kolejny raz potwierdza, że niestety “AI-generated” kod prędzej czy później zemści się na projekcie. Albo generujemy to wolno (ale niwiele różnimy się od piszących kod ręcznie) albo szybko ale nie wiemy co tworzymy.

Należy też wziąć poprawkę na to, że badano tylko pracę nad nowym projektem. Wyniki w zadaniach gdzie programista pracujący nad bazą kodu od lat i znający ją dobrze postanawia wdrożyć AI jako kolejne narzędzie do swojego workflow nie są znane.