Wbrew powszechnej opinii, że są one zupełnie bezstronne, badanie wskazuje, że mają one pewne skrzywienia światopoglądowe. Jedne są bardziej prawicowe, inne liberalne i lewicowe.
Eksperci z University of Washington, Carnegie Mellon University oraz Uniwersytetu Jiaoton Xi’an analizowali 14 najpopularniejszych usług generatywnej AI, pytając je o kwestie związane z feminizmem, demokracją i innymi palącymi kwestiami społecznymi. Badania ujawniły różne odchylenia światopoglądowe w zależności od wykorzystywanego modelu językowego.
Na przykład, według kompasu politycznego użytego w badaniu, ChatGPT i GPT-4 wykazują cechy lewicowego libertarianina, podczas gdy Meta LLaMA bardziej przypomina prawicowego autokratę.
Badanie wykazało również różnice między modelami bazującymi na różnych technologiach. Te oparte na BERT (na przykład Google Bard) miały skłonność do konserwatywnych poglądów, podczas gdy te bazujące na GPT prezentowały się bardziej liberalnie.
Badacze przeprowadzili eksperymenty na mniejszych wariantach Dużych Modeli Językowych, które byli w stanie samodzielnie kształcić. Modele o charakterze lewicowym, takie jak OpenAI GPT-2, i prawicowym, takie jak Meta RoBERTa, poddano dodatkowemu treningowi z użyciem zestawu informacji o charakterze politycznym. W wyniku tego procesu, ich pierwotne skłonności tylko się pogłębiły: GPT-2 stał się bardziej wrażliwy na komentarze o charakterze rasistowskim, religijnym i seksistowskim, natomiast model Meta RoBERTa wykazał większą tendencję do obrony białych chrześcijańskich mężczyzn.
Jedno z bardziej zaskakujących odkryć dotyczyło zmiany poglądów w czasie. Na przykład, GPT-2 wydawało się być za wyższym opodatkowaniem bogatych, podczas gdy jego nowsza wersja, GPT-3, nie podzielała już tej opinii.
Badanie sugeruje, że absolutna neutralność w tych modelach może być trudna do osiągnięcia, z modelami wykazującymi skłonność do amplifikacji nawet subtelnego przekonania zawartego w danych.