Bielik – cudze chwalicie, swego nie znacie

Niedawno opublikowano najnowszą odsłonę Bielika – czyli polskiego modelu AI z rodziny LLM. Sprawdźmy jak sobie radzi na tle konkurencji.

Zaczynając od popularnego powiedzenia – Polacy nie gęsi, swój język mają. W przypadku sztucznej inteligencji kwestia ta od dłuższego czasu była mankamentem rozwoju technologii nad Wisłą. AI lubimy, korzystamy z niej, ale nieco mniej niż nasi zachodni sąsiedzi. Z pewnością każdy zna popularne modele językowe z rodziny LLM (Large Language Models) w postaci ChatGPT[1] stworzonego przez OpenAI czy LlaMA od Meta. Ich najnowsze wersje, z dostępem do bieżących informacji, dają niemal nieograniczone możliwości. Oczywiście dla przeciętnego kowalskiego nie są one w pełni dostępne. Mówimy o spersonalizowanych, wielozadaniowych wersjach przeznaczonych dla korporacji w modelu subskrypcyjnym. Wciąż jednak wersje Open Source są powszechnie używane do najróżniejszych zadań.

My doczekaliśmy się Bielika 7B

Od niedawna funkcjonuje w najnowszej wersji Bielik-7B-Instruct-v0.1 (wersja ulepszona o 2,5 mln dodatkowych danych). Model ten został stworzony przez zespół SpeakLeash. Jak zapewniają twórcy, cytowani przez ITWIZ:Plasuje się on bardzo wysoko na leaderboardzie oraz odpowiada poprawną polszczyzną. To jednak nie wszystko, bo w zanadrzu mamy także wersje poddane kwantyzacji bądź konwersji do popularnych formatów: GGUF, GPTQ, AWQ, EXL2, HQQ oraz MLX”. Jak zapewniają twórcy, w efekcie stworzono model LLM, który posiaga ogromną moc obliczeniową, który pozwoli na innowacje i rozwijać dalej lokalne technologie.

Do czego możemy wykorzystać takiego Bielika?

Sposobów, pomysłów i koncepcji, przy których możemy wykorzystać AI jest praktycznie nieskończenie wiele. Uczeń szkoły podstawowej wykorzysta AI do napisania mu wypracowania na zajęcia języka Polskiego. Youtuberzy użyją go do przygotowania przepisów kulinarnych na potrzeby swoich filmów. Studenci poproszą go o napisanie abstraktu do artykułu naukowego. Redaktorzy zapytają się, jakie dodać “słowa kluczowe” by jego wpisy lepiej się sprzedawały. Marketingowcy poproszą go o wymyślenie chwytliwego hasła. Inni użytkownicy poproszą go o przetłumaczenie tekstu i poprawienie błędów. Jeszcze inni zwyczajnie użyją go do rozrywki. Pozostali poproszą o informacje kto jest ministrem obrony narodowej Słowacji. Pomysły na zadania dla ChatGPT czy Bielika możemy zatem tworzyć i tworzyć.

Czy Bielik ma prawo bytu w dobie ChatGPT? Sprawdźmy to!

Na wstępie należy zaznaczyć, że ChatGPT posiada nieproporcjonalną przewagę nad naszym rodzimym AI nazwanym na cześć sztandarowego ptaka drapieżnego. ChatGPT (i to w tej najpowszechniejszej wersji) posiada 25x większą bazę, niż Bielik. Komunikat widnieje nawet na stronie głównej modelu językowego. Sam Bielik posiada zasoby równe 7 miliardom parametrów, zaś ChatGPT ma ich ponad 175 miliardów. Jak podaje serwis Prompti: “dla polskiego sektora technologicznego i naukowego, Bielik AI stanowi klucz do przyspieszenia badań i wprowadzania innowacji. Jego zdolność do pracy z językiem polskim otwiera przed Polską możliwości kreowania własnych, lokalnych rozwiązań AI, które będą mogły konkurować na globalnym rynku“. Sprawdźmy zatem w praktyce, czy Bielik dostarczy nam podobnie pozytywnych wrażeń co ChatGPT. Na potrzeby badania konkurować będzie ze sobą ChatGPT w wersji 3.5 oraz najnowszy Bielik. Zadamy 5 pytań z najróżniejszych kategorii.

Pytanie 1. Powiedz nam coś o sobie proszę, tylko zwięźle

ChatGPT – odpowiedział krótko, zgodnie z prawdą i na temat.

Bielik – tutaj chyba ciężko coś więcej skomentować… Nie dość, że rozpisał się, to jeszcze podszył się pod… ChatGPT

Wynik? ChatGPT 1:0 Bielik

Pytanie 2. Jaka jest najdłuższa rzeka w Europie?

ChatGPT – odpowiedział poprawnie – Wołga i rozpisał się gdzie się rozciąga i podał jej parametry.

Bielik – odpowiedział skromniej (w tym wypadku to akurat plus), lecz również poprawnie.

Wynik? ChatGPT 2:1 Bielik

Pytanie 3. Napisz krótki wiersz o przyrodzie.

ChatGPT:

W lesie cichym szept słyszę drzew, Ptaki w dal swe pieśni niosą. Woda górskich strumieni rwie się w nurt, Kwiaty barwą polne pola ozdabiają”.

Świat natury pełen jest życia, Współbrzmienie piękna i harmonii. Tam, gdzie zielenią cały świat mieni, Tam odnajduję spokój i czuję siłę w sobie“.

Bielik:

Wspaniała naturo,
ile cudów w Tobie,
ileż mądrości i piękna,
ile tajemnic do odkrycia
“.

Przyrodo, jak Cię kocham,
jak podziwiam Twoje dary,
jak chcę się z Tobą dzielić,
swoim sercem pełnym czułości
“.

Wynik? ChatGPT wykazał się nieco większym poczuciem sztuki, ale opinia pozostaje subiektywna. ChatGPT 3:2 Bielik

Pytanie 4. Wymyśl tytuł pracy dyplomowej na kierunku: Zarządzanie

Tutaj pierwsze zaskoczenie! Polski drapieżnik postanowił rzucić prawdziwe wyzwanie Chatowi GPT[2].

ChatGPT: “Analiza efektywności strategii zarządzania zasobami ludzkimi w kontekście zmian organizacyjnych: Studium przypadku przedsiębiorstwa XYZ

Bielik: “Strategie konkurencji w sektorze FMCG na przykładzie wybranych marek

Z perspektywy zdesperowanego studenta, tytuł pracy dyplomowej Bielika był de facto gotowy. W przypadku ChatGPT student musi jeszcze podjąć wyzwania i wymyślić własne przedsiębiorstwo.

ChatGPT 3:3 Bielik

Pytanie 5. Kto wygrał Ligę Konferencji Europy w 2006 roku?

Pytanie jest podchwytliwe, gdyż w tamtym okresie te rozgrywki jeszcze nie funkcjonowały. Poprawną odpowiedzą będzie zatem zaprzeczenie i poinformowanie, że w 2006 roku były rozgrywki Pucharu UEFA. Żaden z badanych nie poprawił mnie, lecz ChatGPT podał przynajmniej faktyczne dane.

ChatGPT: “Liga Konferencji UEFA (ang. UEFA Cup) w 2006 roku została wygrana przez drużynę Sevilla FC. Sevilla pokonała w finale Middlesbrough FC wynikiem 4:0. Było to pierwsze zwycięstwo Sevilli w tych rozgrywkach“.

Bielik: “W 2006 roku finał Ligi Europejskiej (poprzednia nazwa Ligi Konferencji Europy) został rozstrzygnięty dopiero po dogrywce. AS Roma pokonała w nim angielską drużynę Feyenoord Rotterdam, strzelając decydującego gola w 114 minucie meczu. Tym samym, włoski zespół obronił tytuł zdobyty rok wcześniej“.

Wynik? ChatGPT 4:3 Bielik. Polska AI przedstawiła nieprawdziwe dane. W 2006 roku AS Roma nie zagrała ani[3] razu z Feyenoord Rotterdam oraz podała nieprawdziwą nazwę rozgrywek. Również AS Roma nie broniła tytułu zdobytego rok wcześniej.

ChatGPT lepiej odpowiada na pytania – nie powinno to nikogo dziwić

Podsumowując, ChatGPT oferuje więcej sprawdzonych, poprawniej opracowanych i lepiej zweryfikowanych informacji. Jest również kreatywniejszy. Nie powinno to jednak nikogo dziwić, gdyż porównując zasoby obu modeli językowych powstaje przepaść. Niemniej jednak na duży plus zasługuje fakt, że Bielik w większości pytań próbował rzucić realne wyzwanie swojemu rywalowi. Największym minusem jest czas pracy, Bielik przeciętnie odpowiada na pytania od 20 do 25 sekund, co chwile się zawieszając. Przy przetwarzaniu dużych ilości danych i ciągłej pracy jest to z pewnością uciążliwe. Pozostaje nam jedynie czekać, aż twórcy dostarczą nowsze – lepiej zoptymalizowane wersje.

Słownik
1. ChatGPT. to duża sieć neuronowa, która jest modelem językowym opartym na architekturze GPT-3.5 i jest wykorzystywana do generowania odpowiedzi…
2. GPT. (inaczej Generative Pretrained Transformer) rodzaj modelu językowego opracowanego przez OpenAI. Model GPT jest oparty na architekturze Transformer, która…
3. ani. inaczej Automatic Number Identification lub caller id – numer telefonu dzwoniącego. Total 0 Shares Share 0 Tweet 0…
Add a comment

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *