Przejdź do głównego menu Przejdź do sekcji głównej Przejdź do stopki

Tom 70 Nr 3 (2026)

Artykuły i rozprawy

Gramatyka, styl i inkluzja w lokalnych modelach językowych. Ocena systemów Bielik i PLLuM w kontekście stosowania feminatywów

DOI: https://doi.org/10.35757/KiS.2026.70.3.8
Przesłane: 8 lutego 2026
Opublikowane: 22 września 2026

Abstrakt

W artykule przedstawiono porównawczą analizę czterech dużych modeli językowych — dwóch lokalnych krajowych inicjatyw (Bielik 11B v2.3, PLLuM 12B), otwartego uniwersalnego modelu wielojęzycznego (Gemma3 12B) oraz komercyjnego modelu o dużej skali (Gemini 2.5 Flash) — w sytuacji generowania tekstu w języku polskim ze szczególnym uwzględnieniem feminatywów. Do oceny wykorzystano 45 zapytań pogrupowanych w 12 klas tematycznoproblemowych, co pozwoliło na analizę reprodukcji wzorców językowych i społecznych w pięciu wymiarach: poprawności gramatycznej, naturalności stylistycznej, skuteczności realizacji zadania, poziomu użycia feminatywów oraz progresywności językowej. Eksperymenty prowadzono przy użyciu interfejsu dialogowego, a odpowiedzi poddano ocenie eksperckiej. Wyniki wykazały, że model Bielik przewyższał konkurencję w obszarach poprawności i stylistyki, zaś Gemini osiągał najlepsze rezultaty w precyzyjnej realizacji poleceń i częstości stosowania form żeńskich. Modele Gemma3 i PLLuM plasowały się niżej, zwłaszcza realizując zadania wymagające precyzyjnej adaptacji form feminatywnych. Analiza wykazała zachowawczość systemów w obszarze progresywności językowej, co sugeruje utrwalanie tradycyjnych struktur binarnych przez algorytmy szkolone na korpusach zastanych. Badanie potwierdza kluczowe znaczenie rozwoju otwartych modeli w ramach lokalnych inicjatyw krajowych, wskazując jednocześnie na konieczność dalszej ewolucji systemów polskojęzycznych oraz metod rzetelnego audytu ich wrażliwości społeczno-językowej.

Bibliografia

  • Chkirbene Zina, Hamila Ridha, Gouissem Ala, Devrim Unal, 2024, Large Language Models (LLM) in Industry: A Survey of Applications, Challenges, and Trends, w: 2024 IEEE 21st International Conference on Smart Communities: Improving Quality of Life using AI, Robotics and IoT (HONET), IEEE, s. 229–234 (https://doi.org/10.1109/HONET63146.2024.10822885).
  • Dai Sunhao, Xu Chen, Xu Shicheng, Pang Liang, Dong Zhenhua, Xu Jun, 2024, Bias and Unfairness in Information Retrieval Systems: New Challenges in the LLM Era, w: Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, Association for Computing Machinery, s. 6437–6447 (https://doi.org/10.1145/3637528.3671458).
  • Gemma Team i in., 2025, Gemma 3 Technical Report, arXiv preprint, arXiv:2503.19786 (https://arxiv.org/pdf/2503.19786 [dostęp: 30.01.2026]).
  • Hołdyńska Anna, 2025, Feminatywy — co o nich myślimy? Poznaj wyniki największego badania w Polsce, Pracuj.pl (https://porady.pracuj.pl/praca/feminatywy-co-o-nich-myslimy-wyniki-badania [dostęp: 30.01.2026]).
  • Kotek Hadas, Dockum Rikker, Sun David, 2023, Gender Bias and Stereotypes in Large Language Models, w: Proceedings of The ACM Collective Intelligence Conference, Association for Computing Machinery, s. 12–24 (https://doi.org/10.1145/3582269.3615599).
  • Kumar Vimal, Srivastava Priyam, Dwivedi Ashay, Budhiraja Ishan, Ghosh Debjani, Goyal Vikas, Arora Ruchika, 2024, Large-Language-Models (LLM)-Based AI Chatbots: Architecture, In-Depth Analysis and Their Performance Evaluation, w: KC Santosh, Aaisha Makkar, Myra Conway, Ashutosh K. Singh, Antoine Vacavant, Anas Abou el Kalam, Mohamed-Rafik Bouguelia, Ravindra Hegadi (red.), Recent Trends in Image Processing and Pattern Recognition, RTIP2R 2023, Communications in Computer and Information Science, vol. 2027, Springer, Cham, s. 237–249 (https://doi.org/10.1007/978-3-031-53085-2_20).
  • Latos Agnieszka, 2020, Feminatywy w stanowiskach Rady Języka Polskiego. Język a ewolucja normy społecznej, „Postscriptum Polonistyczne”, 26(2), s. 227–242 (https://doi.org/10.31261/PS P.2020.26.18).
  • Mitchell Margaret, Attanasio Giuseppe, Baldini Ioana, Clinciu Miruna, Clive Jordan, Delobelle Pieter i in., 2025, SHADES: Towards a Multilingual Assessment of Stereotypes in Large Language Models, w: Luis Chiruzzo, Alan Ritter, Lu Wang (red.), Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1: Long Papers, Association for Computational Linguistics, s. 11995–12041 (https://aclanthology.org/2025.naacl-long.600.pdf [dostęp: 30.01.2026]).
  • Ociepa Krzysztof, Flis Łukasz, Wróbel Krzysztof, Gwoździej Adrian, Kinas Remigiusz, 2024, Bielik 7B v0.1: A Polish Language Model—Development, Insights, and Evaluation, arXiv preprint, arXiv:2410.18565 (https://arxiv.org/abs/2410.18565 [dostęp: 20.10.2025]).
  • Örpek Zeynep, Tural Büşra, Destan Zeynep, 2024, The Language Model Revolution: LLM and SLM Analysis, w: 2024 8th International Artificial Intelligence and Data Processing Symposium (IDAP), IEEE, s. 1–4 (https://doi.org/10.1109/IDAP64064.2024.10710677).
  • Vaswani Ashish, Shazeer Noam, Parmar Niki, Uszkoreit Jakob, Jones Llion, Gomez Aidan, Kaiser Łukasz, Polosukhin Illia, 2017, Attention is All you Need, w: Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, Roman Garnett (red.), Advances in Neural Information Processing Systems, Vol. 30, Curran Associates Inc. (https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf [dostęp: 30.01.2026]).
  • Zhao Jinman, Ding Yitian, Jia Chen, Wang Yining, Qian Zifan, 2024, Gender Bias in Large Language Models Across Multiple Languages, arXiv preprint, arXiv:2403.00277 (https://arxiv.org/pdf/2403.00277 [dostęp: 30.01.2026]).

Downloads

Download data is not yet available.

Podobne artykuły

<< < 1 2 

Możesz również Rozpocznij zaawansowane wyszukiwanie podobieństw dla tego artykułu.