Modele Językowe LlaMA od Meta
LlaMA 1 Pierwsza wersja modelu LlaMA została zaprezentowana jako zaawansowany model językowy o 65 miliardach parametrów. Jego głównym celem było umożliwienie badaczom zaawansowanej pracy w tej subdyscyplinie AI, oferując jednocześnie mniejsze, bardziej wydajne modele, które są bardziej dostępne dla szerokiej społeczności badawczej. Modele takie jak LlaMA wymagają znacznie mniej mocy obliczeniowej, co sprawia, że są one idealne do testowania nowych podejść, walidacji prac innych oraz eksploracji nowych zastosowań. Model został udostępniony w kilku rozmiarach (7B, 13B, 33B i 65B parametrów).
LlaMA 2 Następna generacja modelu, LlaMA 2, została wprowadzona jako otwarte źródło i jest dostępna bezpłatnie zarówno do użytku badawczego, jak i komercyjnego. Co ważne, LlaMA 2 nie został wyszkolony wyłącznie na danych w języku angielskim. Model ten został przeszkolony w wielu językach, w tym również w języku polskim. Największa wersja tego modelu, LlaMA 70B, jest w stanie swobodnie komunikować się po polsku. Mniejsze wersje, takie jak LlaMA 13B i 7B, również radzą sobie dość dobrze z językiem polskim, zwłaszcza po dodatkowym dostrojeniu przy użyciu technik takich jak LoRA. Meta przygotowała również model 34B jedna nie został on jak dotychczas udostępniony.
Współpracując z Microsoftem, Meta uczyniła LlaMA 2 dostępnym w katalogu modeli Azure AI, umożliwiając programistom korzystanie z niego i wykorzystywanie narzędzi chmurowych do filtrowania treści i funkcji bezpieczeństwa. Model jest również zoptymalizowany do działania lokalnie na systemie Windows.
Oryginalne modele można pobrać:
https://huggingface.co/meta-llama
Dostrojone modele do j. polskiego zostały udostępnione przez firmę Voicelab i można pobrać:
https://huggingface.co/Voicelab
Największy zbiór skwantyzowanych wersji modeli Llama znajdziecie pod tym adresem:
https://huggingface.co/TheBloke
Ciekawy artykułu na temat modeli od Meta z którymi warto zapoznać się:
How to Fine-Tune Llama2 for Python Coding on Consumer Hardware
Fine-Tuning a Llama-2 7B Model for Python Code Generation
GPTQ Quantization on a Llama 2 7B Fine-Tuned Model With HuggingFace
