Model Językowy Falcon i Jego Odmiany
Falcon to rodzina najnowocześniejszych modeli językowych stworzonych przez Technology Innovation Institute w Abu Dhabi. Falcon 180B jest obecnie największym dostępnym modelem językowym z 180 miliardami parametrów, przeszkolonym na ogromnej liczbie 3,5 biliona tokenów przy użyciu zestawu danych RefinedWeb TII. Jest to najdłuższe pojedyncze przetwarzanie wstępne dla otwartego modelu.
Odmiany Modelu Falcon
Falcon 180B to najnowsza wersja w rodzinie Falcon, będąca rozwinięciem wcześniejszego modelu Falcon 40B. Model ten wprowadza innowacje, takie jak zaawansowany mechanizm uwagi, dla lepszej skalowalności. Falcon 180B został przeszkolony na 3,5 biliona tokenów na maksymalnie 4096 GPU jednocześnie, korzystając z Amazon SageMaker, co łącznie wynosiło około 7 000 000 godzin GPU. Oznacza to, że Falcon 180B jest 2,5 raza większy niż Llama 2 i został przeszkolony z 4-krotnie większą mocą obliczeniową.
Jakość Modelu Falcon
Falcon 180B jest obecnie najlepszym otwarcie udostępnionym LLM, przewyższając Llama 2 70B i OpenAI’s GPT-3.5 w rankingu MMLU. Jest on porównywalny z Google’s PaLM 2-Large w wielu zadaniach przetwarzania języka naturalnego. Z wynikiem 68,74 w rankingu Hugging Face, Falcon 180B jest najlepiej ocenianym otwartym modelem LLM, przewyższając Meta’s LLaMA 2 (67,35).
Zastosowanie w Języku Polskim
Falcon 180B, podobnie jak jego poprzednicy, nie został przeszkolony wyłącznie na danych w języku angielskim. Model ten został przeszkolony również w wielu innych językach, w tym w języku polskim, co sprawia, że jest zdolny do swobodnej komunikacji w tym języku.
Użycie Modelu Falcon
Falcon 180B jest dostępny w ekosystemie Hugging Face, począwszy od wersji Transformers 4.33. Model ten może być używany komercyjnie, ale pod bardzo restrykcyjnymi warunkami, wykluczając wszelkie „użycie hostingowe”. Zaleca się zapoznanie się z licencją i konsultację z zespołem prawnym w przypadku zainteresowania komercyjnym wykorzystaniem modelu.
Modele Falcon można pobrać:
https://huggingface.co/huggingface
Skwantyzowane modele Falcon można pobrać:
https://huggingface.co/TheBloke
Interesujące artykuły związane z tym modelem:
