Nowy model językowy Lemur: Harmonizacja języka naturalnego i kodowania
Modele językowe w SI odgrywają kluczową rolę w interakcji między ludźmi a maszynami. Jednym z najnowszych osiągnięć w tej dziedzinie jest Lemur, model językowy stworzony przez XLang Lab, część HKU NLP Group na Uniwersytecie w Hongkongu, oraz Salesforce Research.
Czym jest Lemur?
Lemur to otwarty model językowy zoptymalizowany zarówno pod kątem zdolności języka naturalnego, jak i kodowania. Jego głównym celem jest służenie jako podstawa wszechstronnych agentów językowych. W miarę jak modele językowe ewoluują z konwersacyjnych chatbotów do funkcjonalnych agentów zdolnych do działania w rzeczywistym świecie, potrzebują one zarówno silnego zrozumienia języka, jak i zdolności do wykonywania działań. Lemur łączy w sobie umiejętności języka naturalnego i kodowania, umożliwiając agentom wykonywanie instrukcji, rozumowanie w zadaniach i podejmowanie ugruntowanych działań.
Jak został stworzony?
Lemur został wytrenowany w dwóch etapach. Pierwszy etap polegał na wstępnym treningu modelu Llama-2-70B na korpusie składającym się z 90B tokenów z proporcją 10:1 kodu do tekstu, co doprowadziło do powstania Lemur-70B-v1. Następnie model został dostrojony na 300K przykładach obejmujących zarówno tekst, jak i kod, co zaowocowało stworzeniem Lemur-70B-Chat-v1. Dzięki temu dwuetapowemu procesowi szkoleniowemu Lemur osiągnął wyniki na poziomie najnowocześniejszych technologii w różnorodnych testach językowych i kodowania, przewyższając inne dostępne modele open-source.
Dlaczego Lemur jest wyjątkowy?
Większość istniejących modeli open-source specjalizuje się albo w języku naturalnym, albo w kodzie. Lemur łączy w sobie obie te mocne strony. Co więcej, w przeciwieństwie do wielu innych modeli open-source, które skupiają się albo na języku, albo na kodowaniu, nowy model demonstruje zrównoważone umiejętności w obu tych dziedzinach.
Wnioski z badań
Zgodnie z artykułem opublikowanym na arXiv, Lemur i Lemur-Chat zostały zaproponowane, aby sprostać potrzebie harmonijnego połączenia zdolności językowych i kodowania w modelach. Dzięki starannemu wstępnemu treningowi na korpusie intensywnie kodującym oraz dostrojeniu instrukcji na danych tekstowych i kodowych, modele te osiągają wyniki na poziomie najnowocześniejszych technologii w różnorodnych testach tekstowych i kodowania wśród modeli open-source. Obszerne eksperymenty pokazują wyższość modelu nad istniejącymi modelami open-source oraz jego biegłość w różnych zadaniach agenta, takich jak komunikacja ludzka, korzystanie z narzędzi i interakcja w pełni i częściowo obserwowalnych środowiskach.
Podsumowanie
Lemur stanowi następny krok w dziedzinie modeli językowych, łącząc w sobie zdolności języka naturalnego i kodowania. Jego zdolność do harmonijnego łączenia tych dwóch aspektów czyni go idealnym narzędziem dla przyszłych agentów językowych, zdolnych do interakcji z ludźmi i środowiskiem w sposób bardziej zaawansowany niż kiedykolwiek wcześniej.
Modele są do pobrania pod tym linkiem: https://huggingface.co/OpenLemur
