소규모 언어 모델(SLM)에 대한 종합적인 연구 (Small Language Models: Survey, Measurements, and Insights) (by 9bow님) https://d.ptln.kr/5292 #paper #small-llm #in-context-learning #quantized-slm #runtime-cost #slm-capability #slm-architecture #slm-evaluation #slm-dataset #slm-survey #slm
소규모 언어 모델(SLM)에 대한 종합적인 연구 (Small Language Models: Survey, Measurements, and Insights) 논문 소개 최근 언어 모델의 발전은 두 가지 경향으로 나뉩니다. 첫 번째는 대형 언어 모델(LLM, Large Language Model)로, 수백만 개의 GPU를 사용하여 대규모 데이터센터에서 운영됩니다. 이 모델들은 고급 언어 작업을 처리하며, 인공지능을 이용해 과학 등 복잡한 문제를 해결하는 것을 목표로 하고 있습니다. 그러나 이러한 LLM은 높은 비용과 엄청난 계산 자원이 요구되며, 개인 장치에 배포하기에는 비현실적입니다. 반면, 소규모 언어 모델(SLM, Small Language Model)은 리소스 제약이 있는 장치, 예를 들어 스마트폰, 태블릿, 웨어러블 기기 등에 배포할 수 있도록 설계되었습니다. 소형 언어 모델의 목표는 비용 효율적이고 실용적인 인공지능을 제공함으로써 AI를 누구나 쉽게 접근할 수 있도록 하는 ...
内容の正確性知らんけど、SLM ね Microsoft、AI使ってAI開発 学習データ厳選し進化：日本経済新聞 www.nikkei.com/article/DGXZ...
【シリコンバレー=渡辺直樹】米マイクロソフトが人工知能（AI）を使ってAIを開発する手法を始めた。生成AIの開発には膨大なデータの学習が必要だが、提携先の米オープンAIの高性能AIが「先生役」となり、より有用なデータを選ぶことで効率化した。AI開発が将来的に人の手を離れ、進化がさらに加速する可能性がある。4度改良重ねる「AI同士がいわば先生と生徒役になる」――。マイクロソフトのAI部門副社
Äter vodkapasta med vodka shot slm avslut
「同社は4月に独自AIの「Phi（ファイ）―3」を開発し、新しく編成した開発チームを中心に改良を進めてきた。 …中略… ファイ3の性能の指標となるパラメーター数は38億、70億、140億の3種類とオープンAIの旧世代の「GPT-3」の12分の1以下にとどまるが、回答精度は同規模のAIに比べて2～10倍を実現したという。」 ⇒ たとえば、ＭＳオフィスのヘルプなど、専門性を高めれば、もっと小さく性能を高められるだろう。ソフトウエアをアップデートできるようにＳＬＭもアップデートする時代になる。 www.nikkei.com/article/DGKK...
【シリコンバレー=渡辺直樹】米マイクロソフトが人工知能（AI）を使ってAIを開発する手法を始めた。生成AIの開発には膨大なデータの学習が必要だが、提携先の米オープンAIの高性能AIが「先生役」となり、より有用なデータを選ぶことで効率化した。AI開発が将来的に人の手を離れ、進化がさらに加速する可能性がある。「AI同士がいわば先生と生徒役になる」――。マイクロソフトのAI部門副社長セバスチャン・ビ
Aku kalo dikyakginiin sama murid, mungkin aku nangis sesenggukan sih 🤣 Disalamin bebarengan ketika aku masuk kelas, semua anak berdiri dan tiba2 menyambut dg ucpn slm , wajah yg ceria aja aku seneng bgt 🤣 www.instagram.com/reel/C_b2qN9...
Gemma 2 2Bの日本語ファインチューニング版。 標準でも普通に日本語で会話できるのですが、どのように進化しているのか気になる。 ローカルSLM系ではGemma 2 2B Q8と 27B Q4を主に使っている。 2Bもそこそこコードを吐くが27Bがお気に入り。結構賢いのとノートPCでも1.6 tok/s程度出る。（ASUS Zephyrus G16 2021版でメモリを40GBにアップグレード済でUbuntu 22.04LTS） 実家で父の介護兼仕事をしている環境では、テザリング環境しか無いためダウンロードが非常に遅い。 blog.google/intl/ja-jp/c...
Google は、AI をあらゆる人にとって役立つものにすることを目指し、開発者コミュニティが独自の言語や文化に合わせて AI を活用し実装できることを目指しています。その一環として、今年の I/O では、インドの開発者が Gemma をファイン チューニングして、12 のインド言語でテキストを理解し生成することに成功した Navara…
Slm cnm nbr?
