ELYZA-japanese-CodeLlama: 日本語での性能が高いとされるモデル StableCode: 画像生成で有名なstable diffusionが出しているコーディング用モデル Mixtral 8x7B: MoEという技術を用いた高い性能と生成速度を持つモデル 今回、ノートパソコンの開発環境での使用を想定しているため、パラメータは最大...
日本語の医療言語処理タスク向けに公開されている既存のオープンなデータセットをLLM評価に適したタスクに変換し統合したデータセットです.生成AIの医療応用のための性能評価を目的としており,医療応用のタスクごとに適したLLMを選択可能とすることを目指し今後も継続的にデータセットの拡充を...
意外ともっと安価な、場合によってはオープンソースのLLMでも十分に使えるのでは?という可能性は常に模索していたいものですよね。 性能面では、LLMのベンチマーク結果は様々なサイトで公開されているものの、日本語コーパスでの結果がなかったり、目的のLLMとの比較がなかったりと、結局どのLL...
本プログラムでは独自 LLM により高い日本語性能を達成。自律型エージェントの実現も視野に入れる。 カラクリ株式会社 取締役 CPO 中山 智文 氏 ● カスタマーサポート領域での AI Chat 提供。Llama 2 70B をベースとした事前学習とファインチューニングを、独自収集カスタマーサポートコ...
About Amanda Saunders View all posts by Amanda Saunders NeMo Guardrails により LLM の脆弱性を防ぐ: 導入編 NeMo Guardrails により LLM の脆弱性を防ぐ: ジェイルブレイク防止編 NVIDIA ACE と Unreal Engine 5 で、AI 駆動の MetaHuman の展開を簡素化しスケー...
2023.8.21 Qwen-7B-Chat 用 Int4 量子化モデル Qwen-7B-Chat-Int4 をリリースしました。また、ベンチマーク評価においても大きな性能低下は見られませんでした。 2023.8.3 ModelScope と Hugging Face 上で Qwen-7B とQwen-7B-Chat をリリースしました。また、トレーニングの詳細やモデルの...
日本語対応のオープンソースモデルもいくつか存在します。例えば、ELYZAというモデルは東京大学松尾研究室が提供するモデルで、Llama2をチューニングして作られています。(https://note.com/elyza/n/na405acaca130) OSSタイプのモデルのメリット 情報を外部に持ち出す必要がない 様々なモデルを...
Llama3 70Bは遅いですが,使えなくは無いでしょう.Lamma3 70Bは性能がClaude3 Sonnetと同レベルと言われていますので,それを考えれば,この遅さも我慢できるのではないでしょうか. Code生成に特化したCodeGemmaも高速に動作します.これもfp16版でも高速に動作しますので,より高速化したいという...
ローカルLLMだとモデル性能によっては正常に処理してくれなさそうなので、素直にOpenAIなどのモデルを使う方が確実です。ただ、最近のLLMは比較的少ないパラメータでも性能が高いものが多く、こういったシーンでも活用できるものが増えてきました。
LLMを動かすためのツールとして独自にビルドしたOllamaを用いた。その環境をUbuntu22.0上のDockerコンテナとして構築した 13B(8bit量子化)モデルで11.0token/s,70B(8bit量子化)モデルで1.8token/s 程度の生成速度となった 電力消費を無視でき生成速度が遅くてもよいのであれば,一応は結果が得られる...