Update README.md
Browse files
README.md
CHANGED
|
@@ -12,11 +12,7 @@ tags:
|
|
| 12 |
|
| 13 |
このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルです。
|
| 14 |
|
| 15 |
-
|
| 16 |
-
|
| 17 |
-
mradermacherさんがgguf形式での量子化を行ってくれました。[こちらから確認できます](https://huggingface.co/mradermacher/Llama-3-Umievo-Shizuko-sqlcoder-2x8B-GGUF)
|
| 18 |
-
|
| 19 |
-
umiyukiさんが公開している[Llama-3-Umievo-itr014-Shizuko-8b](https://huggingface.co/umiyuki/Llama-3-Umievo-itr014-Shizuko-8b) に、SQLデータセットでファインチューニングされた[rdefog/llama-3-sqlcoder-8b](https://huggingface.co/defog/llama-3-sqlcoder-8b)を合わせることで、日本語能力とSQL生成能力を両立させようとしたMoEモデルです。
|
| 20 |
|
| 21 |
### モデルの詳細
|
| 22 |
|
|
@@ -28,18 +24,17 @@ umiyukiさんが公開している[Llama-3-Umievo-itr014-Shizuko-8b](https://hug
|
|
| 28 |
#### 要求スペック
|
| 29 |
Q4_K_M量子化モデルであれば、RTX3060 12GBでフルロード可能です。
|
| 30 |
|
| 31 |
-
|
| 32 |
|
| 33 |
- CPU: Ryzen 5 3600
|
| 34 |
- GPU: GeForce RTX 3060 12GB
|
| 35 |
- RAM: DDR4-3200 96GB
|
| 36 |
-
- OS: Windows
|
| 37 |
|
| 38 |
---
|
| 39 |
|
| 40 |
### Model Description
|
| 41 |
This model is a Mixture of Experts (MoE) language model created using the MergeKit tool.
|
| 42 |
-
The gguf version (planned to be expanded in the future) can be found [here](https://huggingface.co/keitokei1994/Llama-3-Umievo-Shizuko-sqlcoder-2x8B-gguf).
|
| 43 |
This MoE model aims to achieve both Japanese language ability and SQL generation capability by combining [Llama-3-Umievo-itr014-Shizuko-8b](https://huggingface.co/umiyuki/Llama-3-Umievo-itr014-Shizuko-8b), released by umiyuki, with [rdefog/llama-3-sqlcoder-8b](https://huggingface.co/defog/llama-3-sqlcoder-8b), which has been fine-tuned on an SQL dataset.
|
| 44 |
|
| 45 |
### Model Details
|
|
|
|
| 12 |
|
| 13 |
このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルです。
|
| 14 |
|
| 15 |
+
[Llama-3-Umievo-itr014-Shizuko-8b](https://huggingface.co/umiyuki/Llama-3-Umievo-itr014-Shizuko-8b) に、SQLデータセットでファインチューニングされた[rdefog/llama-3-sqlcoder-8b](https://huggingface.co/defog/llama-3-sqlcoder-8b)を合わせることで、日本語能力とSQL生成能力を両立させようとしたMoEモデルです。
|
|
|
|
|
|
|
|
|
|
|
|
|
| 16 |
|
| 17 |
### モデルの詳細
|
| 18 |
|
|
|
|
| 24 |
#### 要求スペック
|
| 25 |
Q4_K_M量子化モデルであれば、RTX3060 12GBでフルロード可能です。
|
| 26 |
|
| 27 |
+
WSL2やGoogle Colaboratotry Proでの作成後、Llama.cppとLMstudioにて動作確認を行なっています。
|
| 28 |
|
| 29 |
- CPU: Ryzen 5 3600
|
| 30 |
- GPU: GeForce RTX 3060 12GB
|
| 31 |
- RAM: DDR4-3200 96GB
|
| 32 |
+
- OS: Windows 11
|
| 33 |
|
| 34 |
---
|
| 35 |
|
| 36 |
### Model Description
|
| 37 |
This model is a Mixture of Experts (MoE) language model created using the MergeKit tool.
|
|
|
|
| 38 |
This MoE model aims to achieve both Japanese language ability and SQL generation capability by combining [Llama-3-Umievo-itr014-Shizuko-8b](https://huggingface.co/umiyuki/Llama-3-Umievo-itr014-Shizuko-8b), released by umiyuki, with [rdefog/llama-3-sqlcoder-8b](https://huggingface.co/defog/llama-3-sqlcoder-8b), which has been fine-tuned on an SQL dataset.
|
| 39 |
|
| 40 |
### Model Details
|