AIツールHugging Face
Hugging Faceは、ライブラリ「Transformers」においてllama.cppの量子化モデルの実行に対応したことを発表しました。これにより、メモリ使用量を削減した軽量な量子化モデルの推論をTransformers上で直接利用できるようになります。
この日にAI朝刊へ追加されたニュースを、重要度の高い順に。発表日が前日以前・不明の記事も含みます。
1件のニュース
Hugging Faceは、ライブラリ「Transformers」においてllama.cppの量子化モデルの実行に対応したことを発表しました。これにより、メモリ使用量を削減した軽量な量子化モデルの推論をTransformers上で直接利用できるようになります。