AIツールHugging Face
Hugging Faceは、ライブラリ「Transformers」においてllama.cppの量子化モデルの実行に対応したことを発表しました。これにより、メモリ使用量を削減した軽量な量子化モデルの推論をTransformers上で直接利用できるようになります。
この日にAI朝刊へ追加されたニュースを、重要度の高い順に。発表日が前日以前・不明の記事も含みます。
2件のニュース
Hugging Faceは、ライブラリ「Transformers」においてllama.cppの量子化モデルの実行に対応したことを発表しました。これにより、メモリ使用量を削減した軽量な量子化モデルの推論をTransformers上で直接利用できるようになります。
xAIは、Chat CompletionsやBatch APIなどの各種APIリクエストにおいて、エンドユーザー識別子「safety_identifier」を送信できる機能を追加した。これにより、ポリシー違反が発生した際にAPIキー全体ではなく個別のエンドユーザーに紐付けて管理できるようになる。従来の「user」フィールドも引き続き使用できる。