【記者のひとこと】推論における課題を解決

コラム

2024/11/20 10:00

 米NVIDIA(エヌビディア)は、開発者向けに、AI活用における「推論(Inference)」フェーズの課題を解決するマイクロサービス技術「NIM(ニム)」を展開しています。

 NIMでは、推論に必要なAIモデルとソフトウェアをまとめてパッケージ化し、マイクロサービスとして用意しています。これにより、推論のためのソフトウェアの開発や運用の負担を減らすことができるそうです。

 今年8月からは、日本語で利用できるAIモデルも提供しています。日本語対応のモデルを含め、NIMのAIモデルはWeb上から試すことができます。日本語対応モデルを試したところ、きちんと日本の法律などに沿った回答が返ってきました。興味のある人はまず体験してみてはいかがでしょうか。(大向琴音)

【記事はこちら】
米NVIDIA、AI推論の課題を解決する技術を国内展開 本番環境での活用を支援する「NIM」を提供