llama.cpp v1.0.0リリース!ローカルAIエコシステムの基盤を強化する安定版API

llama.cppとggmlがv1.0.0に到達
ローカルAIエコシステムの重要な基盤であるllama.cppと、その基盤となるテンソルライブラリggmlが、それぞれv1.0.0をリリースしました。このマイルストーンは、開発者にとってより安定したAPIとABIを提供し、クロスプラットフォームかつプライベートなAI製品開発をさらに加速させるものです。
llama.cppは、コンシューマーグレードのローカルマシンからハイエンドのエンタープライズサーバーまで、幅広いハードウェアでマルチモーダルLLMを実行可能にします。量子化、最適化されたバックエンド、そしてポータブルなC/C++実装を通じて、AI推論をソフトウェアスタックのあらゆるレベルで利用可能にしています。プロジェクト開始から3.5年で大きく成長し、多くのダウンストリームアプリケーションが既にllama.cppに依存しています。
APIの安定性とセマンティックバージョニング
今回のv1.0.0リリースは、llama.cppとggmlのライブラリインターフェースに依存する開発者への責任を示すものです。今後、llama.cppとggmlは、APIおよびABIの非互換性をメジャーバージョンアップで反映します。採用が進むにつれて、これらの境界はダウンストリームのコンシューマーに対してより厳格に可視化されます。
セマンティックバージョン更新ルール
- MAJOR:
./include内の公開C APIに対する破壊的変更 - MINOR: 後方互換性のある機能、バックエンドの更新、モデルサポート、API追加
- PATCH: API変更を伴わないバグ修正
広範な配布と開発体制
ggml-orgソフトウェアは、より多くの開発者やエンドユーザーに届くよう、配布方法の拡大を目指しています。現在、以下のプラットフォームでプレリリースアーティファクトが提供されています。
- Linux
- macOS
- Windows
- Android
- iOS
また、Docker、Debian Linux、Homebrew、conda-forge、MacPorts、Winget、XCFrameworkといったチャネルでも利用可能です。
プロジェクトは、高度なスキルを持つ貢献者による素晴らしいオープンソースコミュニティを育成してきました。AI機能の急速な進歩に対応し、LLMを開発サイクルに統合し続けています。高品質なコードベースの維持、アーキテクチャの制御、実装詳細の理解が最優先事項です。開発ペースを強化するため、CIインフラストラクチャへの投資も継続しており、Hugging FaceのHF BucketsやHF Jobsといった技術を活用し、NVIDIA、AMD、Qualcomm、Arm、IBM、Intelからのハードウェアサポートを得て、主要な全ハードウェアプラットフォームでセルフホスト型ランナーを増やしています。
多様なハードウェアとモデルのサポート
llama.cppの基盤となる機械学習エンジンggmlは、事実上あらゆる既存のハードウェアで動作するように設計されています。これは、専用のggmlバックエンドを実装することで実現されており、各バックエンドは動的ライブラリとしてコンパイルし、オプションで実行時にロードできます。現在、llama.cppは150以上のアーキテクチャバリアントと、すべての主流な投機的デコーディングメソッドをサポートしています。
コミュニティへの感謝
llama.cppチームは、コミュニティからの多大なサポートに感謝しています。長年のプロジェクトメンテナーとすべての貢献者への特別な感謝が述べられており、この重要なマイルストーンは共同の努力なしには不可能でした。
追加リソースとして、llama.cppの例、Hugging FaceとGithub上のggml-org、そしてllama.cppチームとHugging Faceが提供するmacOSおよびWindows向けのLlamaデスクトップアプリが紹介されています。


