LINUX工房

エンタープライズにおける生成AI導入の決定版。クラウドAI（ChatGPT等）とローカルLLMを比較し、データガバナンス、ランニングコスト（TCO）、ベンダーロックイン回避の観点からローカルAIの圧倒的利点とハイブリッド導入戦略をインフラ視点で解説します。

ローカル生成AI・LLMの基礎をインフラエンジニア向けに徹底解説。トランスフォーマーモデルの仕組み、パラメータ数、トークナイザーから、ローカル環境特有のソフトウェアスタックまで、AIのブラックボックスをインフラ視点で紐解きます。

ローカルLLM連載の最終回。AlmaLinux上で構築したvLLMやQdrant等のAI基盤を本番環境で安定運用するためのベストプラクティス、無停止アップデート、ベクトルDBのバックアップ設計、GPUメモリリーク発生時のトラブルシューティングをプロの視点で徹底解説します。

AlmaLinux上に構築したローカルLLM環境（vLLM、Qdrant）をPrometheusとGrafanaで可視化する手法を解説。DCGM-ExporterによるVRAM監視、KVキャッシュのフラグメンテーション検知、そしてゼロトラストを前提としたAIインフラのセキュリティ設計を網羅。

ローカルLLMに社内文書を学習させずに回答させる「RAG（検索拡張生成）」のインフラアーキテクチャを徹底解説。AlmaLinux上でQdrant（ベクトルデータベース）とEmbedding専用推論サーバーをPodmanで構築・連携するプロの設計手法。

AlmaLinux環境に「vLLM」を導入し、複数ユーザーからの同時アクセス（高トラフィック）に耐えうる本番向けローカルLLM推論サーバーを構築します。PagedAttentionの仕組みやGPUメモリ最適化、コンテナでのデプロイメント手法をプロの視点で徹底解説。

高価なGPUがなくてもAIは動く！AlmaLinux環境で「llama.cpp」を直接ビルドし、CPUや低VRAMのGPUを極限まで活用するローカルLLM環境の構築・チューニング手法（GGUF量子化、NUMA最適化など）をインフラ視点で詳細に解説します。

AlmaLinux環境に「Ollama」を導入し、セキュアなローカルLLMのAPIエンドポイントを構築する手順をインフラエンジニア向けに解説。Podmanコンテナを活用した運用、Quadletによるデーモン化、Nginxリバースプロキシ連携まで網羅します。

ローカルLLMをAlmaLinux環境で安定稼働させるための初期設定をプロの視点で徹底解説。nouveauドライバの無効化、NVIDIA CUDA Toolkitのクリーンインストールから、Docker/Podman連携、GPUチューニングまで網羅します。