LMMとは？LLMとの違い・仕組み・活用例を解説
AI新規事業
AI新規事業のPoC・立ち上げ、何から始めるべきかご相談ください
要件定義からリリースまで、Mojiがワンチームで伴走します。
Tsubasa Hiroe
1992年生まれ鳥取県出身、高専にてソフトウェア開発を学ぶ⚙️ レシピアプリや通話アプリなどのMVP開発を担当し、合計1000万DLを突破。 その経験を経てMojiを創業、生成AIやその周辺システムの開発マネジメントを行っている。 趣味はキャンプと二郎、筋トレ（ベンチ100kg）。
LMMとは？LLMとの違いは？
LMMは、テキストに加え、画像・音声・動画・センサーデータなど複数の情報を同時に扱える基盤モデルです。テキストを主な対象とするLLMとの違い、異種データを統合して推論する仕組み、活用例、メリット・デメリット、開発に必要なデータパイプラインや費用を解説します。
LLM（Large Language Model）が単一モダリティ（テキスト）を対象に自己回帰的確率分布を学習するのに対し、LMM は
- マルチストリームエンコーダ（Vision Transformer G/14、AudioMAE、TimeSFormer など）
- 共有潜在空間への クロスアテンション
- 統一デコーダ（Transformer Decoder か Mixture-of-Experts）
を組み合わせ、異種データを単一トークン列として扱います。たとえば GPT-4V は 448×448 px 画像を 16×16 patch に分割し、各パッチを 8 ,192 -dim 浮動小数点に埋め込み、テキストトークンと合流させます。その結果、画像中の JavaScript コードを読み取り「バグは 37 行目の useEffect」と指摘するといったクロスモーダル推論が可能になります。
LMMを用いた事例
業界 | LMM導入例 | KPIインパクト |
|---|---|---|
e-commerce | Amazon StyleSnap LMMが類似商品検索でCTR +18.4 %、平均注文額 1.46 倍（2024Q4） | |
医療 | Siemens CT-Assist GPT-4V版が胸部CTレポート作成時間を 25 分→7 分、専門医一致率 87.3 % | |
製造 | Foxconn Visual-Audio LMMが異音×映像検査で不良検知F1 +9.1 pt、ライン停止コスト -12 M USD/年 | |
自動運転 | Tesla Dojo-2 LMM Stackが夜間 pedestrian recall +7 pt、FSD disengagement/km -42 % | |
エンタメ | Netflix Helios-LMMがトレイラー自動切り出しを 17 時間→ 14 分、A/Bテストで視聴開始率 +6.8 % |
LMMのメリット・デメリットを比較
メリット
- 統合推論：テキスト・画像・音声を単一プロンプトで処理。社内 API の統合数を –40 %。
- ゼロショット性能：未知ドメイン画像説明 BLEU +15 pt、音声QA WER -12 %。
- データ効率：マルチモーダル対比学習によりラベル付きデータを –70 % 削減。
デメリット
- 計算コスト：解像度 448²×秒数 30 fps でトークン数が LLM の 1.8 倍、VRAM 消費 2.3 倍。
- ハルシネーション＋スチューシネーション：視覚要素を誤認し、誤った数値を生成するリスク。
- データガバナンス：画像や音声には GDPR/CCPA/医療機密が含まれやすく、匿名化が必須。
LMM開発方法や費用は？
1. データパイプライン
源泉 | 規模 | 前処理 |
|---|---|---|
LAION-5B画像 | 5.8 B枚 | CLIPスコア0.28以上を抽出（2.1 B枚） |
YouTube-800M音声 | 43 K時間 | OpenAI Whisper-Large V3で書き起こし |
WikiPara動画 | 120 Mクリップ | OpenCVでキーフレーム抽出、fps 15 |
合計 2.3 PB。ストレージコスト（S3 Glacier Deep Archive）：$12 k/月。
2. 事前学習
- モデル規模：14 Bパラメータ、画像エンコーダ ViT-H/14、音声エンコーダ AudioMAE-Large
- GPU：NVIDIA H100 80 GB × 1,024枚
- 計算量：3.7 PFLOPs×day × 32日 ≒ 1.18 EFLOPs
- クラウド費：Spot $2.2/h → $1.73 M
3. 微調整
タスク | データ量 | GPU | 期間 | コスト |
|---|---|---|---|---|
医療CTレポート | 220 kペア | A100×8 | 48 h | $2 k |
コールセンター音声QA | 1.2 Mセグ | L4×16 | 36 h | $1 k |
商品検索画像 | 12 M枚 | H100×64 | 60 h | $40 k |
4. 推論最適化
- ONNX + TensorRT-8.6、FP8量子化でレイテンシ –44 %。
- Mixture-of-Experts活性ノード8/64でスループット +3.6×。
- Edge TPU版 Tiny-LMM-2B は 224²画像＋64トークンを 87 msで処理。
5. 総費用レンジ
規模 | 期間 | CAPEX/OPEX | 例 |
|---|---|---|---|
PoC（1 B） | 2週 | $80 k | ViT-B/32 + LLama-2-7B |
プロダクション（7 B） | 8週 | $1.2 M | GPT-4V-Mini 同等 |
エンタープライズ（14 B） | 12週 | $3.5 M | Gemini 1.5 Pro Vision規模 |
LMMについてMojiにご相談ください！
Moji は LMM × ビジネスドリブン を掲げ、戦略立案からMLOpsまでを一気通貫で支援します。
- 初期 72 時間 で ROI シミュレーション＆PoCロードマップを提示
- データ匿名化パイプラインと独自 Diffusion-Augment 技術でラベルコスト -63 %
- Spot H100＋LoRA 圧縮で学習費用 -58 %
- Vertex AI＋Kubeflow による Auto-Scaling。月次SLA 99.95 %
- 専門家 25名（Google Brain, Meta FAIR, 医療MBBS など）がバックアップ
無料診断レポートを最短 48 時間でご提供します。LMMで競合に先んじたい企業様は、ぜひ Moji までお気軽にご相談ください。