ChatGPTや各種AIチャットを試した方なら、こんな場面で手が止まったことがあるはずです。
「この見積書の内容を要約してほしいんだけど……これ、入力していいのかな」と。
不安を感じるのは当然です。
クラウドのAIサービスに社内文書を貼り付けるとき、その入力データがどう扱われるかを把握している人は多くありません。
「社内データをAIに渡したくない」は、わがままじゃない
この不安を分解すると、実務上の懸念が3つ浮かびます。
一つ目は 情報漏洩リスク です。
入力した内容がサービスの学習データに使われる可能性が、規約上ゼロとは言い切れないケースがあります。
「どこまでが安全か」を判断できないまま使い続けるのは、企業としてリスクがあります。
二つ目は 利用規約上の懸念 です。
顧客情報・価格情報・契約内容を入力することが、自社の秘密保持義務や取引先との契約に抵触しないか、確認が必要です。
万が一のときに「規約を確認した上での判断だった」と説明できるかどうか、という視点も大切です。
三つ目は 従量課金コストの読めなさ です。
月あたりの費用が利用量によって大きく変わるクラウドAPIは、予算を固定したい中小企業には扱いにくい面があります。
こういった懸念を持つことは、過剰反応でも神経質すぎるわけでもありません。
業務上の判断として、むしろ合理的です。
では「社内で完結する環境を自前で作ろう」となったとき、次の壁が立ちはだかります。
「AIサーバーを自前で立てるって、技術的にハードルが高そう」という感覚です。
でも実は、その壁が思ったより低くなってきています。
それが、ODSというツールの話につながります。
手持ちのPCがそのままAIサーバーになる——ODSとは何か
ODS（Osmantic Desktop Server）は、PC・Mac・Linuxを オールインワンのAIサーバーに変える オープンソースのインストーラーです。
GitHubで公開されており、誰でも無料で使えます。
ローカルLLM関連のツールとして omlx のような推論サーバー単体のものがあります。
モデルを動かす推論エンジンとしての役割は果たせますが、チャット画面や文書検索機能は別途自分で用意して組み合わせる必要があります。
ODSの立ち位置はそこが違います。
推論エンジンだけでなく、その上に乗るすべてのコンポーネントをまとめてセットアップしてくれる統合スタック です。
インストーラーを実行するだけで、次のものが一気に揃います。
- LLM推論エンジン（llama-server）とブラウザから話しかけられる チャットUI（Open WebUI）
- マイクで話しかけて音声で返答を聞ける 音声入出力
- 複数タスクを自動でつなげる AIエージェント と、社内文書をAIに読み込ませて質問できる RAG機能
これらを個別にインストールして連携させようとすると、それなりの手間と知識が要ります。
ODSはその面倒を一括で引き受けてくれるのがポイントです。
インストールの体験も工夫されています。
GitHubのREADMEによると、インストーラーを実行すると GPUを自動検出し、環境に合ったモデルを自動選択し、すべてのサービスを起動 するところまで自動でやってくれます。
「2分以内にチャットを始められる」という設計思想も明記されており、まず動かしてみるという最初の一歩が踏み出しやすい作りになっています。
地方中小企業の「あるある業務」に当てはめてみる
抽象的な「AI活用」の話は、どうしてもピンとこないことが多いですよね。
そこで、地方中小企業の現場に引きつけて考えてみます。
たとえば、社内の問い合わせ対応です。
「あの手続きのやり方、どこに書いてあったっけ」「この機器のトラブル、前にも似たことがあったはずなんだけど」——こういった質問は、どの会社でも毎日起きています。
マニュアルが複数のファイルに分散していたり、ノウハウが特定の人の頭の中にしかなかったりすると、答えを探すだけで時間がかかります。
ODSのRAG機能を使うと、社内マニュアルや過去の資料をAIに読み込ませて、自然な言葉で質問できる仕組みを社内に作れます。
RAGというと難しそうに聞こえますが、要するに「AIが自社の文書を参照しながら答えてくれる機能」です。
新入社員が「申請書の提出期限はいつですか」と聞くと、AIが社内の規程集を参照して答える、というイメージです。
議事録の要約も、実際の業務でよく効いてきます。
会議の録音や文字起こしをAIに渡して「要点と次のアクションを整理して」と頼むだけで、数分かかっていた作業が一瞬で終わります。
しかも、ここに含まれる情報はまさに社内の機密そのものです。
参加者の名前・取引先・価格・戦略方針——これをクラウドAPIに送るかどうか、慎重に考えたくなるのは当然ですよね。
ローカルで完結するODSなら、その心配が大幅に減ります。
もう一つ現場感があるのが、「過去の見積書や施工マニュアルを新人が参照できるようにする」という使い方です。
工務店・製造業・設備管理会社など、業種ごとに積み上げてきた資料やノウハウがある場合、それをAIが参照できる状態にしておくと、経験の浅いスタッフでも一定の情報を引き出せるようになります。
クラウドAPIでも同じことはできます。
ただ、顧客情報や単価情報が含まれる文書を外部のサーバーに送れない、という場面でODSのような手元完結の選択肢がものを言います。
どのPCで動くか——動作要件の現実感
Windows・macOS・Linuxのどれでも動きます。
GitHubのサポートマトリクスによると、Linux・Windows・macOS（Apple Silicon）はすべて対応済みです。
Windowsの場合は、Docker DesktopとWSL2のインストールが前提になります。
インストーラーを実行する前に、この準備が済んでいないと始まりません。
難しい作業ではないですが、PCの操作に不慣れな方には「初めてやる作業」になるので、多少の時間を見ておくと安心です。
macOSも同様にDocker Desktopのインストールが必要です。
ただ、Apple Silicon（M1以降）のMacは ユニファイドメモリ の恩恵があります。
通常のPCはCPU用とGPU用のメモリが分かれていますが、Apple SiliconはそれをひとつのメモリプールとしてAI処理に使えます。
M2 MacBook ProやM3 Mac miniを持っている方は、比較的コスパよくODSを動かせる環境として相性がいいと言えます。
では、GPU非搭載のWindowsパソコン——オフィスで使っている薄型ビジネスノートPCなど——はどうでしょうか。
GitHubのサポートマトリクスはNVIDIAとAMDのGPU環境を中心に記載されており、CPUのみでの動作は明示的にはサポートが確認できません。
GPU搭載環境では質問への回答が数秒で返ってくる設計ですが、GPU非搭載の場合は速度面で相当な制約が出ることを覚悟した方がよいでしょう。
試してみるにしても、できれば外付けGPU搭載のWindows機か、Apple SiliconのMacで始める方が、現実的な体験を得やすいです。
「新しいPCを買わないといけないか」という疑問はよく出てきます。
まずはGitHubのサポートマトリクスで手持ち機材の環境が対応しているか確認し、問題なければ試してみるというアプローチが現実的です。
「実際に業務で使いたい」となれば、そのときに改めてハード構成を考えても遅くありません。
「完全ローカル・完全無料」の前に知っておきたいこと
ODSはオープンソースで無料で使えますが、「完全無料・完全ローカル」という言葉をそのまま受け取ると、後でギャップが生まれることがあります。
精度の話から始めます。
ローカルで動かせるモデルは、クラウドの大規模モデルと比べると複雑な推論や長文処理での精度に差があります。
「FAQ応答」「要約」「文書検索」に用途を絞れば十分実用的ですが、高度な分析や専門的な判断が必要な場面では、補助的な位置づけで考えておくのが現実的です。
セットアップについて正直に書くと、WindowsならDocker Desktop＋WSL2、macOSならDocker Desktopが必要です。
インストーラーを実行するのはその準備が整ってからの話で、「初めてDockerを触る」という状況では、多少の時間と調べる作業が伴います。
社内にIT担当がいる場合は一緒に進めると安心です。
見落とされがちなのが、ランニングコストの存在です。
クラウドAPIなら自動で最新モデルに切り替わりますが、ローカル環境ではモデルの更新・入れ替えを自分で行う必要があります。
AIモデルを動かし続けるとPCへの負荷も高くなり、電力消費や本体の発熱は普通に起きます。
「APIの従量課金はかからない」は正しいですが、「コストゼロ」とは同義ではない点は押さえておいてください。
クラウドAPIとローカル完結のどちらが自社に合うかは、扱う情報の性質と社内のIT対応力で大まかに決まります。
顧客情報・価格・社内機密が含まれる文書を頻繁にAIに渡す業務なら、ローカル完結の優先度は高くなります。
一方、精度への要求が高く、IT対応の余力も薄い場合は、クラウドAPIを使いつつ「入力する情報のルール」を社内で整備する方が現実的なこともあります。
最初の一歩としては、ODSの GitHubページ とQuickstartを一度見てみることをおすすめします。
読んでみるだけでも「自分でもできそう」という感覚はつかめるはずです。
なお、社内規程・取引先との秘密保持契約・個人情報保護法との整合については、判断が難しい場合は専門家に確認することをおすすめします。
「ローカルだから全部OK」とはならないケースもある点は、念のため押さえておいてください。
株式会社ホコサキは、山口県宇部を拠点に、地方中小企業のAI活用支援・業務システム開発・DX推進を手がけています。
「社内情報をどこまで外に出せるか」「自前でAI環境を作るのが自社に合うか」といった相談も、お気軽にどうぞ。
詳しくは お問い合わせページ からご連絡ください。