大模型本地部署“暗藏风险，如何构建AI安全体系？

自从DeepSeek火了后，越来越多的企业开始私有化部署DeepSeek或其他开源大模型，以提升自身运营效率。然而，许多企业可能忽视了一个关键问题，模型本身可能存在安全隐患，包括但不限于：训练数据被投毒污染，模型结构被更改、对抗攻击等问题，

为了解决此类问题，需要系统性地对大模型做验证（Verification）和确认（Validation）：

验证（Verification）：通过技术手段确保模型结构、训练流程和数据质量符合设计要求，解决黑盒计算错误和数据污染问题。
确认（Validation）：通过用户场景测试、安全验证和持续监控，确保模型满足实际应用需求，避免幻觉和合规风险。

除此之外，这类大模型核心只是权重文件，还需借助第三方推理框架才能正常、简洁地使用。推理框架本质上也是软件，同样可能存在各种安全漏洞，一旦被攻击者利用，可能导致敏感数据泄露、计算资源滥用，甚至影响系统稳定性，带来严重的安全隐患。

推理框架安全漏洞频发

近期，国家信息安全漏洞共享平台发布公告，Ollama存在未授权访问漏洞，可能导致敏感资产被窃取、虚假信息投喂、模型计算资源滥用和拒绝服务、系统配置篡改和扩大利用等恶意操作。

无独有偶，近期工业和信息化部网络安全威胁和漏洞信息共享平台（CSTIS）也发布了《关于防范针对DeepSeek本地化部署实施网络攻击的风险提示》，指出攻击者利用搜索引擎投毒、仿冒网站等方式，诱导用户下载伪造的 DeepSeek 部署工具包，如“ds 大模型安装助手”，传播HackBrian RAT、Gh0st和FatalRAT等木马程序。一旦被植入木马，攻击者可进一步控制用户服务器，导致窃取敏感信息、破坏系统数据，甚至入侵内部网络等严重危害。

此外，除了Ollama，llama-factory、vllm、llmstudio等热门推理框架也可能存在常见漏洞，对于企业而言，如何快速发现并精准修复这些潜在的高危漏洞，是保障 AI 业务安全的关键。

软安MST：AI安全检测解决方案

软安科技MST（model security tool）专为AI模型安全打造，从模型训练、开发、测评、部署到运行，帮助企业全面防护AI生态安全。通过模型相似度分析、溯源追踪分析、漏洞传递等技术，精准识别与被测模型相似度极高的开源模型，并通过基因库中开源模型潜在的安全漏洞、内容安全和许可信息等，检测被测模型的应用安全和合规风险。

识别高危漏洞

MST通过框架安全检测、敏感信息检测等手段，检测被测件中大模型的已知安全漏洞、远程执行脚本、敏感信息等内容。

以Ollama为例，MST通过基因库分析，发现部分版本已经存在高、中、低危漏洞，建议企业避免使用这些版本。若已部署，用户可利用 MST 进行版本检测+漏洞扫描，快速锁定风险并获取修复建议。

生成式 AI 内容安全评估

由于目前市面主流的GenAI大模型大都基于transformer架构，核心思路是根据上文预测next token生成的概率。整个过程需要使用数十亿乃至数千亿的神经元参与线性和激活计算，非常复杂。对研发人员和用户而言，完全是无法预见、不可追踪的黑盒。期间哪怕只有少数神经元计算出错，就可能导致next token最终的概率分布出错，这是大模型产生幻觉的根本原因。

不论是pre-train，还是post-train，都需要大量优质的训练语料，然而开发团队在准备训练语料时，无法每条语料都进行人工审核，训练数据可能包含低质量、违法违规内容，影响模型输出安全性。

软安科技MST基于精准的语义分析，依据TC260-003《生成式人工智能服务安全基本要求》标准衍生的验证（Verification）和确认（Validation）方法，对用户输入的prompt和大模型回答进行不同维度的评分，协助大模型开发人员快速定位违法违规内容的问题所在。

以某模型为例，通过内容合规检测，发现该模型在敏感词维度评分较低，部分回答不符合相关标准。