本文小编为大家详细介绍“Python如何实现异常检测”，内容详细，步骤清晰，细节处理妥当 香港云主机，希望这篇“Python如何实现异常检测”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。我将使用Andrew Ng的机器学习课程的数据集，它具有两个训练特征。我没有在本文中使用真实的数据集，因为这个数据集非常适合学习。它只有两个特征。在任何真实的数据集中，都不可能只有两个特征。首先，导入必要的包导入数据集。这是一个excel数据集。在这里，训练数据和交叉验证数据存储在单独的表中。所以，让我们把训练数据带来。让我们将第0列与第1列进行比较。你可能通过看这张图知道哪些数据是异常的。检查此数据集中有多少个训练示例：计算每个特征的平均值。这里我们只有两个特征：0和1。输出：根据上面“公式和过程”部分中描述的公式，让我们计算方差：输出：现在把它做成对角线形状。正如我在概率公式后面的“公式和过程”一节中所解释的，求和符号实际上是方差输出：计算概率：训练部分已经完成。下一步是找出阈值概率。如果概率低于阈值概率，则示例数据为异常数据。但我们需要为我们的特殊情况找出那个阈值。对于这一步，我们使用交叉验证数据和标签。对于你的案例，你只需保留一部分原始数据以进行交叉验证。现在导入交叉验证数据和标签：标签如下：我将把’cvy’转换成NumPy数组，因为我喜欢使用数组。不过，数据帧也不错。输出：这里，y值0表示这是一个正常的例子，y值1表示这是一个异常的例子。现在，如何选择一个阈值？我不想只检查概率表中的所有概率。这可能是不必要的。让我们再检查一下概率值。输出：如图所示，我们没有太多异常数据。所以，如果我们从75%的值开始，这应该是好的。但为了安全起见，我会从平均值开始。因此，我们将从平均值和更低的概率范围。我们将检查这个范围内每个概率的f1分数。首先，定义一个函数来计算真正例、假正例和假反例：列出低于或等于平均概率的概率。检查一下列表的长度输出：根据前面讨论的公式定义一个计算f1分数的函数：所有函数都准备好了！现在计算所有epsilon或我们之前选择的概率值范围的f1分数。输出：这是f分数表的一部分。长度应该是133。f分数通常在0到1之间，其中f1得分越高越好。所以，我们需要从刚才计算的f分数列表中取f的最高分数。现在，使用“argmax”函数来确定f分数值最大值的索引。输出：现在用这个索引来得到阈值概率。输出：我们有临界概率。我们可以从中找出我们训练数据的标签。如果概率值小于或等于该阈值，则数据为异常数据，否则为正常数据。我们将正常数据和异常数据分别表示为0和1，输出：这是标签列表的一部分。我将在上面的训练数据集中添加此计算标签：我在标签为1的地方用红色绘制数据，在标签为0的地方用黑色绘制。以下是结果。读到这里，这篇“Python如何实现异常检测”文章已经介绍完毕，想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会，如果想了解更多相关内容的文章，欢迎关注开发云行业资讯频道。
这篇文章主要讲解了“Docker如何搭建简单秒杀环境”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Docker如何搭建简单秒杀环境”吧！首先，先简单介绍下本文中会涉及到的一些组件，如下图所示：jmeter：用j…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
