加入收藏 | 设为首页 | 会员中心 | 我要投稿 宜春站长网 (https://www.0795zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 动态 > 正文

什么是人工智能的数据标注?

发布时间:2021-02-20 17:28:33 所属栏目:动态 来源:互联网
导读:事务中任何一步的状态,都必须在整个集群中可见,并且还要有容灾的能力。这个需求,一般还是由集群的目录服务来承担。如果我们的目录服务足够健壮,那么我们可以把每步事务的处理状态,都同步写到目录服务上去。ZooKeeper再次在这个地方能发挥重要的作用。

事务中任何一步的状态,都必须在整个集群中可见,并且还要有容灾的能力。这个需求,一般还是由集群的“目录服务”来承担。如果我们的目录服务足够健壮,那么我们可以把每步事务的处理状态,都同步写到目录服务上去。ZooKeeper再次在这个地方能发挥重要的作用。

如果事务发生了中断,需要回滚,那么这个过程会涉及到多个已经执行过的步骤。也许这个回滚只需要在入口处回滚即可(加入那里有保存回滚所需的数据),也可能需要在各个处理节点上回滚。如果是后者,那么就需要集群中出现异常的节点,向其他所有相关的节点广播一个“回滚!事务ID是XXXX”这样的消息。这个广播的底层一般会由消息队列服务来承载,而类似Jgroups这样的软件,直接提供了广播服务。

虽然现在我们在讨论事务系统,但实际上分布式系统经常所需的“分布式锁”功能,也是这个系统可以同时完成的。所谓的“分布式锁”,也就是一种能让各个节点先检查后执行的限制条件。如果我们有高效而单子操作的目录服务,那么这个锁状态实际上就是一种“单步事务”的状态记录,而回滚操作则默认是“暂停操作,稍后再试”。这种“锁”的方式,比事务的处理更简单,因此可靠性更高,所以现在越来越多的开发人员,愿意使用这种“锁”服务,而不是去实现一个“事务系统”


 

另外一种消息队列,则类似一个公共的邮箱。一个消息队列服务就是一个进程,任何使用者都可以投递或收取这个进程中的消息。这样对于消息队列的使用更简便,运维管理也比较方便。不过这种用法下,任何一个消息从发出到处理,最少进过两次进程间通信,其延迟是相对比较高的。并且由于没有预定的投递、收取约束,所以也比较容易出BUG。

不管使用那种消息队列服务,在一个分布式服务器端系统中,进程间通讯都是必须要解决的问题,所以作为服务器端程序员,在编写分布式系统代码的时候,使用的最多的就是基于消息队列驱动的代码,这也直接导致了EJB3.0把“消息驱动的Bean”加入到规范之中。

事务系统

在分布式的系统中,事务是最难解决的技术问题之一。由于一个处理可能分布在不同的处理进程上,任何一个进程都可能出现故障,而这个故障问题则需要导致一次回滚。这种回滚大部分又涉及多个其他的进程。这是一个扩散性的多进程通讯问题。要在分布式系统上解决事务问题,必须具备两个核心工具:一个是稳定的状态存储系统;另外一个是方便可靠的广播系统。


 

间隙锁

间隙锁(简称为 Gap)是对索引记录之间的间隙的锁定,或者是对第一条索引记录之前的间隙和对最后一条记录之后的间隙的锁。间隙锁是防止幻读的主要手段之一,幻读是同一个事务在不同的时间执行相同的查询语句,得出的结果集不同。那么间隙锁是如何防止幻读的呢?实际上就是通过锁定指定的间隙,使得这些间隙无法插入新的记录,从而防止了数据的增长。

假设我们执行此条语句:select * from user where id > 5 and id < 9 for update;

由于间隙锁的存在,其他事务如果想要插入 id 在 5 和 9 之间的记录是无法成功的,会被阻塞,直到间隙锁释放。比如想要插入 id 为 6 的记录,就会阻塞,如下图所示(省略部分无关的字段)。间隙锁跨越的间隙可能为一个值、多个值、甚至为空值。


 

5. 论与业务关系

安全运营离不开业务这个衣食父母,要有服务意识,这是基础,但在笔者看来,怎么向业务阐述清楚业务面临的数据安全风险更为关键,这也是运营的基本功之一吧,如果能与业务就风险达成一致的认知,以覆盖率、收敛为目标的安全措施、治理项目就更多的变成在业务侧怎么协调资源、排期的执行层面的问题了。

在运营的过程中,除了业务外,兄弟团队如HR、合规、内控等也是数据安全运营要协作的,其实大家目标都是一致的,在实际工作中明确各自的主战场并建立协同作战机制,如内部人员舞弊需要数据运营团队的数据支持与合规团队的情报线索、线下调查结合才能打一个漂亮的组合拳。

三、提炼总结

(1) 根据业务形态不断调整数据安全打法:

  • 成熟业务,侧重推进基础安全能力提升,典型问题溯源到底,防御为主;
  • 快速发展业务,安全容忍度适当放宽,抓典型案例震慑,事前工作做足,如SDL能力覆盖;
  • 成长业务:介于两者之间,借业务系统升级、转型接入推进安全能力提升,标本兼治;

(2) 通用性数据安全风险要有统一的成熟技术方案,覆盖率、风险收敛作为核心指标,涉敏数据外发、账号风险治理、反爬等;

(3) 坚持对标的意义:最大化的提升效率,避免走弯路,但对标并不能保证风险收敛,因此需要运营的投入,与业务做自适应匹配。



(编辑:宜春站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读