海南一恶势力团伙长期非法倒卖土地牟利2000多万元被判刑

新华社海口10月25日电(记者刘邓)海南省儋州市人民法院日前公开宣判一起非法倒卖土地牟利的恶势力团伙犯罪案件。以犯非法倒卖土地使用权罪、故意毁坏财物罪,数罪并罚,判处该团伙首犯陈吉利有期徒刑9年,并处罚金150万元;其余12名团伙成员分别被判处有期徒刑7年6个月至1年6个月不等刑期,并处罚金。

法院审理查明,2006年至2008年期间,陈吉利为牟取不法经济利益,以海南大鹏建材开发有限公司之名分别与临高县新盈镇古春村、新兴村等4个村庄签订《土地承包合同书》,占用村庄土地358.64亩(其中农用地154.11亩)。陈吉利在尚未依法取得土地使用权的情况下,擅自将部分土地进行平整并划为宅基地进行倒卖,非法获利760.2万元。

但是训练模型需要大量的计算资源。根据2018年OpenAI的分析,从2012年到2018年,在大型AI训练中,计算量的需求增长了300,000倍,也就是大概每3.5个月的时间翻一番,远远超过了摩尔定律的步伐。

该恶势力团伙长期在临高县新盈镇地区以暴力、威胁、恐吓、滋扰等手段,在非法占有土地、非法倒卖土地使用权过程中多次实施故意伤害、故意毁坏财物等犯罪行为。

DeepSpeed将大型模型分为四个流水线阶段,分为较小的组件(层)。每个流水线阶段中的层进一步划分为四个“工人(workers)”,它们执行实际的训练。每个管道都在两个并行数据实例之间复制,并且工作程序被映射到多GPU系统。由于有了这些和其他性能改进,微软表示,一个万亿参数的AI模型可以减少到仅需要800个Nvidia V100 GPU训练。

雷锋网原创文章,。详情见转载须知。

DeepSpeed的最新版本还包含了ZeRO-Offload技术,该技术可利用GPU及其主机CPU上的计算和内存资源,从而在一台V100上训练多达130亿个参数的模型。微软声称这比最新技术强10倍,使得训练人员可以使用更少的计算资源来进行数据科学家的训练。 

增强的DeepSpeed利用三种技术来实现“万亿级”模型训练:数据并行训练、模型并行训练和管线并行训练。

2009年,陈吉利因犯非法占用农用地罪等罪,被判处有期徒刑6年。陈吉利在服刑期间因患有严重疾病,于2012年被保外就医。之后,陈吉利召集并组织团伙成员继续对其占用的集体土地进行倒卖,先后向50多人出售土地约1.22万平方米,并将买卖土地的落款时间倒签为2006年至2008年,由此获取违法所得1275.45万元。

雷锋网编译,via venturebeat 雷锋网雷锋网(公众号:雷锋网)

训练一个万亿参数的模型将需要至少400个Nvidia 今年最新推出的A100 GPU(每个内存高达40GB),并且Microsoft估计需要4,000台A100以50%的效率运行,大约需要100天才能完成训练。这与微软和OpenAI共同设计的AI超级计算机无并不匹配,后者包含10,000多个显卡,在这样的超大规模下,很难获得很高的计算效率。

“这些(DeepSpeed中的新技术)提供了极高的计算、内存和通信效率,并支持数十亿到数万亿个参数的模型训练。” 微软在博客中写道,“这些技术还允许极长的输入序列,并通过单个GPU,具有数千个GPU的高端集群或具有非常慢的以太网网络的低端集群释放硬件系统的能量。我们将(继续)进行快速创新,为深度学习训练突破了速度和规模的界限。”