去年12月,一个周日的清晨,阿曼达·拉法雷纳斯(Amanda Lafrenais)在推特上谈论了她的猫。
“我愿意为你而死,”这位来自德克萨斯州克鲁特的31岁漫画艺术家写道。
猫1:请喂我,谢谢
我:哈,真可爱。
猫2:如果你现在不喂我,我就要报警了,我不敢相信你会这样对我,我很失望我没有把你养成这样
我:我愿意为你而死。
- AmandaLafrenais (@AmandaLafrenais)2018年12月16日
从人的角度看,这条微博似乎无关痛痒。
但在一个对大规模校园枪击事件高度恐惧的时代,它触发了隐形的警报。
当地布拉佐波特独立学区最近雇佣了一家名为社会哨兵监控所有用户(包括成年人)在脸书、推特和其他社交媒体平台上的公开帖子。该公司的算法将Lafrenais的推文标记为潜在威胁。自动警报被发送给该地区的警司、警察局长、学生服务主任和指导主任。记者获得的文件显示,在本学年的头八个月里,向Brazosport官员发出了近140个此类警报188竞猜比分.
“社会哨兵”标记的其他“威胁”包括:
关于电影《射手》(Shooter)、斯蒂芬·f·奥斯汀州立大学(Stephen F. Austin State University)女子篮球队举办的“射击诊所”的推文,以及有人显然对自己的信用评分“飙升”感到高兴。
一个常见的Facebook测试,由当地一家电子烟店的经理发布。
一个自由主义智库的执行主任在推特上写道,一名美国民主党参议员因为支持堕胎权而“支持谋杀”。
布拉佐斯波特区自己的一所小学发布了一条帖子,提醒家长们当天上午将进行封锁演习。
“请注意,这只是一次演习,”学校的帖子写道。“谢谢你的理解。演习结束后,我们将在评论区发帖。”
这就是美国学校面临的新现实,它们正在仓促建立庞大的数字监控基础设施,往往很少考虑其有效性或对公民自由的影响。
社交媒体监控公司会跟踪学校周边地区每个人的帖子,包括成年人。其他公司使用学区发放的电脑和账户扫描数百万学生的私人数字内容。这些服务与小费报告应用程序、面部识别软件和其他新技术系统相辅相成。
佛罗里达提供了一个一瞥这一切将走向何方加州议员正在推动建立一个州数据库,将个人的教育、刑事司法和社会服务记录与他们的社交媒体数据结合起来,然后与执法部门共享。
在全国范围内,这些努力已经产生了深远的效果。
新技术只产生了一些关于挫败校园暴力的轶事报道,其中的细节往往很难确定。但他们也让美国儿童的自杀和自残问题再次成为人们关注的焦点。他们还创造了一个巨大的法律和道德灰色地带,这让学校管理人员苦恼不已,他们大多只能自己解决问题。
纽约大学法学院布伦南司法中心自由与国家安全项目律师雷切尔·莱文森-沃尔德曼说:“这与9/11后的情况类似。”“尽你所能阻止下一个可怕的事情发生是一种可以理解的本能。但解决方案并不能解决问题,它还会产生新的问题。”
监控学生的网络生活
为什么越来越多的人开始监控学生的网络生活?
考虑到数字足迹被指控在佛罗里达州帕克兰市马乔里·斯通曼·道格拉斯高中杀害17人,打伤17人的精神失常少年尼古拉斯·克鲁兹留下的。2018年2月。
在枪击事件发生之前,克鲁兹在Instagram上发布了武器的照片,并写道“我他妈想杀人。”他用诸如“杀人容易吗”和“杀人时放好听的歌”这样的短语在网上搜索。克鲁兹用他的手机录下了自己策划大屠杀的视频。据称,他还利用学校的电脑查找如何制作钉子炸弹的说明。
社会哨兵公司首席执行官加里·马戈利斯说:“如果你对一所学校的安全和保障负责,你就必须注意那些预示着危害的地方。”该公司声称,30个州的“数千所”K-12学校正在使用其服务。
马戈利斯说,把注意力集中在可能会通过公司监控系统的假阳性上是不公平的。任何伤害都比不上抓到的好处。他提到了最近发生的一起事件,一名大学生在Twitter上威胁要射杀他的教授,因为他把考试安排在清晨。(这名学生被逮捕,他说自己没有恶意。)
马戈利斯还指出,校园枪击事件在统计上仍然很罕见,相反,他强调了社会哨兵组织围绕更普遍的自杀和自残问题所做的工作。
但是,像科伦拜恩、桑迪胡克和帕克兰这样备受瞩目的大规模悲剧正在推动全国的讨论,以及围绕学校安全和安保的许多决策。科技公司显然也注意到了这一点。
例如,联邦数据显示,在20年前的科伦拜恩大学(Columbine)袭击事件发生后,使用安全摄像头监控学校的学校比例急剧上升。
最近,这种趋势已经转变为收集数字数据并扫描它们以寻找可能的警告信号。
家长和K-12学校管理人员对这类工具的欢迎,导致了学校安全技术市场的新一轮繁荣,少数老牌公司和越来越多的初创公司现在竞相提供更全面的监控功能。
例如,今年4月,一家公司打来电话安全当时正在参加学校网络联盟(Consortium for School Networking)的年会上,向K-12学校的技术官员介绍其迅速扩张的一系列服务。
学校采用的新型数字监控技术的部分吸引力在于其相对较低的标价。
在密歇根例如,有1.7万名学生的大急流城(Grand Rapids)本学年向Gaggle支付了略低于7.1万美元的费用,以监控网络流量,并向工作人员提醒有问题的内容。
德州与此同时,该校拥有1.23万名学生的布拉佐斯波特独立学区(Brazosport Independent School District)每年要向“社会哨兵”(Social Sentinel)支付1.85万美元的社交媒体监控服务费用。每个学生约1.5美元的费用似乎是该公司的典型收费标准。
该公司首席执行官加里•马戈利斯表示,低廉的费用掩盖了社会哨兵所提供服务的价值。
当Securly在2013年推出时,它唯一的产品是一个网络过滤器,可以阻止学生访问淫秽和有害内容。联邦《儿童互联网保护法》要求大多数学校使用此类工具。
不过,一年后,Securly也开始对学生的社交媒体帖子进行“情绪分析”,寻找他们可能是网络欺凌或自残受害者的迹象。
2016年,该公司将分析范围扩大到学生的学校电子邮件账户,监控通过学区网络发送的所有信息。该公司还开发了一款“情商”应用,向父母发送每周报告和自动推送通知,详细介绍孩子的互联网搜索和浏览历史。
然后,在2017年,Securly也开始监控所有的信息,以寻找潜在的暴力和攻击迹象。它增加了一条举报热线,以及一层24小时人工审查学校可以选择的标记威胁。
“孩子们无时无刻不在呼救,”Securly的K-12安全主管迈克·乔利(Mike Jolley)说。“你永远不会停止关心你的学生。”
华盛顿智库未来隐私论坛(Future of privacy Forum)的教育隐私主管阿米莉亚·万斯(Amelia Vance)说,这种语言现在在整个行业都很普遍。
万斯说,这是为了向学校传递一个明确的信息:
“如果你让我们监视一切,你会更安全。”
“隐私被扔出了窗户”
在她2019年的书中监督资本主义时代在美国,学者和活动家肖莎娜·祖博夫(Shoshana Zuboff)描述了推动美国经济的新引擎:将人们的在线行为转化为数字数据的能力,这些数据可以用来预测他们下一步的行动。
这种模式使谷歌和Facebook等公司迅速成为数十亿美元的庞然大物,而它们的商业模式对更广泛的社会影响还没有得到充分考虑。
类似的事情现在正在K-12安全市场发生。
来自伊利诺伊州布卢明顿。总部位于美国的公司群提供了一扇窗口,让我们了解这种趋势在实践中是什么样子的。
每天,Gaggle监控近500万美国K-12学生创建的数字内容。这包括他们使用学校发放的设备和账户创建和存储的所有文件、信息和课堂作业。
该公司的机器学习算法自动扫描所有信息,寻找关键字和其他可能预示坏事即将发生的线索。Gaggle的员工在决定是否通知负责安全、技术和学生服务的学区官员之前,会审查最严重的警报。通常情况下,这些管理人员会根据具体情况决定是否通知校长或其他大楼级别的工作人员。
虽然学校通常对他们对公共社交媒体帖子的监控保持沉默,但他们通常会向学生和家长披露什么时候在地区发行的设备和账户上创建的数字内容将受到监控。这种监控通常是根据学校的负责任使用政策进行的,学生和家长必须同意才能使用学区的设备、网络和账户。
假设,学生和家庭可以选择不使用这种技术。但这样做会使参与大多数学校的教育生活变得极其困难。
Gaggle首席执行官杰夫·帕特森(Jeff Patterson)表示,这就是当今世界的运行方式。
他说:“在过去的五年里,隐私被抛在了窗外。”“我们是其中的一部分。为了社会的利益,为了保护孩子。”
今年早些时候,该公司发布报告详细介绍了2018年6月至12月期间的结果。报告称,Gaggle成功地标记了5100起“需要立即关注迫在眉睫的严重问题”的事件。据报道,其中577起案件涉及有人计划对他人实施袭击或暴力的迫在眉睫的威胁。
从Gaggle的K-12客户那里获得的文件,以及对这些地区管理人员的采访,揭示了这些数字背后的混乱现实。
以密歇根州大急流城学区的1.7万名学生为例。
Gaggle的一位公关顾问介绍说188竞猜比分这表明该公司帮助阻止了针对该地区一所学校的有计划的暴力活动。
事实上,去年12月,当地新闻媒体都在热议有报道称一起校园枪击案遭到挫败涉及一个15岁的学生。
在一次采访中,大急流城地区的安全主管拉里·约翰逊(Larry Johnson)描述了这起事件。他说,威胁信息最初是在Snapchat上发布的。涉案学生随后使用学区网络将这些帖子发送给朋友。Gaggle标记了这些电子邮件,导致该公司通知了地区官员,后者又打电话给了大急流城警方。
这个学生在下一个上学日之前就被逮捕了。这名少年后来被开除。
但当被问及是否有可信的袭击学校的计划时,约翰逊表示反对。
他说,这名学生“把它当成了一个玩笑”。“我们有一个刑事司法系统,有机会决定什么是严重的。”
现在,把这件事放在大背景下看。
根据该区提供的一份仪表盘摘要,枪击威胁/玩笑只是本学年8月至2月在大急流城学校被Gaggle标记的近3000起事件之一。
其中超过2500项是轻微违规行为,大多涉及亵渎。
通过公共记录请求从学区获得的文件,可以详细了解Gaggle系统捕捉到的数百起事件背后的细节:
- 超过36名大急流城的学生被标记为潜在的自杀或自残,通常是存储文件或发送包括“恨我自己”、“伤害我自己”和“结束我的生命”在内的信息。
- 超过24名学生因存储或发送攻击性或色情图片或视频而被标记。
- 学生们因为存储了包含“虐待我”和“强奸”字样的文件而被标记为可能对他人施暴。
在那些可能被标记为亵渎和仇恨言论的人中:
- 至少有十几名学生存储或发送了包含“同性恋”一词的文件。
- 一个学生存了一个叫"生物项目"的文件里面有个"屎"字。
- 一个学生存了一个叫"诗歌作品集"的文件里面有个"逼"字。
- 一个学生存了一个叫"奥德赛论文"的文件里面有个"混蛋"这个词。
一个地区如何平衡审查和跟进这样大量警报的收益、成本和负担,特别是当它们从令人震惊到模棱两可到荒谬的时候?
大急流城的安全主管约翰逊承认了这一挑战。
这个系统真的很浪费时间。他关心学生的权利。
但他说,与父母的感谢相比,任何这些不利因素都相形见绌,因为他们很感激这项技术提醒了他们,他们的孩子正在考虑自杀。
“我认为这是必要之恶,”约翰逊说。
“老大哥在看着”
这正是查德·马洛想要挑战的心态。
“为了防止一个孩子受到伤害,我们将伤害数百万学生,这说得通吗?美国公民自由联盟(American Civil Liberties Union)的高级倡导和政策顾问马洛说。
一个三月份博文概述了美国公民自由联盟认为与学校监控相关的真正威胁:压制学生的知识自由和言论自由权利。破坏了他们对隐私的合理期望。用错误的指控伤害孩子。系统地让一代孩子对无处不在的监控变得麻木。
其他K-12 Gaggle客户的经历有助于阐明这种担忧。
例如,华盛顿州的常青公立学校(Evergreen Public Schools)本学年开始使用该公司的服务。从9月到3月中旬,该系统在这个2.6万名学生的学区内标记了9000多起事件。
绝大多数(84%)是轻微违规行为,比如亵渎。
该地区的安全与安保主管谢恩·加德纳(Shane Gardner)说,有少数人帮助该地区防止打架,并为那些想要伤害自己的孩子寻求帮助。没有一个可以合理地被认为阻止了针对学校的暴力。
加德纳说:“我们从来没有解决过这样的事件,‘天哪,幸好我们抓住了这个孩子,因为他的吉他箱里有一把枪。’”
然而,其他几十个警报让长荣公司的管理人员手忙手乱地想办法,如何最好地应对他们没有预料到的各种情况。
例如,当一个青少年在一篇描述他艰难成长经历的大学录取论文中多次被标记为“不恰当的”语言时,这意味着什么?当学生在戏剧中使用冒犯性的语言或写日记作为课堂作业时,他们会被标记吗?
加德纳说,Evergreen最终决定关闭Gaggle的脏话和仇恨言论过滤器。
还有一种是朋友间模糊的信息所产生的警报。当一个学生写信给另一个学生,“明天一切都结束了”,学区应该如何回应?
加德纳说,在这种情况下,常青区派当地警察在半夜到一个家庭进行福利检查。这最终演变成了一种并不严重的“分手情况”。
也许最令人不安的是,当学生将个人设备插入学区发放的电脑,导致Gaggle的过滤器自动抓取并扫描他们的私人照片和视频时,学校要考虑哪些法律和道德问题?
加德纳说,这种情况在常青学校发生过很多次。
一名学生因为上传了自己吸大麻的照片而被警告。其他学生则因为展示打斗场面的个人照片和可能被视为儿童色情的裸体照片而被标记。长青学校的管理人员对此作出了回应,通知了家长、警方和国家失踪与受剥削儿童中心。
美国公民自由联盟的马洛称这种情况令人愤慨。
他指出,有一项宪法修正案禁止政府发表警务言论。它在《权利法案》中排在第一位是有原因的。
他问道,在文化上保守的社区里质疑自己性取向的学生,或者在自由社区里探索自己政治信仰的特朗普支持者,该怎么办?当校长和家长被告知他们输入和搜索的所有内容时,他们研究新身份和新思想的自由是否受到了损害?
此外,马洛问道,学校和公司如何知道他们没有让事情变得更糟?例如,如果学生们知道,当他们与朋友讨论自残或自杀时,管理人员和家长会被提醒,这真的会阻止他们寻求帮助吗?
马洛说,学校永远不应该监控私人数字内容。时期。
他说:“学生和家庭不应该义不容辞地找出他们何时处于危险之中,并为此做出调整。”“国家监控会自动产生不良后果。”
不过,这并不是长青学校向学生和社区传递的信息。
“每次和孩子们谈话,我们都会提醒他们‘老大哥’在看着他们,”该地区安全主管加德纳说。
接受持续监视?
许多学生似乎很清楚这一新的现实。
Gaggle的另一个客户、德克萨斯州坦普尔独立学区(Temple Independent School District)的教学技术专家杰西卡·梅斯(Jessica Mays)说,有时,有顾虑的学生只是给自己发电子邮件,希望算法能把这条信息标记给成年人。
梅斯说,一名学生“打开谷歌Doc,写下了对班上一个男孩行为怪异的担忧,然后输入了他们能想到的每一个坏词。”在纸条的最后,这名学生为脏话道歉,但写道他们想确保这条信息触发了警报。
对于支持者来说,这是学生们喜欢有新的寻求帮助的方式的证据。
但对于布伦南司法中心的律师莱文森-沃尔德曼来说,这提出了一个更大的问题。
“我们是否从小就在训练孩子接受持续的监控?她问道。
至少到目前为止,K-12的官员们似乎还没有进行这样的对话。
学校决心不成为下一个科伦拜恩学校(Columbine)、帕克兰学校(Parkland)或桑迪胡克学校(Sandy Hook),它们正在急切地寻找新技术。企业助长了这些担忧,然后以提供新服务作为回应。然后,这些系统在最少的预见性或监督下部署。
再举一个例子。
今年早些时候,“社会哨兵”标记了德克萨斯州布拉佐斯波特学区的另一个社交媒体帖子。该地区一名刚毕业的学生在推特上发了一张自己用猎枪指着天空的照片,并配上了“我第一次射击传单,这是我第一次开枪”的文字,后面还有笑脸和鼓掌的表情符号。
布拉佐体育学校的官员没有回应多次置评请求,似乎也没有对这篇帖子采取任何行动。
Social Sentinel首席执行官马戈利斯说,他因此没有看到可能的危害。
“如果学校的负责人可能会看到一些关于某人去打猎的信息从系统中溜走,为什么会产生寒蝉效应呢?”他问道。“没有威胁。”
然而,上个月美国公民自由联盟提起了诉讼因为类似的情况,结果却不一样。新泽西州的一个学区暂停了两名高中生的学习,原因是他们使用Snapchat分享了周末在私人射击场使用合法枪支的照片。
此案仍在法庭审理中。
这些强大的新监控工具会在任何经过仔细考虑的共识达成之前,在学校里根深蒂固吗?
最近的历史和当前的趋势似乎都指向了这一点。
就连Gaggle的首席执行官帕特森也承认,他对这种动态感到矛盾。
他祈祷再也不要发生校园枪击案。他希望Gaggle能够帮助那些经常被忽视的学生。他希望这样做的方式仍然允许孩子们犯正常的童年错误,而不会造成改变生活的后果。
但市场需求可能与这些愿望背道而驰。
帕特森说,五年前,Gaggle绝对不会考虑增加社交媒体监控服务。这太有侵略性了。
现在,他认为这是不可避免的。
帕特森说:“我知道我会反对我自己的一些产品。“但世界已经变了。”