
據報導,美國作家兼藝術家Molly Crabapple在10月的一天醒來,發現她的Instagram帳戶受到了嚴格限制。當她打開應用程式時,讀到一條訊息:「您的帳戶無法向非追蹤者顯示。」
Instagram沒有對這一限制做出更多解釋,這令人費解。她猜測這可能是在她轉發了Democracy Now!的一篇文章後觸發的!關於國家批准對約旦河西岸以色列定居者進行軍事化的問題。
在類似的案例中,10月12日,Instagram暫停了24歲加薩記者莫塔茲.阿紮紮(Motaz Azaiza)的帳戶,他記錄了大規模毀滅和死亡的毀滅性場景。在其追隨者的強烈抗議後,該帳戶被恢復。Instagram的母公司Meta並沒有對暫停做出任何解釋。
自去年十月加薩戰爭爆發以來,這些只是社交媒體上流傳的許多類似故事中的兩個。儘管Instagram沒有公佈其對帳戶限制的數量和類型的數據,無論是細粒度的還是一般的數據,但自10月以來,此類限制似乎對阿拉伯語用戶和公眾人物(包括從事與戰爭相關言論的記者)產生了不成比例的影響。許多人抱怨他們被「影子禁止」,這意味著他們的帳戶和貼文對其他用戶和追蹤者來說不太明顯(眾所周知,影子禁止很難證明)。有人說某些主題標籤,例如#IStandWithPalestine,已變得無法搜尋。其他人分享的內容刪除通知沒有提供任何解釋或補救機制。人權和研究團體呼籲科技公司解決他們所說的平台上猖獗的反巴勒斯坦種族主義和針對巴勒斯坦人及其盟友的歧視性內容。
對於許多關注內容審核工具及其政治演變的人來說,社群媒體限制的這些明顯趨勢並不令人意外。自從社群媒體公司在過去十年開始打擊網路極端主義以來,理論上旨在防止暴力和煽動性言論的反極端主義政策一再不公平地歧視說阿拉伯語的人、巴勒斯坦人及其盟友。這些缺陷是技術系統的偏見、內容審核工具的不完善以及反恐制度的反阿拉伯偏見所造成的。
美國和歐洲的監管機構幾乎沒有立即追索權,因為現有法律沒有授權他們糾正內容審核中的偏見。事實上,一些現有法律,例如歐盟新的數位服務法案,可能會導致偏見的節制。
結果是,社群媒體公司正處於嚴重失去用戶信任的邊緣,因為儘管一再承諾自我改進,但它們的自動審核系統仍然存在歧視。為了成為良好的言論自由行為者並保持其信譽,這些公司必須鼓起勇氣承受平衡權利保護和傷害預防的政治代價——特別是當所涉及的權利是歷史上邊緣化社區的權利時。
反恐戰爭與平台政策
過去幾年,平台加強了打擊「恐怖主義」和「暴力極端主義」的系統,以應對鎮壓極端主義團體的壓力加大,這些團體巧妙地利用這些平台招募和傳播宣傳。伊斯蘭國的崛起和2019年3月紐西蘭克賴斯特徹奇清真寺襲擊事件通常被認為是催化當前系統並為其鋪平道路的兩起事件。
跨平台的緩和極端主義內容圍繞著兩種基本政策方法具體化,針對發言者類別或特定言論術語。定位發言人依賴被視為危險且不允許其出現在平台上的實體清單。此類定位旨在防止這些名單上的參與者擁有或管理或被認為擁有或管理的帳戶。這些平台從未公佈過的名單(儘管有些已經洩露),通常嚴重依賴美國、歐盟或聯合國對恐怖主義的認定。第二種方法針對特定的言論術語或其組合,旨在集體阻止被認為支持或宣揚極端主義實體、事件或意識形態的內容,無論帳戶所有者是誰。在Meta的Facebook和Instagram平台上,該政策禁止「讚揚、實質支持或代表」。
本應防止暴力和煽動性言論的反極端主義政策卻一再不公平地歧視說阿拉伯語的人、巴勒斯坦人及其盟友。
這些政策是長達兩個十年的反恐戰爭的產物,這場戰爭淡化了西方的人權保護,尤其是神聖不可侵犯的正當程序權。特別是,反恐戰爭建立了新的警務和監管做法,使可信威脅的概念變得非常廣泛且不透明。反恐戰爭警務不公平地針對穆斯林,掃蕩了無辜的社區和個人。其他邊緣化社群也遭受了這些做法的影響,而來自更有權勢社群的可信威脅卻未被發現。
這一遺產的體現之一是公司以不同的方式緩和極右極端主義與伊斯蘭極端主義。儘管伊斯蘭主義和極右極端主義都被列為這些政策的目標,但它們在不同平台上的調節程度並不相同——尤其是在Meta中——這表明這些系統中嵌入了種族化。2021年洩漏的「危險個人和組織」政策中使用的長期秘密元清單揭示了這些偏見。它透過三層系統對實體進行分類,每一層都意味著不同的言論限制和違規處罰。第一層受到最嚴格的限制和處罰,人口絕大多數為穆斯林、阿拉伯人和南亞人。相較之下,極右極端主義實體大部分被列為第三級類別,允許對包括新納粹團體在內的團體進行「讚揚」。
從理論上講,分級系統是一種明智的漸進方法,用於調節各種不同的指定實體,每個實體都會帶來不同的風險和危害。然而,在實踐中,似乎存在長期偏見,認為來自「西方」團體的極端主義比那些與伊斯蘭教有聯繫的極端主義危險性要小。
Tech Against Terrorism是聯合國支持的政府和公司之間的合作夥伴關係,它發布的數據提醒超過150家參與的科技公司注意違規內容,也揭示了同樣的不平等審核模式。根據該組織的2021-22年透明度報告,專家提醒各公司注意近19,000個包含恐怖分子內容的URL。這些警報中約95%是針對伊斯蘭恐怖分子內容,而只有5%被認為是極右翼內容。即使報告的解釋是正確的——這種巨大的差異是由於這些群體的「宣傳傳播技術」的差異造成的——平台的刪除率也有很大差異。只有61%的極右派恐怖分子內容被刪除,相較之下,84%的伊斯蘭恐怖分子內容被刪除。儘管沒有提及為什麼清除率差異很大,但像Meta那樣對極右極端主義更加寬鬆的分級系統很可能就是造成這種差異的原因。畢竟,刪除美國極端主義政客的內容比刪除巴勒斯坦記者的內容的政治成本要高得多。

大規模執法工具
自從像Meta這樣的社群媒體平台開始打擊極端主義內容以來,極端主義團體已經改變了他們的宣傳方式。作為回應,平台制定了新的反策略,依賴大規模自動化執法等工具。但這些工具的基礎是反恐戰爭方法的缺陷。結果,他們只是放大了內容審核的偏見。
內容審核政策的執行是一件棘手的事情,尤其是當您的目標群體巧妙地克服了每項限制其存在的新限制時。為了因應平台對其存在的打壓,指定團體遷移到新平台(包括Telegram等加密訊息應用程式),並分散其內容的傳播。影片和圖像託管網站也變得至關重要。但最終,極端主義團體製作的內容透過與這些團體無關的善意使用者或透過與這些團體有非正式關係的帳號重新回到社群媒體平台。
為了因應這種發展,在整個技術領域共享極端主義內容資訊的舉措應運而生,作為提高平台準備的一種方式。這些平台及其協作計劃尋求解決極端主義團體產生的內容分散傳播的一種方法是一種稱為「散列」的做法,其中對此類內容進行「指紋識別」,以便自動化系統可以集體進行預防性內容審核。全球反恐互聯網論壇是一個全行業合作機構,透過創建和維護一個「哈希共享資料庫」,將使用哈希進行自動審核的做法主流化,該資料庫包含URL、圖像、視訊、PDF和與極端主義實體有聯繫的其他形式。這種做法的直接後果是不加區別地刪除具有這些視覺效果的內容,即使在非極端主義用途中,例如諷刺和新聞報導。
這種合作並不新鮮。隨著兒童性虐待材料進入社群媒體,迫切需要對此類內容進行有效、先發制人的跨部門監管。這種協作技術對於防止某些內容的集體分發非常有效,但它對分發的上下文幾乎沒有區別。因此,它實際上只應在廣泛共識認為在任何情況下都不應允許此類內容在線時用於阻止內容。顯然,永遠不應該傳播描繪兒童性虐待的圖像。另一方面,顯示爆炸受害者的圖像不應該被用來煽動對極端主義事業的熱情,但它可能具有新聞價值。哈希無法輕鬆地區分這些用例。目前,平台和這些合作機構還沒有發布任何公開數據來說明將這種散列做法擴展到極端主義內容如何影響用戶的言論自由。
刪除美國極端主義政客的內容比刪除巴勒斯坦記者的內容的政治成本要高得多。
自動化系統還使用內容過濾器來標記僅可能違規的內容。任何內容中的某些關鍵術語或術語組合都會觸發演算法驅動的審核過程。如果自動審核以「高置信度」判斷內容違反政策,則無需人工審核即可刪除。如果審核判斷內容違規,但信心不足,則該內容將轉交給人工審核員。然而,據報導,去年安全工作人員的大規模裁員增加了對自動化系統的依賴,社群媒體公司表示,從定義上來說,這意味著錯誤的增加。
無論它們是依賴協作雜湊還是內部專有內容過濾器,這些自動化系統的設計和執行都已被記錄下來,導致對來自相同背景的用戶過度執行,而這些用戶無意中受到了反恐政策的影響。雖然還沒有對這些平台的專有系統進行公開審計,但對自動語音檢測工具的獨立研究表明,種族化路線存在系統性偏見。此外,2021年洩漏的Meta備忘錄指出,根據目前的阿拉伯反恐「分類器」刪除的內容中,有77%經審查發現實際上並未違反Meta政策。為了回應這些調查結果以及監督委員會(Meta成立的獨立機構)的建議,Meta啟動了政策改善流程。
然而,即使平台意識到其系統存在問題,他們也開始部署新策略,以類似的問題方式限制帳戶和某些貼文的外展。平台不是禁止用戶或將他們鎖定幾天,而是使用影子禁止,這使得某些帳戶無法在推薦內容的提要頁面上搜尋或「排名下降」。一些發布親巴勒斯坦內容的巴勒斯坦人和其他社群媒體用戶告訴我,自加薩戰爭爆發以來,他們貼文的參與度大幅下降,他們只能假設自己的帳號已被禁止。有些人收到了Instagram的通知,稱他們的「帳戶和內容不會出現在探索、搜尋、建議用戶、捲軸和Feed推薦等地方」,因為他們的「帳戶活動」可能不遵守政策,並且沒有解釋哪些內容或內容政策引發了這一點。
其他明顯歧視巴勒斯坦言論的案例甚至更難以解析,但似乎顯示演算法和程式中仍然存在偏見。10月的一個例子中,Instagram的自動翻譯系統將巴勒斯坦國旗表情符號、英文「巴勒斯坦」和阿拉伯語短語「感謝上帝」的組合轉換為英語短語「讚美上帝,巴勒斯坦恐怖分子正在為自由而戰。」雖然該公司立即道歉並修復了「錯誤」,但沒有透露錯誤是如何產生的。
顯然,Meta和其他社群媒體公司的執行系統持續出現錯誤。他們幾乎沒有什麼政治或經濟壓力要求他們做得更好。
系統性偏差
理想情況下,社群媒體公司的審核系統的設計和實施應限制有害內容,同時保護使用者的人權。然而,在實踐中,大規模刪除有害內容會限制使用者的權利,尤其是少數群體和弱勢群體。這些限制很大程度上是由於系統中嵌入的權衡造成的,及時、明智的刪除可以防止現實生活中的傷害。但倉促清除可能會破壞大規模暴行的記錄以及目標弱勢群體的人權。
然而,當涉及阿拉伯語內容時,嵌入的偏見和技術限制阻礙了在這種權衡中取得適當的平衡,並且審核系統傾向於過度執行。今年早些時候,Meta表示,其目前對阿拉伯語單字shaheed(意為「烈士」)及其衍生詞的審核方法導致Meta平台上「刪除的內容比任何其他單字或短語都多」。就以色列巴勒斯坦問題而言,兩年前Meta委託的一項外部評估發現希伯來語和阿拉伯語的執行情況存在差異。自動阿拉伯語標記系統不加區別地刪除非違規內容。相較之下,儘管希伯來語中的反巴勒斯坦和種族主義內容有所增加,但希伯來語內容幾乎沒有被標記。
政治壓力也鼓勵平台過度執行其政策,而不考慮人權或政治細微差別。例如,雖然美國法律並未要求平台刪除恐怖分子內容,但這些公司從表面上看是採用了美國的恐怖分子頭銜。對這些公司來說,自願過度執法比冒險保護個人言論要容易得多。
2023年夏季生效的歐盟數位服務法案建立了新的「通知和行動」機制,允許成員國當局直接命令社群媒體公司刪除涉嫌非法內容。電子前沿基金會(EFF)等數位版權組織批評新規則的越權行為:「取消用戶通訊是一種高度侵入性的行為,侵犯了隱私權並威脅到民主社會的基礎,」EFF表示,並補充道尤其令人不安的是,「非獨立當局」現在擁有這種權力。根據新機制,平台必須在報告後二十四小時內刪除歐盟國家當局認定為「非法恐怖分子」內容的資料。更危險的是,該法律還允許非政府組織甚至被成員國認定為所謂的「可信舉報者」的個人向公司報告非法內容,然後公司必須刪除該內容。
新的歐盟機制旨在讓公司承擔責任,並搶佔公司用來推遲對有問題內容承擔責任的常見論點:他們不知道這一點。但與其他內容審核工作一樣,一個可以說是崇高的意圖可能會產生有問題的結果,特別是當添加到已經嵌入偏見的系統時。
誠然,糾正內容審核的監管架構並不簡單,而且需要時間。在美國,聯邦通訊委員會和聯邦貿易委員會目前幾乎沒有監管內容的權力,因此有意義的改變可能需要立法新的權力。正如歐盟法律所表明的那樣,法規本身並不足以防止主流反恐實踐中的偏見重演,新法規的設計必須考慮到這些問題。
但世界各地的活動人士、研究人員和關心此事的公民必須繼續大力推動問責和改變。社群媒體公司必須更快地修改其政策。他們可以從提高透明度開始,例如發布按語言和地區劃分的自動執行的綜合錯誤率。他們還可以要求對其做法進行獨立審計,增加監督委員會的預算,並履行其對公平和人權的公開承諾。這些行動將服務於公共利益並提高對平台的信任。
可悲的是,某些群體的聲音被邊緣化並不是什麼新鮮事——即使在像美國這樣以言論自由為珍惜理想的國家也是如此。但我們現在正處於一個機器人審查的新時代,出於難以理解的原因,審查者大多是不負責任的公司。尤其令人不安的是,這些公司似乎有意或無意地系統性地歧視阿拉伯語用戶,而此時許多用戶正試圖倡導反對現實生活中針對巴勒斯坦人的暴力行為。
社群媒體巨頭需要投入更多資源來確保內容審核的公平性,並使這些努力更加透明。如果這些公司不自願這樣做,政府法規應該迫使它們這樣做。
封面說明:2023年12月28日,紐約市,千餘人參加曼哈頓市中心的無聲遊行和抗議活動,抗議加薩巴勒斯坦人的死亡事件。這次行動部分是由老年猶太團體組織的,其中包括攜帶數百個小雕像,代表因與以色列持續衝突而在加薩喪生的數千名兒童中的一些人。
封面來源:Spencer Platt/Getty Images
文章來源:https://tcf.org/content/commentary/social-media-war-on-terror-unfairly-censors-palestinians-and-arabic-speakers
發布時間:2024-1-18
作者與組織簡介
Ashraf Hassan,是Century International的政策助理,主要研究埃及政治、北非衝突以及人權與全球技術政策的交叉點。
The Century Foundation,是一個美國的獨立智庫,致力於進行研究、發展解決方案並推動政策變革,以改善人們的生活。我們在教育、醫療保健和工作方面追求經濟、種族、性別和殘疾平等,並促進促進國際合作、和平與安全的美國外交政策。