青少年越來越多地使用人工智慧驅動的心理健康應用程序，學校有機會利用這項技術為學生提供更多支援。
但 流行技術的新風險評估 敦促學生和教育工作者謹慎行事。
Common Sense Media 是一家研究和倡導年輕人健康使用技術的非營利組織，史丹佛大學腦力激盪實驗室評估認為，這些應用程式的市場不受監管，可用的產品可能對青少年有害。
然而，並非所有人工智慧心理健康應用程式都是一樣的。專為學校使用而設計的、讓人們了解情況的應用程式在風險評估方面比直接面向消費者的應用程式表現得更好。
Common Sense Media 青少年人工智慧安全研究所的人工智慧和數位評估主管 Robbie Torney 表示，對於那些面臨學校心理學家和輔導員短缺的學區來說，這些應用程式可能是一種有用的資源。
她說：“這些基於學校的心理健康應用程式可以幫助學生獲得所需的支持，但它們不能成為學生獲得所需支持的唯一部分。”
雖然許多人（包括青少年）轉向使用 ChatGPT 等通用人工智慧聊天機器人來獲取心理健康支持，但專門構建的人工智慧心理健康應用程式通常聲稱是根據臨床專業知識設計的，並提供以治療為導向的框架、安全協議，有時還提供人工監督。
根據 Common Sense Media 的另一項研究，十分之三的青少年使用過人工智慧心理健康應用程序，甚至更多的青少年使用 ChatGPT 等通用應用程式來獲得心理健康或情感支持。
評估是如何進行的
Common Sense Media 和史丹佛腦力激盪實驗室的研究人員首先評估了兩個「機構」應用程式和三個消費者應用程式的安全性和可用性。為了確定這些應用程式是否安全，研究人員創建了實驗記錄，看看這些應用程式是否可以識別焦慮、過動症、憂鬱和精神病等各種狀況的警告信號。他們還測試了這些應用程式是否能夠準確評估情況的嚴重性，提供危機資源並在需要時引導使用者接受專業護理，並且不會提供可能使用戶症狀惡化或延誤適當治療的有害建議。
儘管支援所有測試應用程式的技術相似，但專為學校設計並讓人們了解情況的機構應用程式 Alongside 和 Sonar 在風險評估中得分明顯更高。
聲納的風險被評為最小且較低。
為了獲得金牌，學生可以與健康的教練發短信，而不是人工智慧聊天機器人。根據該報告，人工智慧被用來「提供過去參與的背景、建議回應、提出疑慮並協助分類」。
報告指出，使用「Alongside」的學生可以與人工智慧聊天機器人聊天，但該聊天機器人被整合到學校現有的護理系統中，而不是一個獨立的工具。當與學生的聊天討論高風險話題時，該應用程式會向學校輔導員和管理人員發出警報。如果學生在 3 小時內發送超過 60 則訊息，則聊天功能將被停用。
托里說，風險評估尚未發現這些應用程式中的一些漏洞。除了檢測和識別飲食失調症狀的困難之外，自動化偏差也可能使 Sonar 的人類培訓師面臨過度依賴聊天機器人的風險，尤其是在沒有經過適當培訓的情況下。
該公司產品和臨床護理總監艾爾莎·弗里斯(Elsa Fries)表示，儘管該報告的「低」風險評級令該公司感到鼓舞，但該公司正在認真對待這些建議。
他說：“我們認為這種應對措施是我們加強安全、問責制和適齡支持的責任的一部分。” “我們已經實施了評估的建議，包括改善飲食失調的成長途徑，並且我們將繼續努力讓年輕學生更容易理解這種體驗。”
《教育周刊》聯繫了 Sonar 徵求意見，但在發表之前沒有收到回應。
總之，該報告建議，一款能夠快速與有需要的用戶透過電話聯繫的應用程式應該遵守所有產品標準。
評估稱，人工智慧心理健康應用程式也應該有意義地融入人類護理系統。報導稱，Side by Side 和 Sonar 都坦言其人工智慧功能的局限性，他們的應用程式旨在照顧學生而不是取代照顧。
易於存取的消費者心理健康應用程式在品質上存在顯著差距
報告稱，在研究人員檢查的消費者應用程式中，有兩款在評估過程中沒有通知或轉換支援的情況下從應用程式商店消失了。第三個消費者應用程式 Wysa 的風險評級為「不可接受」。
托尼說，風險評估包括這些應用程序，因為它們很受歡迎，學齡兒童很容易自己下載。
托尼說，經過測試的直接面向消費者的產品的一個一致問題是它們無法將各個點連接起來。
「如果我在一次或一系列對話中分享訊息，人類治療師或人類諮商師將能夠將這些訊息放在一起，並以整體方式了解年輕人正在發生的事情，」他說。他說，人工智慧可以檢測出明顯的情緒困擾跡象，但該技術經常會錯過「麵包屑」。
這些應用程式也沒有強制執行他們聲稱的使用年齡限制，並且鼓勵用戶在應用程式上花費更多時間。
Wiser 執行長 Joe Aggarwal 在聲明中表示，該公司歡迎對其產品進行審查。但他表示，該應用程式的免費成人版是作為風險評估的一部分進行測試的，而不是專門針對學校和其他類似環境的兒童和青少年產品。
「Wysa 的免費消費者應用程式對於成年人來說是一款引人注目的、基於證據的自助工具，」他說。 「它不是危機服務、診斷工具、治療替代品或醫生主導的途徑，其安全協議是針對這種情況而設計的。我們已經解決了報告中確定的圍繞恢復安全計劃的真正改進領域，並且我們正在加強有幫助的護欄。但我們強烈反對將此視為 Wyfesa 的一個功能。”
Wysa 發言人表示，Wysa 青少年的應用程式只能透過學校和諮詢服務等付費產品的組織使用。根據購買的服務，如果用戶透過應用程式撥打危機熱線或其他類似操作，學校或諮詢服務可能會收到警報。
根據風險評估，研究人員記錄的 Wysa 普遍可用的應用程式存在一些更嚴重的問題，包括與 13 歲測試對象進行成人性遊戲；反映用戶在表現出飲食失調、躁狂和精神病症狀時的慶祝和樂觀的語言；並讓青少年輕鬆脫離自殺危機，無需後續。
報告指出，這種人工智慧產生的反應可能會延誤關鍵治療。
然而，Wysa 在整個對話中透露了其人工智慧的局限性（即使沒有提出要求），並接受了風險評估。
較早的 通用人工智慧聊天機器人對心理健康的風險評估Common Sense Media 的聊天機器人（例如 ChatGPT、Claude 和 Gemini）在安全、適當地回答青少年問題時也發現了類似的問題。
