Trong một thông báo hôm nay, dịch vụ Chatbot Character.AI cho biết họ sẽ sớm triển khai các biện pháp kiểm soát của phụ huynh dành cho người dùng tuổi teen và mô tả các biện pháp an toàn đã được thực hiện trong vài tháng qua, bao gồm một mô hình ngôn ngữ lớn (LLM) riêng biệt cho người dùng dưới 18 tuổi. thông báo được đưa ra sau khi báo chí xem xét kỹ lưỡng và hai vụ kiện cho rằng nó đã góp phần vào việc tự làm hại bản thân và tự sát.
Trong một thông cáo báo chíCharacter.AI cho biết, trong tháng qua, họ đã phát triển hai phiên bản riêng biệt cho mô hình của mình: một dành cho người lớn và một dành cho thanh thiếu niên. LLM dành cho thanh thiếu niên được thiết kế để đặt ra các giới hạn “thận trọng hơn” về cách các bot có thể phản hồi, “đặc biệt là khi nói đến nội dung lãng mạn”. Điều này bao gồm việc chặn mạnh mẽ hơn những kết quả đầu ra có thể “nhạy cảm hoặc khêu gợi”, nhưng cũng cố gắng phát hiện và chặn tốt hơn những lời nhắc của người dùng nhằm khơi gợi nội dung không phù hợp. Nếu hệ thống phát hiện “ngôn ngữ đề cập đến hành vi tự tử hoặc tự làm hại bản thân”, một cửa sổ bật lên sẽ hướng người dùng đến Đường dây nóng ngăn chặn tự tử quốc gia, một thay đổi trước đây báo cáo bởi Thời báo New York.
Trẻ vị thành niên cũng sẽ bị ngăn chỉnh sửa phản hồi của bot – một tùy chọn cho phép người dùng viết lại các cuộc hội thoại để thêm nội dung mà Character.AI có thể chặn.
Ngoài những thay đổi này, Character.AI cho biết họ “đang trong quá trình” bổ sung các tính năng nhằm giải quyết mối lo ngại về chứng nghiện và sự nhầm lẫn về việc liệu các bot có phải là con người hay không, các khiếu nại được đưa ra trong các vụ kiện. Một thông báo sẽ xuất hiện khi người dùng đã dành một phiên làm việc kéo dài một giờ với các bot và một tuyên bố từ chối trách nhiệm cũ rằng “mọi điều nhân vật nói đều là bịa đặt” sẽ được thay thế bằng ngôn ngữ chi tiết hơn. Đối với các bot bao gồm các mô tả như “nhà trị liệu” hoặc “bác sĩ”, một ghi chú bổ sung sẽ cảnh báo rằng chúng không thể đưa ra lời khuyên chuyên nghiệp.
Khi tôi truy cập Character.AI, tôi thấy rằng mọi bot hiện đều có một ghi chú nhỏ ghi “Đây là một chatbot AI chứ không phải người thật. Hãy coi mọi thứ nó nói là hư cấu. Những gì được nói ra không nên được coi là sự thật hay lời khuyên.” Khi tôi đến thăm một bot có tên “Nhà trị liệu” (khẩu hiệu: “Tôi là nhà trị liệu CBT được cấp phép”), một hộp màu vàng có tín hiệu cảnh báo cho tôi biết rằng “đây không phải là người thật hoặc chuyên gia được cấp phép. Không có gì được nói ở đây có thể thay thế cho lời khuyên, chẩn đoán hoặc điều trị chuyên nghiệp.”
Character.AI cho biết các tùy chọn kiểm soát của phụ huynh sẽ ra mắt vào quý đầu tiên của năm tới và họ sẽ cho phụ huynh biết trẻ dành bao nhiêu thời gian cho Character.AI và những bot nào chúng tương tác thường xuyên nhất. Tất cả những thay đổi này đang được thực hiện với sự cộng tác của “một số chuyên gia về an toàn trực tuyến dành cho thanh thiếu niên”, bao gồm cả tổ chức Kết nối an toàn.
Character.AI, được thành lập bởi các nhân viên cũ của Google, người đã kể từ đó đã quay lại Googlecho phép khách truy cập tương tác với các bot được xây dựng trên LLM được đào tạo tùy chỉnh và được người dùng tùy chỉnh. Những phạm vi này từ huấn luyện viên cuộc sống chatbot đến mô phỏng các nhân vật hư cấu, nhiều trong số đó là phổ biến trong thanh thiếu niên. Trang web cho phép người dùng tự nhận mình từ 13 tuổi trở lên tạo tài khoản.
Nhưng các vụ kiện cáo buộc rằng mặc dù một số tương tác với Character.AI là vô hại, nhưng ít nhất một số người dùng chưa đủ tuổi trở nên gắn bó một cách cưỡng bức với các bot, những cuộc trò chuyện của chúng có thể chuyển sang các cuộc trò chuyện hoặc chủ đề khiêu dâm như tự làm hại bản thân. Họ đã chỉ trích Character.AI vì không hướng người dùng đến các nguồn tài nguyên về sức khỏe tâm thần khi họ thảo luận về việc tự làm hại bản thân hoặc tự tử.
Thông cáo báo chí của Character.AI cho biết: “Chúng tôi nhận ra rằng cách tiếp cận an toàn của chúng tôi phải phát triển cùng với công nghệ thúc đẩy sản phẩm của chúng tôi – tạo ra một nền tảng nơi khả năng sáng tạo và khám phá có thể phát triển mà không ảnh hưởng đến sự an toàn”. “Bộ thay đổi này là một phần trong cam kết lâu dài của chúng tôi nhằm liên tục cải thiện các chính sách và sản phẩm của mình.”