Нейросеть «ВКонтакте» научили выявлять суицидальный контент
Соцсеть начала использовать «обученный» алгоритм собственной разработки, который присваивает картинкам специальный рейтинг, определяя, содержится ли в них противоправный или «опасный» контент.
Алгоритм распознает на картинках объекты — людей, животных, растения. Выявленный «запрещенный» контент не попадает в поисковую выдачу и «умную» новостную ленту либо полностью блокируется
Технология также способна анализировать текстовые надписи на изображениях.
В компании рассказали, что нейросеть умеет определять предметы и сущности, изображенные на фото. Она понимает не только «человек», «ребенок», «животное», «растение», но и может определить, например, символ «групп смерти», уточняют «Известия».
В целом нейросеть имеет несколько тысяч классов, которые присваиваются фотографиям — от 0 до 1 по нескольким параметрам. Если алгоритм характеризует фото как «опасное», оно отправляется модераторам для проверки. Если же фото признано «умеренно опасным», оно пропадает из поисковой выдачи, а в новостной ленте понижается его приоритет. Механизм помогает остановить распространение спама, мошенничества, детской порнографии, нелегальных услуг и другой противоправной деятельности.
Отдельный сценарий предусмотрен для борьбы с суицидальным контентом. Записи и фото на эту тему удаляются автоматически, а страницы их авторов блокируются.
Если пользователь загружает картинку или упоминает хэштеги, которые ранее использовали в качестве призыва к суициду, «ВКонтакте» блокирует его страницу и предлагает сообщить о причинах публикации.
На основании ответов определяется, когда страница будет разблокирована, и дальнейшие действия: пользователю может быть предложена помощь психологoв фонда «Твоя Территория» или советы по безопасности страницы.
Как рассказал «Здоровью Mail.Ru» руководитель пресс-службы «ВКонтакте» Евгений Красников, нейросеть также находит и удаляет изображения, связанные с темой суицида, а страницы пользователей, разместивших провокационный контент блокируются до первого входа. Владельцу страницы предлагается рассказать о причинах, побудивших его оставить такую публикацию. Если человек действительно задумывается о самоубийстве, его направляют за психологической помощью к специалистам фонда «Твоя территория». Если же мотивы были другие – например, помочь отыскивать запрещенный контент, пользователю предлагают обращаться в службу поддержки ВКонтакте.
Ранее сообщалось о технологии, с помощью которой возможно искать противораковые препараты.
