Унікальність сучасної обробки даних полягає в тому, що вона не намагається відтворити людську модель пізнання, а створює контекстну статистику на основі даних, але (!) без будь-якої гарантії появи помилкових автокореляцій. Ба більше, є реальний ризик того, що алгоритм може надавати дискримінаційні висновки. Прикладом є програмне забезпечення COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) — продукт комерційної компанії "Northpointe" (з 2017 року компанія називається "Equivant"). Ця програма оцінює ризик повторного скоєння злочину особою, щодо якої суддя повинен ухвалити вирок. Вона є найбільш використовуваною програмою в системі кримінального правосуддя США.
COMPAS базується на даних, отриманих з
137 анкетних питань, на які відповідає підсудний, або у разі відмови інформація береться з його досьє. Дані поділяються на динамічні, які мають мінливий характер та можуть змінюватися — наркоманія, оточення, професійний статус, і статистичні, які не можуть змінюватися і є більш визначальними для формування висновку — вік, стать, кримінальна історія, статус злочинця при скоєнні першого злочину. Під час опитування особам ставляться такі питання: "Як часто ви вступали в бійки, коли були у школі?", "Скільки ваших друзів/знайомих коли-небудь були заарештовані?", "Скільки вам було років, коли ваші батьки розлучилися, якщо таке було?", "Чи має право красти голодна людина?" Під час підрахунку підсудні поділяються на групи ризику діапазоном від 1 до 10 (від 1 до 4 — низький ризик; 5-7 — середній ризик; 8-10 — високий ризик). Таким чином суддя ухвалює вирок, ґрунтуючись на такій оцінці ризику.
Американська неурядова організація ProPublica
виявила порушення етичних норм алгоритмами, які використовуються в програмі COMPAS, а саме расову упередженість: алгоритм вдвічі частіше позначав чорношкірих обвинувачених як рецидивістів, у той час як білошкірі були визначені як особи з низьким ступенем ризику. Оцінка виявилася ненадійною в прогнозуванні, адже тільки 20% чорношкірих з передбачених 40% фактично скоїли повторний злочин.