Датасет без слідів: PII, анонімізація, EXIF

Що робимо сьогодні

Модуль I · IT Skills (Cloud Services & Cyber Security) · тема 3, урок 1 з 2 · 120 хвилин · класи 10A, 10B, 10C

Мета. Зібрати таблицю з відповідями однокласників і прибрати з неї людей. Наступного уроку з цієї таблиці ти зробиш діаграми. «Прибрати людей» — це не «стерти прізвища». Це зробити так, щоб за жодним рядком не можна було показати пальцем на конкретного однокласника.

Найпоширеніша помилка звучить так: «ми ж прибрали прізвища, отже дані анонімні». Сьогодні ти побачиш на екрані, що це не так. У таблиці на 24 людини прізвище видалено, а 12 рядків усе одно вказують рівно на одну особу.

Після уроку ти вмієш

• подивитися на таблицю без прізвищ і сказати, кого з неї все одно впізнають;
• переробити колонки так, щоб рядок описував не людину, а групу людей;
• однією командою порахувати, скільки людей у найменшій групі твого файлу;
• подивитися, що телефон дописав усередину твого фото, і стерти це;
• записати в окремий файл, яку колонку ти змінив і чому саме так.

Слова квазіідентифікатор, k-анонімність і EXIF поки нічого не означають. Розберемо їх по черзі. Кожне — після прикладу, а не до нього.

Хід уроку

Персональні дані: пряме означення

Не «те, що соромно показати», а точний юридичний і технічний критерій

Уяви рядок: «10A, 15 років, вулиця Лісова». Імені тут немає, а людина є — однокласники впізнають її за секунду. Такі відомості закон називає персональними даними.

Точне формулювання — зі статті 2 Закону «Про захист персональних даних». Це відомості про фізичну особу, яка ідентифікована або може бути конкретно ідентифікована. Європейський GDPR каже те саме довше. Він додає, що особу можна визначити й непрямо. Наприклад, за місцем чи за онлайн-ідентифікатором. Або за однією з ознак її життя — від здоров'я до статків і занять.

Ключове слово тут — «може бути». Не «названа на ім'я», а «можна вирахувати». Тому дивитися на одну колонку марно. Питання завжди одне: чи можу я, дивлячись на цей рядок, показати пальцем на людину?

Три види ідентифікаторів

Прямі ідентифікатори всі бачать одразу: жоден школяр не опублікує таблицю з колонкою «телефон». А от «клас», «вік» і «вулиця» виглядають безневинно — і саме тому їх залишають. Про них — увесь наступний блок.

Чому «ми ж прибрали прізвища» не працює

Три нешкідливі колонки перетинаються рівно в одній людині

Уяви таблицю опитування 10A. Прізвище видалено — колонка просто зникла. Лишилися клас, вік, вулиця й улюблений предмет. Виглядає анонімно. Аж поки хтось із класу не подивиться на рядок «10A, 15 років, Математика» і не скаже: «це ж Коваленко, він у нас єдиний, хто пішов до школи з шести років».

Повторна ідентифікація

До твоєї таблиці хтось додає те, що знає сам, — і дістає ім’я. Це називають повторною ідентифікацією, або деанонімізацією.

Таким зовнішнім знанням може бути що завгодно. Однокласники пам’ятають, хто де живе. На сайті школи висить список олімпіадників. У соцмережі відкрита дата народження. Вистачає будь-якого з цих трьох джерел.

Її ж підрахунок за переписом США 1990 року: комбінація «поштовий індекс + стать + повна дата народження» унікальна для 87 % населення. Пізніша перевірка Філіпа Ґолле на переписі 2000 року дала 63 %. Цифра менша, а висновок той самий: три «нешкідливі» поля ідентифікують більшість людей.

Інспектор датасету

Вимикай колонки й дивись, скільки людей лишаються впізнаваними

Ось опитування трьох десятих класів: 24 рядки, п’ять колонок. Кожен прапорець — це колонка, яку ти публікуєш. Знятий прапорець означає, що колонки у файлі немає взагалі.

Після кожного кліку сторінка перераховує рядки заново. Вона шукає ті, чия комбінація ознак більше ніде не повторюється. Такий рядок вказує рівно на одну людину — його підсвічено.

Що показує ця послідовність

П’ять способів знеособлення

Від «видалити колонку» до «показувати лише групи» — і що втрачається на кожному кроці

Знеособлення — це не одна кнопка, а сходинки. Кожна наступна сходинка робить датасет безпечнішим і водночас біднішим. Твоє завдання — зупинитися там, де висновок для інфографіки ще можливий, а людина вже ні.

Таблиця відповідності — теж персональні дані

Іноді зв’язок між записами однієї людини потрібен. Наприклад, щоб порівняти її відповідь у вересні й у травні. Тоді й беруть псевдонім.

Але файл keys.csv із рядками учень_03,Коваленко — це повноцінна база персональних даних. Тримай його поза ~/www/: у теці ~/data/ з правами 600. На сервер він зазвичай не їде взагалі.

k-анонімність: правило п’яти

Одне правило, яке замінює всю інтуїцію: не показуй групу, у якій менш ніж п’ять людей

Уяви шкільне фото. Одна людина стоїть окремо — на неї легко показати. П’ятеро в однакових куртках стоять поруч — вибрати з них конкретну важко. Розмір такої групи й позначають буквою k.

У таблиці група — це рядки з однаковими значеннями. Знайди найменшу таку групу: скільки в ній людей, таке в тебе й k. Формально це звучить так: датасет k-анонімний, якщо в кожного рядка є ще k − 1 таких самих сусідів. Ідею запропонувала Латаня Свіні у 2002 році.

k = 1 означає, що хтось у таблиці сам-один: його видно. k = 5 означає інше. Найточніше, що можна сказати про людину, — «вона одна з п’ятьох». Поріг п’ять беруть і статистичні служби, коли публікують дані по малих районах.

Як довести k ≥ 5 до зеленого

1. випиши, які колонки в твоєму data.csv є квазіідентифікаторами;
2. порахуй, скільки рядків має кожну комбінацію їхніх значень;
3. знайди найменше з цих чисел — це твоє k;
4. якщо k < 5: узагальнюй далі (вік → ширший діапазон, вулиця → район) або прибирай зайву колонку;
5. якщо після цього залишається дрібна група — злий її в інше і напиши про це в anonymize-log.md.

Найменша група — двоє (сімнадцятирічні в 10C), отже k = 2, і публікувати такий зріз ще зарано. Прибери колонку віку зовсім — лишиться три групи по вісім осіб, k = 8, і правило виконано.

EXIF: усе, що фотоапарат дописав за тебе

Ти публікуєш зображення. Разом із ним публікуються модель телефона, час і координати

На звороті паперового знімка колись підписували дату й місце. Телефон робить це сам, тільки підпис лежить усередині файлу. Цей прихований підпис зветься EXIF — Exchangeable image file format.

Придумали його для фотографів: камера сама записувала витримку й діафрагму. Стандарт веде організація CIPA, актуальна версія — Exif 2.32. Смартфон дописує в той самий блок секцію GPSInfo — координати місця зйомки.

Найважливіше: EXIF — це частина файлу, а не властивість програми. Він їде разом із фото у месенджер, на сайт, на флешку. Одні сервіси зрізають його при завантаженні, інші — ні. Вгадувати, який саме перед тобою, не варто.

Куди це врешті потрапляє

Редактор EXIF: натисни й подивись, що дізнається сторонній

Ліворуч — картка знімка з полями метаданих. Кнопки внизу роблять із файлом рівно те саме, що зробив би exiftool. «Опублікувати як є» показує, який висновок зробить стороння людина з того, що лишилося.

Ті самі дії в терміналі

Усе це ти робиш у себе на комп’ютері, у теці data/lesson-03/. На сервері фотографій немає, тому й чистити там нічого.

Скриншот теж не порожній

У PNG-скриншоті EXIF зазвичай немає. Зате зайве в ньому видно очима. Ім’я користувача в шляху до файлу. Вкладки браузера. Сповіщення месенджера. Прізвища у списку чату. Відкрита мапа з твоїм домом.

Саме так дані витікають найчастіше — зі скриншота, надісланого в чат класу.

Ще одна пастка. Ти обрізав фото в редакторі, а в EXIF лишилася мініатюра, зроблена до обрізання. Тобто те, що ти щойно відрізав. exiftool -all= знімає й її. Видалення окремих полів — ні.

Право на приватність: що каже закон

Без юридичної казуїстики — лише те, що змінює твої дії в цьому проєкті

Приватність в Україні захищена не «правилами школи», а Цивільним кодексом і окремим законом. Тобі досить трьох норм.

За тим, чи виконують цей закон, стежить окрема посадова особа. Її посада зветься довго: Уповноважений Верховної Ради України з прав людини. Простіше кажучи — це людина, якій пишуть скаргу, коли чиїсь дані опублікували без дозволу. Вона може зажадати від сайту чи школи прибрати дані, а за відмову — оштрафувати.

Європейський GDPR влаштований за тією ж логікою, але додає одну деталь. Уяви, що ти замінив прізвища на учень_03, а таблиця відповідності лежить у тебе на диску. Це псевдонімізація, і закон такі дані досі захищає. А ось до по-справжньому анонімних даних закон уже не застосовується: людини за ними немає, захищати нічого. Тому мета уроку — довести файл до другого стану, а не до першого.

Чотири правила, які з цього випливають

1. Мета — перша, дані — другі. Спочатку напиши, який висновок має показати інфографіка. Потім збери рівно ті колонки, без яких цього висновку не буде. Усе інше не збирай узагалі.
2. Згода до збору, а не після публікації. Учасник опитування має знати, що результат буде публічним, і мати змогу не відповідати.
3. Мінімум, достатній для висновку. Якщо графік працює на діапазонах віку — точний вік не потрібен нікому.
4. Сире видаляється. Після того як data.csv зібрано, сирий файл із прізвищами не має жити ані на сервері, ані «в завантаженнях» назавжди.

Три файли, які їдуть на сервер

data.csv, credits.md, anonymize-log.md — і нічого більше

1. data.csv — очищений датасет

Щонайменше 10 рядків даних і 3 колонки. Кома як роздільник, перший рядок — заголовки латиницею без пробілів. Приклад оформлення (числа умовні, свої візьмеш зі свого опитування):

Зверни увагу на останню колонку: у жодній групі не менше п’яти осіб. Це і є k = 5 у готовому вигляді. Прізвищ, телефонів, точних адрес і точного віку у файлі немає взагалі — не «замінено на зірочки», а немає.

2. anonymize-log.md — що саме прибрано і чому

Головний документ уроку. Щонайменше три перетворення, кожне — рядком «колонка → що зроблено → чому». Запис без «чому» чекер поки не зарахує. Допиши причину й залий файл ще раз — спроби не обмежені. Саме «чому» показує, що ти розумієш ризик, а не копіюєш шаблон.

3. credits.md — походження і ліцензія

Чекер шукає в цьому файлі слова «джерело» і «ліценз». Але пишеш ти його не для чекера: наступного уроку саме з цього файлу братимуться підписи під діаграмами.

Перевір себе тими самими регулярками, що й чекер

Одна з перевірок на сервері блокуюча. Вона читає всі три опублікованих файли. Шукає чотири речі: телефон, +380, адресу електронної пошти та запис виду «Прізвище І.П.». У списку критеріїв ця перевірка зветься no_pii. Прожени ті самі пошуки в себе до заливання.

Практика: від сирих відповідей до чистого датасету

Кроки 1—11 — у твоєму терміналі й редакторі, крок 12 — заливання по FTP. Галочки зберігаються, сторінку можна закрити.

Автоперевірка

Чекер не знає твого класу. Він читає опубліковані файли й шукає в них те, чого там бути не повинно. Спроби не обмежені.

Демонстраційний режим: результат згенеровано для показу. На сервері ця кнопка викликає POST /api/check, який запускає /opt/lessons/05/check.sh від імені учня.

Що вчитель дивиться на твоєму екрані

• відкритий сирий raw.csv із прізвищами — щоб було видно, що анонімізація справді виконана, а не датасет був порожній із самого початку;
• вивід exiftool на одному твоєму фото до й після очищення: у першому GPS є, у другому вивід порожній;
• ти показуєш у raw.csv конкретний рядок і кажеш, у що він перетворився в data.csv і чому;
• ти рахуєш k просто зараз, командою, і називаєш найменшу групу;
• у теці ~/www/infographic/ немає нічого, крім трьох текстових файлів.

Шкала виконання

Це те, що бачить учитель, коли виставляє оцінку.

Чотири речення, які варто запам’ятати

• персональні дані — це не «ім’я», а будь-що, за чим людину можна вирахувати;
• прізвище прибрати легко, а квазіідентифікатори лишаються — і в нашому датасеті на 24 людини після видалення прізвища впізнаваними лишилися 12;
• правило публікації одне: k ≥ 5, тобто жодної групи менше п’яти осіб;
• EXIF — частина файлу, а не властивість програми: exiftool -all= працює до публікації, після — вже пізно.

Де найчастіше помиляються

• «анонімізують» заміною імені на ініціали К. О. — ідентифікація зберігається;
• видаляють колонку з ім’ям, але лишають «нік у соцмережі» або «email батьків»;
• датасет із шести рядків: унікальний кожен запис, анонімізація неможлива в принципі;
• таблицю відповідності псевдонімів кладуть поруч із даними в ~/www/;
• чистять EXIF без -overwrite_original і залишають поруч .jpg_original з усіма координатами;
• заливають растрові зображення в ~/www/infographic/ — це відразу зупиняє блокуючий критерій no_media.

Домашнє завдання

Знайди приклад реального витоку через «анонімізовані» дані. Підійде Netflix Prize, пошукові логи AOL, теплова карта Strava або будь-який інший. Опиши його в credits.md п’ятьма реченнями.

Перше — які дані опублікували. Друге — що до них додали ззовні. Третє — кого й як упізнали. Четверте — чим це закінчилося. П’яте — який висновок ти зробив для власного датасету.

Звідки взяті означення й числа

Усе, що на цій сторінці подано як факт, має посилання. Перевіряти дозволено й корисно.

• Закон України «Про захист персональних даних» № 2297-VI — означення персональних даних (ст. 2), вимоги до обробки (ст. 6), права суб’єкта (ст. 8). zakon.rada.gov.ua/laws/show/2297-17
• Цивільний кодекс України, ст. 302 і 307 — право на інформацію та захист інтересів особи при фото-, кіно-, теле- і відеозйомці. zakon.rada.gov.ua/laws/show/435-15
• Уповноважений Верховної Ради України з прав людини — орган контролю за захистом персональних даних. ombudsman.gov.ua
• GDPR, ст. 4 — означення «персональні дані» і «псевдонімізація»; преамбула, п. 26 — про по-справжньому анонімні дані. gdpr-info.eu/art-4-gdpr
• L. Sweeney. k-Anonymity: A Model for Protecting Privacy (2002) — формальне означення k-анонімності. dataprivacylab.org/dataprivacy/projects/kanonymity
• L. Sweeney. Simple Demographics Often Identify People Uniquely (2000) — 87 % населення США унікальні за {індекс, стать, дата народження} на переписі 1990 року; там же — історія з базою страхових виплат штату Массачусетс. dataprivacylab.org/projects/identifiability
• P. Golle. Revisiting the Uniqueness of Simple Demographics (2006) — перерахунок на переписі 2000 року: 63 %. dl.acm.org/doi/10.1145/1179601.1179615
• A. Narayanan, V. Shmatikov. Robust De-anonymization of Large Sparse Datasets (2008) — деанонімізація «анонімного» датасету Netflix Prize. cs.utexas.edu/~shmat/shmat_oak08netflix.pdf
• Exif 2.32 (CIPA DC-008) — стандарт метаданих зображення, включно з секцією GPSInfo. cipa.jp — Exif 2.32
• ExifTool, Phil Harvey — документація, ключі -all=, -gps:all=, -overwrite_original. exiftool.org
• Strava Global Heatmap, 2018 — як агреговані треки тренувань показали розташування військових баз. bbc.com/news/technology-42853072
• Формат CSV (RFC 4180) — чому кома і чому перший рядок заголовок. datatracker.ietf.org/doc/html/rfc4180

Повний список із поясненнями, що звідки взято, — у файлі urok-05-джерела.md поруч із цією сторінкою.