Диференційна приватність — це формальна теорія забезпечення конфіденційності персональних даних при публікації статистичних аналізів або моделей машинного навчання, обчислених на базі персональних даних. Диференційна приватність гарантує те, що персональні дані неможливо точно відновити з результатів обчислень за рахунок контрольованого додавання випадкових значень в процес обчислень.

Нехай існує довірена сторона, яка володіє масивом чутливих персональних даних (наприклад медичні записи, відомості щодо перегляду кіно або використання електронної пошти) і бажає надавати узагальнену статистичну інформацію про ці дані. Така система називається статистичною базою даних. Однак надання узагальненої статистичної інформації про дані може розкрити деяку інформацію щодо осіб. Дійсно, різноманітні ad-hoc підходи до анонімізації опублікованих записів були подолані, коли дослідники поєднували вміст двох або більше окремих баз даних. Диференційна приватність — це підхід для формалізації приватності у статистичних базах даних, запропонований для захисту від подібних методів деанонімізації.

Наприклад, у жовтні 2006 Netflix запропонував приз у 1 мільйон доларів США за покращення власної системи формування рекомендацій на 10 %. Netflix також випустив тренувальний масив даних для змагання розробників. При випуску цього масиву даних Netflix зазначив, що для захисту приватності користувачів уся персональна інформація, що ідентифікує користувачів, та усі ідентифікатори користувачів замінені на випадкові ідентифікатори.

Netflix — не єдиний портал оцінювання кінофільмів у мережі, існують і інші, зокрема IMDb. На IMDb користувачі можуть реєструватись і оцінювати фільми без анонімізації. Arvind Narayanan та Vitaly Shmatikov, дослідники у University of Texas at Austin, поєднали анонімізований масив даних Netflix з базою даних IMDb (використовуючи дату оцінювання) і частково деанонімізували масив даних Netflix, скомпрометувавши ідентичність деяких користувачів^[1].

Latanya Sweeney з Carnegie Mellon University поєднала анонімізовану базу даних (у якій зберігалися дата народження, стать та поштовий індекс кожного пацієнта) з записами виборців, і змогла визначити медичний запис губернатора штату Массачусетс^[2].

De Montjoye та інші з MIT ввели поняття унікальності і показали, що 4 просторово-часових відмітки з приблизними моментами часу і просторовими координатами достатньо, щоб ідентифікувати 95 % з 1,5 млн людей з бази даних мобільних операторів^[3]. Подальше дослідження показує, що ці обмеження мають місце навіть тоді, коли роздільна здатність набору даних є низькою, що означає, що навіть грубий або розмитий набір даних мобільних операторів та метадані забезпечують малу анонімність.

У 2006, Cynthia Dwork визначила галузь диференційної приватності з використанням результатів роботи, початої у 2003. У цій роботі показано неможливість досягти семантичних цілей безпеки, що відносяться до роботи Tore Dalenius з 1970-х, і визначено нові методи для обмеження зростаючого ризику для персональних даних від їх включення до статистичної бази даних. Це дозволяє у багатьох випадках надати дуже точну статистику на підставі бази даних із забезпеченням високого рівня приватності.^[4][5]

Диференційна приватність — це процес, який вносить випадковість у дані.

Простим прикладом, розробленим у соціальних науках,^[6] є опитування осіб «Ви володієте атрибутом A?», за наступною процедурою:

1. Підкинути монетку.
2. Якщо випав аверс — відповісти чесно.
3. Якщо випав герб — підкинути монетку ще раз і відповісти «Так», якщо випав аверс, або «Ні», якщо випав герб.

Приватність забезпечується через забезпечення відмовності щодо індивідуальних відповідей.

Хоча ці дані з багатьма відповідями є значимими, позитивні відповіді дали чверть осіб, які не мали атрибута A і три чверті осіб, які володіють атрибутом A.

Якщо p справжня частка осіб з A, тоді буде отримано (1/4)(1-p) + (3/4)p = (1/4) + p/2 позитивних відповідей. Звідси можна обчислити p.

PS: зокрема, якщо володіння атрибутом A є синонімом незаконних дій, відповідь «Так» не є зізнанням у злочині, оскільки існує ненульова імовірність хибнопозитивної відповіді «Так».

Нехай ${\displaystyle \epsilon }$ позитивне дійсне число і ${\displaystyle {\mathcal {A}}}$ є увипадковленим алгоритмом, який приймає набір даних на вході, що представляє дії довіреної сторони, яка розпоряджається даними. Нехай ${\displaystyle {\textrm {im}}{\mathcal {A}}}$ є образом відображення ${\displaystyle {\mathcal {A}}}$. Алгоритм ${\displaystyle {\mathcal {A}}}$ є ${\displaystyle \epsilon }$-диференційно приватним, якщо для всіх наборів даних ${\displaystyle D_{1}}$ та ${\displaystyle D_{2}}$, які відрізняються у єдиному елементі (даних щодо однієї особи), для всіх підмножин ${\displaystyle S}$ з ${\displaystyle {\textrm {im}}{\mathcal {A}}}$,

${\displaystyle \Pr[{\mathcal {A}}(D_{1})\in S]\leq e^{\epsilon }\times \Pr[{\mathcal {A}}(D_{2})\in S],}$

де імовірність отримана з випадковості, яку використовує алгоритм.^[6]

У відповідності до цього визначення диференційна приватність є умовою роботи механізму публікації (довіреної сторони, яка публікує інформацію щодо набору даних), а не самого набору даних. Інтуітивно це означає, що для двох довільних схожих наборів даних диференційно приватний алгоритм буде праціювати схоже для обох наборів даних. Визначення гарантує, що присутність або відсутність особи не значно вплине на фінальний результат.

Наприклад представимо, що ми маємо базу баних медичних записів ${\displaystyle D_{1}}$ де кожен запис є парою (Ім'я, X), де ${\displaystyle X}$ є булевою змінною, яка позначає наявність діабету у особи. Наприклад:

Тепер припустимо, що зловимсний користувач (порушник) бажає визначити наявність діабету у Чендлера. Також припустимо, що порушник також знає у якому рядку бази даних розміщено запис Чендлера. Тепер припустимо, що порушнику дозволено використовуати тільки часткову форму запиту ${\displaystyle Q_{i}}$, яка повертає часткову суму перших ${\displaystyle i}$ рядків ствопчика ${\displaystyle X}$ у базі даних. Зазвичай, щоб визначити наявність діабету у Чендлера порушник виконує запити ${\displaystyle Q_{5}(D_{1})}$ та ${\displaystyle Q_{4}(D_{1})}$, потім обчислює їх різницю. У цьому прикладі ${\displaystyle Q_{5}(D_{1})=3}$, а ${\displaystyle Q_{4}(D_{1})=2}$, тому різниця дорівнює 1. Це означає, що у полі рядка Чендлера знаходиться 1. Це приклад показує, як може бути скомпрометована інформація про особу навіть без точного запиту щодо особи.

Продовжуючи цей приклад, якщо ми сконструюємо базу даних ${\displaystyle D_{2}}$ заміною (Чендлер, 1) на (Чендлер, 0), то порушник матиме можливість відрізнити ${\displaystyle D_{2}}$ від ${\displaystyle D_{1}}$ обчисленням ${\displaystyle Q_{5}-Q_{4}}$ для кожного набору даних. Якщо порушнику знадобиться отримати значення ${\displaystyle Q_{i}}$ використовуючи ${\displaystyle \epsilon }$-диференційно приватний алгоритм, для достатньо малого ${\displaystyle \epsilon }$, то він не зможе розрізнити два набори даних.

Нехай ${\displaystyle d}$ є позитивним цілим, ${\displaystyle {\mathcal {D}}}$ є колекцією наборів даних, і ${\displaystyle f\colon {\mathcal {D}}\rightarrow \mathbb {R} ^{d}}$ є функцією. Чутливість^[7] функції, позначена ${\displaystyle \Delta f}$, визначається як

${\displaystyle \Delta f=\max \lVert f(D_{1})-f(D_{2})\rVert _{1},}$ де максимум по усім парам наборів даних ${\displaystyle D_{1}}$ та ${\displaystyle D_{2}}$ у ${\displaystyle {\mathcal {D}}}$ , які відрізняються щонайменш у одному елементі і ${\displaystyle \lVert \cdot \rVert _{1}}$ позначається ${\displaystyle \ell _{1}}$ нормою.

У прикладі медичної бази даних вище, якщо ми приймемо ${\displaystyle f}$ є функцією ${\displaystyle Q_{i}}$, тоді чутливість функції дорівнює одиниці, оскільки зміна одного запису у базі даних призводить до зміни значення функції на нуль або одиницю.

Існують методи (описані нижче), використання яких дозволяє створювати диференційно приватний алгоритм для функцій з низькою чутливістю.

Компроміс між точністю статистики, отриманої із дотриманням приватності, і приватністю описується параметром ε.^{[8][9][10][11]}

Для деяких застосувань властивість диференційної приватності є занадто суворою, тому запропоновані слабші версії властивостей приватності. Вони включають (ε, δ)-диференційну приватність,^[12] рандомізовану диференційну приватність,^[13] і приватність з метрикою.^[14]

Оскільки диференційна приватність є імовірнісною концепцією, будь-який диференційно приватний механізм обов'язково є рандомізованим. Деякі з них, як механізм Лапласа, описаний нижче, покладаються на додавання контрольованого шуму до функції, яку потрібно обчислити. Інші, як еспоненційний механізм^[en][15] використовують післявибірку^[16] замість залежних від галузі використання розподілів.

Багато диференційно приватних методів додають контрольований шум до функцій з низькою чутливістю.^[7] Механізм Лапласа додає шум Лапласа (шум з розподілом Лапласа), який може бути виражений функцією щільності імовірності ${\displaystyle {\text{noise}}(y)\propto \exp(-|y|/\lambda )\,\!}$, яка має математичне сподівання, що дорівнює нулю, і стандартне відхилення ${\displaystyle \lambda \,\!}$). У нашому випадку визначено вихідну функцію від ${\displaystyle {\mathcal {A}}\,\!}$ як функцію з дійсними значеннями як ${\displaystyle {\mathcal {T}}_{\mathcal {A}}(x)=f(x)+Y\,\!}$ де ${\displaystyle Y\sim {\text{Lap}}(\lambda )\,\!\,\!}$ and ${\displaystyle f\,\!}$ є оригінальною функцією з дійсними значеннями, яку планувалося виконати над базою даних. Звідси ${\displaystyle {\mathcal {T}}_{\mathcal {A}}(x)\,\!}$ може бути представлена як неперервну випадкову змінну, де

${\displaystyle {\frac {\mathrm {pdf} ({\mathcal {T}}_{{\mathcal {A}},D_{1}}(x)=t)}{\mathrm {pdf} ({\mathcal {T}}_{{\mathcal {A}},D_{2}}(x)=t)}}={\frac {{\text{noise}}(t-f(D_{1}))}{{\text{noise}}(t-f(D_{2}))}}\,\!}$

де щонайменше ${\displaystyle e^{\frac {|f(D_{1})-f(D_{2})|}{\lambda }}\leq e^{\frac {\Delta (f)}{\lambda }}\,\!}$. Можна представити ${\displaystyle {\frac {\Delta (f)}{\lambda }}\,\!}$ як фактор приватності ${\displaystyle \epsilon \,\!}$. Таким чином ${\displaystyle {\mathcal {T}}\,\!}$ відповідає визначенню диференційно приватного механізму. Якщо застосувати цю концепцію до нашого прикладу з хворими на діабет, тоді це слідує з факту, що ${\displaystyle {\mathcal {A}}\,\!}$ як ${\displaystyle \epsilon \,\!}$-диференційно приватний алгоритм повинен мати ${\displaystyle \lambda =1/\epsilon \,\!}$. Хоча було використано шум Лапласа, можуть бути використані шуми з іншим розподілом (наприклад нормальним розподілом), але для цього потрібне деяке послаблення визначення диференційної приватності.^[2]

Якщо запитати ε-диверенційно приватний механізм ${\displaystyle t}$ разів, і рандомізація механізму є незалежною для кожного запиту, тоді результат буде ${\displaystyle \epsilon t}$-диференційно приватним. У загальному випадку, якщо наявні ${\displaystyle n}$ незалежних механізмів: ${\displaystyle {\mathcal {M}}_{1},\dots ,{\mathcal {M}}_{n}}$, чиї гарантії приватності є ${\displaystyle \epsilon _{1},\dots ,\epsilon _{n}}$ диференційно приватними, відповідно, тоді будь-яка функція ${\displaystyle g}$ від: ${\displaystyle g({\mathcal {M}}_{1},\dots ,{\mathcal {M}}_{n})}$ є ${\displaystyle (\sum \limits _{i=1}^{n}\epsilon _{i})}$-диференційно приватною.^[17]

Більш того, якщо попередні механізми обчислені над підмножинами, що не перетинаються, приватної бази даних, тоді функція ${\displaystyle g}$ є ${\displaystyle (\max _{i}\epsilon _{i})}$-диференційно приватною.^[17]

У загальному випадку ε-диверенційна приватність створена для захисту приватності між базами даних, які відрізняються лише у одному рядку. Це означає, що жоден порушник із довільною допоміжною інформацією не може знати, чи один конкретний учасник надав свою інформацію. Тим не менше це також може бути поширене для потреби захисту баз даних, які відрізняються у ${\displaystyle c}$ рядках, де порушник із довільною допоміжною інформацією має можливість знати, що ${\displaystyle c}$ часткових учасників надали інформацію. Це може бути досягнуто тому що у випадку коли ${\displaystyle c}$ значень змінюються, ймовірність розширення обмежена ${\displaystyle \exp(\epsilon c)}$ замість ${\displaystyle \exp(\epsilon )}$,^[2] тобто для D₁ та D₂, які відрізняються у ${\displaystyle c}$ значеннях:

${\displaystyle \Pr[{\mathcal {A}}(D_{1})\in S]\leq \exp(\epsilon c)\times \Pr[{\mathcal {A}}(D_{2})\in S]\,\!}$

Таким чином встановлення ε замість ${\displaystyle \epsilon /c}$ досягає бажаного результату (захисту ${\displaystyle c}$ значень). Іншими словами, замість ε-диференційно приватного захисту кожного значення, тепер група з ${\displaystyle c}$ значень є захищеною з параметром ε-диференційної приватності (і кожне значення є захищеним з параметром ${\displaystyle (\epsilon /c)}$-диференційної приватності).

Перетворення ${\displaystyle T}$ є ${\displaystyle c}$-стабільним, якщо відстань Геммінга між ${\displaystyle T(A)}$ та ${\displaystyle T(B)}$ є не більше ${\displaystyle c}$-разів відстані Геммінга між ${\displaystyle A}$ та ${\displaystyle B}$ для двох довільних баз даних ${\displaystyle A,B}$. Теорема 2 у^[17] стверджує, що якщо існує механізм ${\displaystyle M}$ такий, що є ${\displaystyle \epsilon }$-диверенційно приватним, тоді складений механізм ${\displaystyle M\circ T}$ є ${\displaystyle (\epsilon \times c)}$-диференційно приватним.

Це може бути узагальнене для групової приватності, оскільки розмір групи може бути розглянуте як відстань Геммінга ${\displaystyle h}$ між ${\displaystyle A}$ та ${\displaystyle B}$ (де ${\displaystyle A}$ містить групу та ${\displaystyle B}$ не містить). У цьому випадку ${\displaystyle M\circ T}$ є ${\displaystyle (\epsilon \times c\times h)}$-диференційно приватним.

Деякі використання, відомі на сьогодні:

• Бюро перепису населення США, для демонстрації шаблонів взаємодії,^[18]
• Google RAPPOR, для телеметрії та вивчення статистики щодо небажаного програмного забезпечення, яке перехоплює налаштування користувача^[19] (RAPPOR's open-source implementation [Архівовано 14 січня 2021 у Wayback Machine.]),
• Google, для поширення історичної статистики трафіку,^[20]
• 13 червня 2016 Apple оголосила про намір використовувати диференційну приватність у iOS 10 щоб покращити власну технологію персонального помічника,^[21]
• Виконані деякі початкові дослідження щодо практичної реалізації диференційної приватності у моделях дата-майнингу.^[22]

• Differential Privacy [Архівовано 1 січня 2021 у Wayback Machine.] by Cynthia Dwork, ICALP July 2006.
• The Algorithmic Foundations of Differential Privacy [Архівовано 18 жовтня 2014 у Wayback Machine.] by Cynthia Dwork and Aaron Roth, 2014.
• Differential Privacy: A Survey of Results [Архівовано 5 березня 2010 у Wayback Machine.] by Cynthia Dwork, Microsoft Research, April 2008
• Privacy of Dynamic Data: Continual Observation and Pan Privacy [Архівовано 9 червня 2010 у Wayback Machine.] by Moni Naor, Institute for Advanced Study, November 2009
• Tutorial on Differential Privacy [Архівовано 14 липня 2014 у Wayback Machine.] by Katrina Ligett, California Institute of Technology, December 2013
• A Practical Beginner's Guide To Differential Privacy [Архівовано 8 травня 2012 у Wayback Machine.] by Christine Task, Purdue University, April 2012
• Private Map Maker v0.2 [Архівовано 3 грудня 2012 у Wayback Machine.] on the Common Data Project blog
• Learning Statistics with Privacy, aided by the Flip of a Coin [Архівовано 11 березня 2018 у Wayback Machine.] by Úlfar Erlingsson, Google Research Blog, October 2014