Ця стаття є сирим перекладом з англійської мови. Можливо, вона створена за допомогою машинного перекладу або перекладачем, який недостатньо володіє обома мовами. Будь ласка, допоможіть поліпшити переклад. (квітень 2020)

У комп'ютерному зорі та комп'ютерній графіці об'ємна відбудова або 3D-реконструкція — це процес охоплення форми і зовнішнього вигляду реальних об'єктів. Цей процес може бути виконаний або активними або пасивними методами.^[1] Якщо моделі дозволено змінювати свою форму в часі, це називається нежорсткою або просторово-часовою відбудовою^[2].

Дослідження 3D реконструкції завжди було важко досяжною метою. За допомогою об'ємної відбудови можна визначити 3D-контури будь-якого об'єкта, а також дізнатися тривимірні координати будь-якої точки контуру. Об'ємна відбудова об'єктів є загально науковою проблемою і основною технологією широкого спектра областей, таких як автоматизоване проєктування (CAGD), комп'ютерна графіка, комп'ютерна анімація, комп'ютерний зір, медична візуалізація, обчислювальна наука^[en], віртуальна реальність, цифрові медіа і т. д. Наприклад, інформація про ураження пацієнтів може бути представлена в тривимірному вигляді на комп'ютері, що пропонує новий і точний підхід в діагностиці, що має життєво важливе клінічне значення^[3]. Цифрові моделі рельєфу місцевості можуть бути відновлені за допомогою таких методів, як повітряна лазерна альтиметрія^[4] або радар із синтезованою апертурою^[5].

Активні методи, тобто методи даних діапазону, враховуючи карту глибини^[en], реконструюють 3D-профіль за допомогою чисельних методів і будують об'єкт на основі моделі. Ці методи активно впливають на реконструйований об'єкт, або механічно, або радіометрично за допомогою далекомірів, щоб отримати карту глибини, наприклад, структуроване світло^[en], лазерний далекомір та інші активні методи зондування. Простий приклад механічного методу буде використовувати глибиномір для вимірювання відстані до обертового об'єкта, поміщеного на поворотний стіл. Більш застосовані радіометричні методи випускають випромінювання в бік об'єкта, а потім вимірюють його відбиту частину. Приклади залежать від рухомих джерел світла, кольорового видимого світла, Time-of-flight камери^[6] до мікрохвиль або 3D-ультразвуку^[en]. Щоб отримати додаткові відомості див. розділ 3D-сканування.

Пасивні методи 3D-реконструкції не заважають реконструйованому об'єкту; вони тільки використовують датчик для вимірювання світла, відбитого або випущеного поверхнею об'єкта, щоб вивести його 3D-структуру через розуміння зображення.^[7] Як правило, датчик є зображенням в камері, чутливої до видимого світла, набір цифрових зображень (одне, два або більше) або відео є вхідним сигналом для цього методу. В цьому випадку ми говоримо про реконструкцію на основі зображень, а вихід-це 3D-модель. У порівнянні з активними методами, пасивні методи можуть застосовуватися більш частіше.

Методи монокулярних^[en] сигналів відносяться до використання одного або декількох зображень з однієї точки зору (камери) для переходу до 3D-побудови. Він використовує 2D-характеристики (наприклад, силуети, затінення і текстуру) для вимірювання 3D-форми, і саме тому він також називається Shape-From-X, де X може бути силуетами, затіненням, текстурою і т. д. 3D-реконструкція за допомогою монокулярних сигналів проста і швидка, і потрібно тільки одне відповідне цифрове зображення. Технічно, це дозволяє уникнути встановлення стерео-відповідності, що є досить складним завданням.

Форма-затінення завдяки аналізу інформації про яскравість точок поверхні об'єкта на зображенні, за припущенням ламбертового характеру відбиття, відновлюються нормалі поверхні об'єкта та глибина точок для реконструкції.^[9]

Фототометричне стерео. Цей підхід є складнішим, ніж метод затінення форми. Зображення, зроблені в різних умовах освітлення, використовуються для розв'язання інформації про глибину. Варто відзначити, що при такому підході потрібно більше одного зображення^[10].

Форма текстури. Припустимо, що об'єкт з гладкою поверхнею, вкритий реплікованими текстурними одиницями, і його проєкція з 3D у 2D викликає спотворення і перспективу. Спотворення і перспектива, виміряні у 2D-зображеннях, дають підказку для зворотного розв'язання глибини нормальної інформації поверхні об'єкта.^[11]

Бінокулярне стереобачення отримує тривимірну геометричну інформацію про об'єкт з декількох зображень, основаних на дослідженні зорової системи людини. Результати представлені у вигляді карт глибин. Зображення об'єкта, отримані двома камерами одночасно під різними кутами огляду або однією камерою в різний час під різними кутами, використовуються для відновлення його тривимірної геометричної інформації і відновлення його тривимірного профілю та місця розташування. Це пряміші методи, ніж монокулярні, такі як форма від затінення.

Метод бінокулярного стереобачення вимагає наявності двох однакових камер з паралельною оптичною віссю для спостереження одного і того ж об'єкта, отримання двох зображень з різних точок зору. З точки зору тригонометричних співвідношень, інформація про глибину може бути обчислена з диспаритету. Бінокулярний метод стереобачення добре розвинений і стабільно сприяє 3D реконструкції, що призводить до кращої продуктивності у порівнянні з іншими 3D-реконструкціями. На жаль, це обчислювально інтенсивніше, до того ж це працює досить погано, коли базова відстань завелика.

Підхід використання бінокулярного стереобачення для отримання тривимірної геометричної інформації об'єкта засновується на бінокулярній невідповідності. На наступному малюнку представлена принципова проста схема бінокулярного стереобачення з горизонтальним зором, де b — базова лінія між проєктивними центрами двох камер.

Початок координат камери знаходиться в оптичному центрі об'єктива, як показано на малюнку. Насправді площина зображення камери знаходиться за оптичним центром об'єктива. Однак для спрощення розрахунку зображення його розміщують перед оптичним центром об'єктива f. Вісь u і вісь v системи координат зображення O₁uv знаходяться в одному напрямку з осями x і y, системи координат камери відповідно. Початок координат зображення знаходиться на перетині площини зображення і оптичної осі. Припустимо, що така світова точка P, відповідні точки зображення якої є P₁ (u₁, v₁) та P₂ (u₂, v₂) відповідно на лівій і правій площині зображення. Припустимо, що дві камери знаходяться в одній площині, тоді Y-координати P₁ і  P₂ ідентичні, тобто v₁=v₂. За тригонометричним співвідношенням,

${\displaystyle u_{1}=f{\frac {x_{p}}{z_{p}}}}$

${\displaystyle u_{2}=f{\frac {x_{p}-b}{z_{p}}}}$

${\displaystyle v_{1}=v_{2}=f{\frac {y_{p}}{z_{p}}}}$

де (x _p, y _p, z _p) — координати P в лівій системі координат камери, f — фокусна відстань камери. Візуальна диспропорція визначається як різниця в місці розташування точки до зображення іншої точки світу, отриманою двома камерами,

${\displaystyle d=u_{1}-u_{2}=f{\frac {b}{z_{p}}}}$

на підставі чого можуть бути знайдені координати P.

Тому, як тільки координати точок зображення відомі, крім параметрів двох камер, можна визначити тривимірну координату точки.

${\displaystyle x_{p}={\frac {bu_{1}}{d}}}$

${\displaystyle y_{p}={\frac {bv_{1}}{d}}}$

${\displaystyle z_{p}={\frac {bf}{d}}}$

3D-реконструкція складається з наступних розділів:

Отримання 2D цифрового зображення є джерелом інформації для 3D реконструкції. Зазвичай використовується 3D-реконструкція заснована на двох або більше зображеннях, хоча в деяких випадках вона може використовувати тільки одне зображення. Існують різні типи методів отримання зображень, які залежать від випадків і цілей конкретного додатка. Необхідно враховувати не тільки вимоги програми, але і візуальну невідповідність, освітленість, продуктивність камери і особливість сценарію.

Калібрування камери у стереобаченні полягає у визначенні перетворення між координатами точок зображення P₁ (u₁, v₁) та P₂ (u₂, v₂) та координатою відповідної точки P (x_p, y_p, z_p) у 3D-просторі. Калібрування камери є основною частиною 3D-реконструкції за допомогою стереобачення. Калібрування включає визначення внутрішніх (фокальна відстань, принципова точка камери) та зовнішніх (обертання та зсув) параметрів камери, що ставить за кінцеву мету визначення матриць камери необхідних для подальшої тріангуляції.

Першим кроком реконструкції тривимірного об'єкта є пошук на зображеннях характерних локальних ознак, що зберігаються при просторових перетвореннях (обертання та переміщення камери) та зміні умов освітлення і тому можуть бути знайдені на інших зображеннях об'єкта. Як правило для цього використовуються SIFT ознаки. У випадку об'єктів із слабко вираженою текстурою визначення ознак може бути складною задачею, в таких випадках доводиться використовувати фотометричні методи.

Стерео відповідність полягає у співставленні визначених на попередньому кроці ознак зображень, тобто у знаходженні пар точок зображень P₁ (u₁, v₁) та P₂ (u₂, v₂) яким відповідає одна й та сама тривимірна точка об'єкта. Слід звернути увагу, що зовнішні фактори, наприклад, освітлення, шум, фізичні характеристики поверхні і т. д. сильно впливають на знаходження відповідностей.

У випадку точного визначення відповідностей на зображеннях та параметрів камери неважко визначити положення відповідної точки у тривимірному просторі за допомогою тріангуляції. Однак у зв'язку з тим, що на точність виділення та співставлення ознак впливає велика кількість зовнішніх факторів, а параметри камери не завжди можливо визначити точно, на практиці використовуються методи пошуку оптимального розв'язку, що мінімізує сумарну похибку, наприклад МНК чи RANSAC. Часто параметри камери невідомі, тоді визначення тривимірних координат точок та параметрів камер ведуться із використанням оптимізаційних підходів спрямованих на зменшення загальної похибки проєкції тривимірних точок на зображення, ця техніка відома як налаштування пучка.

Клінічна процедура діагностики, спостереження за пацієнтами, хірургічна операція за допомогою комп'ютера, хірургічне планування тощо сприяють точним 3D-моделям бажаної частини анатомії людини. Основна мотивація 3D реконструкції містить:

• Підвищену точність завдяки багаторазовій агрегації.
• Детальну оцінку поверхні.
• Може використовуватися для планування, моделювання, керівництва чи іншим чином допомагати хірургу у виконанні медичної процедури.
• Можна визначити точне положення та орієнтацію анатомії пацієнта.
• Допомагає в ряді клінічних областей, таких як планування променевої терапії та перевірка лікування, хірургія хребта, заміна стегна, нейроінтервенції та аортальне стентування.

Додатки:

3D-реконструкція має застосування у багатьох сферах. В таких як:

• Тротуарна техніка
• Медицина
• Реконструкція відеозображення на вільному огляді
• Роботизоване картування^[en]
• Містобудування
• Томографічна реконструкція^[en]
• Ігри
• Віртуальне середовище^[en] та віртуальний туризм
• Спостереження за Землею^[en]
• Археологія
• Розширена реальність
• Реверсна техніка
• Захоплення рухом
• Розпізнавання жестів^[en] та відстеження пальців^[en]

Постановка проблеми:

В основному алгоритми, які доступні для 3D-реконструкції, надзвичайно повільні і не можуть використовуватися в реальному часі. Хоча представлені алгоритми все ще знаходяться в початковому стані, але вони мають потенціал для швидкого обчислення.

Існуючі підходи:

Делоне і альфа-форми

• Метод Делоне включає вилучення поверхонь тетраедра з початкової хмарної точки. Ідея «форми» для набору точок у просторі задається концепцією альфа-форм. Враховуючи множину кінцевих точок S та реальний параметр альфа, альфа-форма S — це багатогранник (узагальнення до будь-якого двовимірного багатокутника та тривимірного багатогранника), який не є не опуклим. Для великого значення альфа-форма є ідентичною опуклому корпусу С. Алгоритм, запропонований Edelsbrunner та Mucke, який виключає всі тетраедри, які обмежені навколишньою сферою, меншою за α. Потім поверхня виходить із зовнішніх трикутників з отриманого тетраедра.
• Інший алгоритм під назвою «Тугий кокон» позначає початкові тетраедри як внутрішні та зовнішні. Трикутники, знайдені в результаті породження отриманої поверхні й за нею.

Обидва методи були нещодавно розширені для відновлення хмар точок з шумом. У цьому методі якість точок визначає доцільність методу. Для точної тріангуляції, оскільки ми використовуємо весь набір хмар точок, точки на поверхні з помилкою вище порога будуть явно представлені на реконструйованій геометрії.

Нульові методи

Реконструкція поверхні виконується за допомогою функції відстані, яка присвоює кожній точці в просторі знакову відстань до поверхні S. Алгоритм контуру використовується для отримання нульового набору, який в свою чергу використовується для отримання полігонального подання об'єкта. Таким чином, завдання відновлення поверхні з неорганізованої хмари точок зводиться до визначення функції f з нульовим значенням для відібраних точок і відмінних від нуля значеннях для інших. Алгоритм, названий маршируючими кубами, встановив використання таких методів. Існують різні варіанти для даного алгоритму, деякі використовують дискретну функцію f, в той час як інші використовують полігармонічну радіальну базисну функцію, також для це використовується для установки початкового набору точок. Також використовувалися такі функції, як переміщення найменших квадратів, базові функції з локальною підтримкою, засновані на рівнянні Пуассона. Втрата точності геометрії в областях з екстремальною кривиною, тобто кутів, крайок є однією з основних утворюваних проблем. Крім того, попередня обробка інформації, застосовує деяку техніку фільтрації, яка також впливає на визначення кутів, пом'якшуючи їх. Є кілька досліджень, пов'язаних з методами постобробки, використовуваними в реконструкції для виявлення і уточнення кутів, але ці методи збільшують складність вирішення.

Техніка VR

Повна прозорість об'єму об'єкта візуалізується за допомогою техніки VR. Зображення будуть виконуватися шляхом проєктування променів через об'ємні дані. Уздовж кожного променя, непрозорість і колір повинні бути розраховані на кожному вокселі. Потім інформація, обчислена вздовж кожного променя, буде агрегована в піксель на площині зображення. Ця техніка допомагає нам всебічно побачити всю компактну структуру об'єкта. Тому, метод вимагає величезної кількості обчислень, який в свою чергу вимагає сильної конфігурації комп'ютерів які підходять для даних з низьким контрастом. Два основних методи проєктування променів можна розглядати наступним чином:

• Метод об'єктного порядку: Промені проходять через об'єм ззаду вперед (від гучності до площини зображення).
• Порядок зображення або променевий метод: Промені проходять через гучність спереду назад (від площини зображення до об'єму). Існують деякі інші способи складання зображення, відповідні методи залежать від цілей користувача. Деякі звичайні методи в медичному зображенні є MIP^[en] (максимальна інтенсивність проєкції), MinIP (мінімальна інтенсивність проєкції), AC (альфа — композитна) і NPVR (не фотореалістичне об'ємне відбивання^[en]).

Воксельна сітка

У цьому методі фільтрації вхідний простір відбирається з використанням сітки 3D вокселів для зменшення кількості точок. Для кожного вокселя центроїд вибирається як представник всіх точок. Існує два підходи: вибір центроїда вокселя або вибір центроїда точок, що лежить всередині вокселя. Для отримання внутрішніх точок середнє значення має вищі обчислювальні витрати, але він пропонує кращі результати. Таким чином, виходить підмножина вхідного простору, яка приблизно представляє нижче лежачу поверхню. Метод сітки вокселя представляє ті ж проблеми, що й інші методи фільтрації: неможливість визначення кінцевого числа точок, що представляють поверхню, втрата геометричної інформації через зменшення точок всередині вокселя і чутливість до гучних вхідних просторів.

• 3D-моделювання
• 3D-сканер
• Реконструкція поверхні 3D SEM
• Kinect
• Фотограмметрія
• Стереозображення
• Структура із руху

• Синтезування 3D-фігур за допомогою моделювання глибинних карток та силуетів із глибоким переглядом за допомогою глибоких генеративних мереж — Створюйте та реконструюйте тривимірні фігури за допомогою моделювання карток глибин або багатьох силуетів.

• http://www.nature.com/subjects/3d-reconstruction#news-and-comment
• http://6.869.csail.mit.edu/fa13/lectures/lecture11shapefromX.pdf
• http://research.microsoft.com/apps/search/default.aspx?q=3d+reconstruction
• https://research.google.com/search.html#q=3D%20реконструкція