(11)	032105 (13) B1	Разделы: A B C D E F G H
(21)	201791295
(22)	2014.12.31
(51)	G06T 15/08 (2011.01) H04N 13/04 (2006.01)
(43)	2017.10.31
(86)	PCT/RU2014/001019
(87)	WO 2016/108720 2016.07.07
(71)	(73) ООО "АЛЬТ" (RU)
(72)	Севостьянов Петр Вячеславович (RU)
(74)	Федоров С.В. (RU)
(54)	СПОСОБ И СИСТЕМА ДЛЯ ОТОБРАЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ

(57) 1. Способ создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающий, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, включающий в себя следующие шаги:

используют систему, содержащую

по меньшей мере одно устройство отображения,

по меньшей мере одни очки для стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера,

по меньшей мере два матричных оптических датчика,

по меньшей мере два устройства считывания и обработки,

устройство вычисления 3D-координат маркеров,

по меньшей мере одно устройство предсказания координат маркеров,

устройство построения 3D-сцены,

по меньшей мере одно устройство вывода изображения;

получают изображения с матричных оптических датчиков, обнаруживают маркеры на этих изображениях и определяют 2D-координаты маркеров;

определяют 3D-координаты маркеров на основе 2D-координат маркеров;

выполняют экстраполяцию координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения 3D-сцены таким образом, что некомпенсированная часть задержки не превышает 5 мс;

выполняют построение 3D-сцены на основе 3D-координат маркеров с учетом экстраполяции координат маркеров;

выводят изображения 3D-сцены по меньшей мере на одно устройство отображения, при этом обеспечивают вывод изображений 3D-сцены для каждого глаза наблюдателя поочередно.

2. Способ по п.1, в котором маркеры являются светоизлучающими маркерами.

3. Способ по п.1, в котором дополнительно управляют следящим окном, а используемая система дополнительно содержит по меньшей мере одно устройство управления следящим окном.

4. Способ по п.1, в котором дополнительно выполняют калибровку средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.

5. Способ по п.1, в котором дополнительно обнаруживают мешающие источники излучения и устраняют их влияние на обнаружение маркеров.

6. Способ по п.1, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом.

7. Способ по п.2, в котором до шага получения изображения с матричных оптических датчиков синхронизируют матричные оптические датчики друг с другом и с маркерами.

8. Способ по п.2, в котором избирательно включают и выключают маркеры, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи.

9. Способ по п.8, в котором до шага поиска маркеров формируют карту освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.

10. Способ по п.1 или 8, в котором после шага определения 2D-координат маркеров выполняют идентификацию маркеров, а используемая система дополнительно содержит устройство идентификации маркеров.

11. Способ по п.1, в котором экстраполяция координат маркеров представляет собой экстраполяцию 2D-координат маркеров до шага определения 3D-координат маркеров.

12. Способ по п.1, в котором экстраполяция координат маркеров представляет собой экстраполяцию 3D-координат маркеров после шага определения 3D-координат маркеров.

13. Способ по п.1, в котором используемая система содержит по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.

14. Способ по п.1, в котором отображение изображения для каждого глаза наблюдателя выполняют для более чем одного наблюдателя.

15. Способ по п.1, в котором обработку данных, считываемых с матричного оптического датчика, начинают до окончания считывания кадра.

16. Способ по п.1, в котором выполняют распределенную обработку данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.

17. Способ по п.1, в котором определение 2D-координат маркеров выполняют с субпиксельной точностью.

18. Способ по п.1, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров очков в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи и устройство ориентации.

19. Способ по п.1, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, для определения 3D-координат маркеров манипулятора в случае невозможности обнаружения маркеров посредством матричных оптических датчиков, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, дополнительно содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.

20. Способ по п.3, в котором дополнительно используют данные, полученные с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи, кроме того, очки используемой системы содержат по меньшей мере одно устройство радиосвязи и устройство ориентации.

21. Способ по п.3, в котором дополнительно используют данные, полученные с устройства ориентации манипулятора посредством устройства радиосвязи, при задании размеров и расположения следящего окна, используемая система дополнительно содержит по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор, дополнительно содержащий по меньшей мере одно устройство радиосвязи и устройство ориентации.

22. Способ по п.1 или 3, в котором шаг обнаружения маркеров и определения их 2D-координат включает в себя следующие шаги:

определяют строки матричного оптического датчика для считывания;

выполняют считывание выбранной строки матричного оптического датчика;

проверяют, превышает ли интенсивность сигнала каждого пикселя выбранной строки пороговое значение;

если интенсивность сигнала пикселя превышает пороговое значение, выполняют обнаружение контура изображения маркера и переходят к шагу вычисления размера контура изображения маркера, а если интенсивность сигнала пикселя не превышает пороговое значение, возвращаются к шагу считывания выбранной строки матричного оптического датчика;

вычисляют размер контура изображения маркера;

проверяют размер контура изображения маркера;

если размер контура изображения маркера находится в заранее определенных пределах, переходят к шагу вычисления геометрического центра контура изображения маркера, а если размер контура изображения маркера не находится в заранее определенных пределах, переходят к шагу исключения контура изображения маркера;

вычисляют геометрический центр контура изображения маркера;

вычисляют максимальный и минимальный радиус контура изображения маркера;

проверяют соотношение максимального и минимального радиуса контура изображения маркера;

если соотношение максимального и минимального радиуса контура изображения маркера находится в заранее заданных пределах, переходят к шагу проверки равномерности яркости, а если соотношение максимального и минимального радиуса контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;

проверяют равномерность яркости области внутри контура изображения маркера;

если равномерность яркости области внутри контура изображения маркера находится в заранее заданных пределах, переходят к шагу вычисления координат взвешенного центра контура изображения маркера, а если равномерность яркости области внутри контура изображения маркера не находится в заранее заданных пределах, переходят к шагу исключения контура изображения маркера;

исключают контур из дальнейшего рассмотрения и переходят к шагу, на котором выполняют маркирование контура изображения маркера;

вычисляют координаты взвешенного центра контура изображения маркера, передают для соответствующего шага по меньшей мере одно из следующего: координаты взвешенного центра контура изображения маркера, размер контура изображения маркера и соотношение максимального и минимального радиуса контура изображения маркера и переходят к шагу, на котором выполняют маркирование контура изображения маркера;

маркируют контур изображения маркера и исключают его из дальнейшего анализа изображения, полученного с матричного оптического датчика.

23. Способ по п.3, в котором шаг управления следящим окном включает в себя следующие шаги:

выполняют проверку того, все ли маркеры присутствуют в изображении, полученном с матричного оптического датчика;

если в изображении, полученном с матричного оптического датчика, присутствуют все маркеры, выполняют переход к шагу проверки необходимости коррекции параметров следящего окна, а если в изображении, полученном с матричного оптического датчика, присутствуют не все маркеры, выполняют определение области, в которой может находиться маркер, отсутствующий в кадре, определяют и передают для соответствующего шага размеры и расположение следящего окна;

проверяют необходимость коррекции следящего окна;

если коррекция следящего окна необходима, определяют и передают для соответствующего шага размеры и расположение следящего окна.

24. Система для создания эффекта объемности изображения, формируемого на поверхности устройств отображения, одновременно обеспечивающая, по меньшей мере, эффекты бинокулярного параллакса и параллакса движения, содержащая:

по меньшей мере одно устройство отображения, выполненное с возможностью отображения последовательности изображений;

по меньшей мере одни очки, выполненные с возможностью стереоскопической сепарации изображений, содержащие по меньшей мере два оптических затвора и по меньшей мере два маркера, расположенные заранее известным образом;

по меньшей мере два матричных оптических датчика, выполненные с возможностью получения изображения маркеров, расположенные заранее известным образом;

по меньшей мере два устройства считывания и обработки, выполненные с возможностью считывания данных с матричного оптического датчика и определения 2D-координат маркеров;

устройство вычисления 3D-координат маркеров, выполненное с возможностью вычисления 3D-координат маркеров на основе 2D-координат маркеров;

по меньшей мере одно устройство предсказания координат маркеров, выполненное с возможностью экстраполяции координат маркеров для компенсации задержки между моментом времени получения изображения с матричных оптических датчиков и моментом отображения 3D-сцены таким образом, что некомпенсированная часть задержки не превышает 5 мс;

устройство построения 3D-сцены, выполненное с возможностью построения 3D-сцены на основе 3D-координат маркеров с учетом экстраполяции координат маркеров;

по меньшей мере одно устройство вывода изображения, выполненное с возможностью вывода изображения 3D-сцены по меньшей мере на одно устройство отображения.

25. Система по п.24, в которой маркеры являются светоизлучающими маркерами.

26. Система по п.24, дополнительно содержащая по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него в зависимости от положения изображения по меньшей мере одного маркера, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

27. Система по п.24, дополнительно выполненная с возможностью калибровки средств отслеживания положения наблюдателя, содержащих маркеры, матричные оптические датчики, устройства считывания и обработки и устройство вычисления 3D-координат маркеров.

28. Система по п.24, дополнительно выполненная с возможностью автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.

29. Система по п.24, дополнительно содержащая устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом.

30. Система по п.25, дополнительно содержащая устройство синхронизации, выполненное с возможностью синхронизации матричных оптических датчиков друг с другом и с маркерами.

31. Система по п.25, дополнительно содержащая по меньшей мере одно устройство радиосвязи, при этом очки также содержат по меньшей мере одно устройство радиосвязи, и выполненная с возможностью избирательного включения и выключения маркеров.

32. Система по п.24 или 31, дополнительно содержащая устройство идентификации маркеров, выполненное с возможностью определения принадлежности маркеров на основе данных, полученных с матричных оптических датчиков.

33. Система по п.24, в которой устройство предсказания координат маркеров выполнено с возможностью экстраполяции 2D-координат маркеров до определения 3D-координат маркеров.

34. Система по п.24, в которой устройство предсказания координат маркеров выполнено с возможностью экстраполяции 3D-координат маркеров после определения 3D-координат маркеров.

35. Система по п.24, содержащая по меньшей мере три матричных оптических датчика, три устройства считывания и обработки и три устройства управления следящим окном.

36. Система по п.24, выполненная с возможностью отображения трехмерных объектов для более чем одного наблюдателя.

37. Система по п.24, дополнительно выполненная с возможностью начала обработки данных, считываемых с матричного оптического датчика, до окончания считывания кадра.

38. Система по п.24, дополнительно выполненная с возможностью распределенной обработки данных, считываемых с матричного оптического датчика, в устройствах считывания и обработки.

39. Система по п.24, в которой устройство считывания и обработки выполнено с возможностью определения 2D-координат маркеров с субпиксельной точностью.

40. Система по п.24, в которой очки содержат по меньшей мере одно устройство радиосвязи.

41. Система по п.40, в которой очки содержат по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.

42. Система по п.41, выполненная с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков и дополнительно содержащая по меньшей мере одно устройство радиосвязи.

43. Система по п.41, выполненная с возможностью использования данных, полученных с устройства ориентации очков посредством устройства радиосвязи, при задании размеров и расположения следящего окна и дополнительно содержащая по меньшей мере одно устройство радиосвязи и по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

44. Система по п.24, дополнительно содержащая по меньшей мере один манипулятор.

45. Система по п.44, в которой манипулятор содержит по меньшей мере один маркер.

46. Система по п.25, дополнительно содержащая по меньшей мере одно устройство радиосвязи и по меньшей мере один манипулятор.

47. Система по п.46, в которой манипулятор содержит по меньшей мере один маркер.

48. Система по п.47, в которой манипулятор содержит по меньшей мере одно устройство радиосвязи.

49. Система по п.48, выполненная с возможностью избирательного включения и выключения маркеров.

50. Система по п.48, в которой манипулятор дополнительно содержит по меньшей мере одно устройство ориентации, содержащее по меньшей мере одно устройство из следующих: акселерометр, магнетометр, гироскоп.

51. Система по п.50, выполненная с возможностью использования данных, полученных с устройства ориентации манипулятора, для определения 3D-координат маркеров в случае невозможности обнаружения маркеров посредством матричных оптических датчиков.

52. Система по п.50, выполненная с возможностью использования данных, полученных с устройства ориентации манипулятора, при задании размеров и расположения следящего окна, дополнительно содержащая по меньшей мере одно устройство управления следящим окном, выполненное с возможностью задания области матричного оптического датчика для считывания данных с него, при этом размер области матричного оптического датчика меньше размера полного кадра матричного оптического датчика.

53. Система по п.25, в которой маркеры выполнены с возможностью излучения света в ИК-диапазоне.

54. Система по любому из пп.24, 25, 45, 47, в которой матричные оптические датчики оснащены узкополосными оптическими фильтрами.

55. Система по любому из пп.24, 25, 45, 47, в которой маркеры оснащены узкополосными оптическими фильтрами.

56. Система по п.31 или 49, выполненная с возможностью формирования карты освещенности при выключенных маркерах для автоматического обнаружения мешающих источников излучения и устранения их влияния на обнаружение маркеров.