專利名稱：生成圖像內包裹圖形對象的三維圖像的方法、相關顯示設備的制作方法
技術領域：
本發明涉及用于在能夠顯示三維圖像的屏幕上顯示三維(3D)文件的方法以及用于根據所述方法生成顯示信號的設備。
背景技術：
目前視頻處理中有幾種方法用于重建立體感，例如有立體視法。在立體視法中,用兩個不同的攝像機或兩個不同的靜態相機從相對于彼此橫向偏移的兩個不同視點記錄同一個場景的兩個視圖。對于3D觀看的觀眾，這兩個視圖，被稱為相同的場景的右和左視圖顯示在顯示設備的同一屏幕上，使用rop (等離子體顯示面板)或IXD (液晶顯示器)類型的屏幕或視頻投影屏幕。觀眾通常佩戴適于向每只眼睛傳輸與之對應的視圖的眼鏡。在這樣的屏幕上顯示的3D圖像的立體感直接依賴于左和右圖像的視差，即將代表所記錄的場景中相同對象元素的兩個像素分開的距離(例如可用像素的數目度量)，一個像素旨在由左眼感知而另一個旨在由右眼感知。這些像素代表在顯示設備層面相同的視頻信息，即它們代表所記錄場景的相同的對象元素。與3D圖像的對象元素相關聯的視差值對應于電影或視頻的左圖像和右圖像中這些元素在水平軸線上的位置偏差。視差特別地依賴于所記錄的場景和記錄相機之間的對象距離以及左和右相機之間的距離。一般情況下，例如這兩個相機相隔的距離至少等于6.5厘米，因為該距離對應于人的眼睛分離的平均距離。如果一個對象位于另一個對象后面，該對象位于另一對象后面的部分對一只眼睛是隱藏的，盡管它對另一只眼睛可能是可見的，因為取決于是由一只眼還是另一只眼觀察，放在另一對象前面的對象并不遮擋同樣的部分。這種被稱為“遮擋”的現象還使大腦推斷一個對象位于另一個對象后面并且由此處在不同的深度。根據3D場景的視覺角度，一個對象可能被也可能不被其前方的對象遮擋。由此在3D中，被遮擋的對象比遮擋對象具有更大的深度(被感知為位于后面)。在兩維(2D)圖像中，無論從哪個角度觀看該圖像的對象，兩只眼睛感知到相同的圖像，保留了可能的遮擋并且2D圖像不能給觀眾深度的立體感知。三維序列通常包含感知為屏幕后的特定對象中不同深度上的對象和感知為屏幕前的其他對象。為了顯示圖形對象，尤其是使用OSD (屏上顯示)電路疊加(superimposed)在屏幕上顯示的圖像上，其中該圖形對象代表如顯示設備的參數配置菜單、標志，計分面板或文本信息的多種元素，圖形對象必須優選地以使得它出現在所述圖像的前面的方式插入。從而將視差應用于該圖形對象使得它被感知在前景中。但那樣由于觀眾的眼睛從3D場景轉換到該圖形對象需要一定的收斂時間，文本和圖形對象的可讀性降低。這將導致在視覺不適和眼疲勞。此問題的第一解決方案在于以低視差應用于這些圖形對象，也就是說，在于將它們在屏幕級別插入。如果現在考慮遮擋問題，插入在顯示圖像中的圖形對象有被所顯示的3D圖像的對象遮擋的風險并且只會出現一部分。視覺顯示由此引起感知上的高度不適，因為位于這些對象后面的圖形對象有被它們遮擋的風險。飛利浦公司的專利申請W02008/038205討論了一種將圖形對象放置在3D場景的對象前方的方法。感知為距離觀眾最遠的場景的部分(在此專利申請中稱為“第一子范圍”)專用于視頻，而更接近觀眾的第二部分(第二子范圍)專用于圖形。其結果是，視頻可以不再遮擋圖形數據，因為由此將場景的一部分分配給他們，圖形對象總是放置在前景中。這個方法可以解決由視頻導致的可能的圖形遮擋問題，但以整個視頻的深度范圍的降低為代價。

發明內容
本發明提出了插入圖形對象的另一種方法，在保持一個良好的視覺舒適度的同時盡可能避免對視頻文件深度的限制。本發明的目的在于一種用于生成三維圖像信號的方法，該方法包括在三維圖像信號中插入圖形對象的步驟，該方法的特征在于，它還包括:確定由所插入的圖形對象周圍的輪廓所限定的內插區域的步驟，所述內插區域具有確定的厚度，處理位于內插區域上的像素的步驟，所述像素的深度從要插入的圖形元素的輪廓的外邊緣到輪廓的內邊緣一點一點地增加，該輪廓的內邊緣上的像素的放置深度大于插入對象的深度。通過保持位于插入對象周圍的3D場景中對象的深度變化，用戶連續感知插入的對象周圍的深度，同時很容易看到插入的圖形對象并且同時最大限度地減少視覺上的不適。根據第一改進，應用在內插區域上每個像素的深度的變化是該像素和輪廓的內邊緣之間的距離的函數，該函數是下列函數之一:線性函數，三角函數，拋物線函數。以這種方式，可以更好地在插入對象的邊緣削弱深度的變化并且減少太大的深度變化的視覺沖擊。根據另一改進，該方法包括接收與圖形對象相關聯的數據的步驟，所述接收到的數據除其他元素外，還包括插入的圖形對象周圍的內插區域的寬度。以這種方式，接收器具有為該圖形對象定制的參數，使其可以更好地插入到視頻圖像。根據變型，接收到的數據包括要插入對象和屏幕之間的距離與觀眾和屏幕之間的距離的比。以這種方式，接收器具有與屏幕上的自定義顯示的圖形對象相關聯的參數。根據另一種改進，該方法包括引入命令以調整插入的圖形對象的深度的步驟。通過這種方式，用戶為了其更好的視覺舒適度可以調整插入對象的深度。根據在此改進上的進一步改進，內插區域的寬度取決于由用戶引入的對圖形對象的深度的調整。根據另一種改進，所插入的圖形對象周圍的內插區域的寬度是可變的。以這種方式，內插區域可以適應插入對象的形狀，以及它的三維方位(如果插入的對象是三維的)。本發明的目的還在于一種用于生成三維圖像信號的設備，它包括在三維圖像信號中插入圖形對象的部件，其特征在于它包括:確定由所插入的圖形對象周圍的輪廓所限定的內插區域的部件，所述輪廓具有確定的厚度，所述插入部件修改位于圖形對象的輪廓上的像素的深度，所述像素的深度從要插入的圖形元素的輪廓的外邊緣到輪廓的內邊緣一點一點地增加，該輪廓的內邊緣上的像素的放置深度大于插入對象的深度。


參照在附錄中的附圖閱讀特定的非限制性的實施例的說明將更清楚地揭示本發明連同其特征和優點，其中:圖1是根據本發明的實施例使3D圖像能夠被顯示的接收器的框圖，圖2a_2d是示出3D圖像的線性元素深度以及插入圖形對象時對所述元素的深度修改的示意圖，圖3示出根據本發明的顯示3D圖像和插入的圖形對象的接收器的屏幕，圖4示出了 3D圖像中的圖形對象的內插區域的例子以及代表該區域的元素的深度的圖。
具體實施例方式圖1示出連接到包括顯示屏幕的顯示設備2上的接收器I。該顯示設備可以是視頻投影儀，電視屏幕或任何用于3D內容的屏幕。接收器I是例如3D電視接收器或3D視聽終端。通信部件通過寬帶網絡傳輸數據流。接收器I包括中央處理單元3，其除其他之外還連接到存儲器4、接收例如通過遙控器10發送的命令的接收接口 9。該接收器還包括接收部件，諸如與調諧器和多路分配器7相關聯以接收通過廣播網絡發送的3D內容數據的天線。一種變型是將該接收器配備用于與寬帶數字網絡6進行通信以接收3D數據內容的接Π 5。接收器I還包括用于存儲3D內容的存儲單元11。支持使用的存儲器是例如隨機存取存儲器，硬盤或光盤。接收器I還可以連接到諸如DVD或藍光播放器的數據讀取器14，或具有集成的DVD或藍光播放器。該接收器還包括用于在屏幕上顯示數據的OSD (屏上顯示)電路13。OSD由中央處理單元3聯合記錄在存儲器4中的可執行程序控制。接口 12能夠與來自OSD電路的數據相互作用以得到視頻數據。接收器I還可以與顯示設備2集成。接收器I接收對應于3D視覺內容的數據并且發送適于顯示設備2的對應于視覺內容的數據。OSD電路13從中央處理單元3接收命令來使定位在顯示屏幕上的至少一個插入窗口內的至少一個圖形對象進入3D視覺內容。這些圖形對象需要良好的可讀性。“圖形對象”應理解為可以圖形化再現的任何一組字符或符號。3D圖像的插入窗口對應的輪廓對諸如例如字符和符號組劃界。在本發明的一個例子中，由該輪廓劃界并包括一組字母或符號以及背景元素的內部區域是要插入的圖形對象的一部分。在本發明的另一個例子中，要插入的圖形對象限制為這組字符或符號。例如此圖形對象是二維表示。在本發明的另一例子中，僅該圖形對象或與包括在其輪廓中的元素一起是3D表示。本發明的一個目的是所插入的圖形對象不被圖像的元素遮擋。將要顯示的圖像的視差圖以中央處理單元本身已知方式的或通過數據流傳輸而確定，其中視差值與右或左視像的每個元素相關聯。由此確定將要顯示的被傳輸內容的3D圖像中的所有元素的相應深度。正視差對應于位于屏幕后面的圖像元素，而負視差對應于位于屏幕前方的圖像元素。
如果根據本發明例子之一，將要插入的圖形對象限制在一組字符或符號，本發明在于在開始時修改要被插入的圖形對象的插入窗口中的(即限定在該圖形對象周圍的輪廓內部的)3D圖像元素的深度值。通過內插修改該圖像部分的相應元素的視差，以便使得在沒有屏幕深度的情況下該圖像部分位于靠近對應于屏幕平面的深度的深度。這些元素的視差因此是稍微正的使得圖形元素的插入不被這些圖像元素遮擋。本發明還涉及在3D圖像上插入若干圖形對象。為了避免在要被插入的圖形元素的輪廓劃界的圖像部分和該圖像的其余部分之間突然的深度變化，根據本發明在圖形元素的輪廓周圍創建過渡區域。此區域包括對應于圖形對象輪廓的第一內邊緣以及根據不同參數(如想要的圖像或顯示的兩部分之間的深度偏差)所確定的寬度隔開的第二外邊緣。這個區域越寬則深度的過渡越平緩。對應于輪廓的內邊緣具有方形、圓形或橢圓形的形式。外邊緣優選地與內邊緣是相同的形式。在其他的例子中外邊緣具有與內邊緣不同的形式。例如，橢圓形外邊緣可以與矩形的內邊緣相關聯。圖2a和2b分別表示根據這些元素在水平軸的位置從視頻文件中提取的3D圖像的對象元素的深度的圖形以及在處理和插入2D圖形對象后相同圖像的對象元素的深度的圖形。如圖2a中所示，所顯示的對象元素具有可變的使它們可位于屏幕前面或后面的深度(感知到的Z)，屏幕深度對應于點縱坐標線Zsc_n。如圖2b所示，圖形對象在屏幕深度的級別插入并且用在屏幕的深度Z處的虛線的點表示。因此該圖形對象的元素的視差是零。它插入在定義為區域I的區域中。通過在將被插入的圖形元素周圍的具有確定寬度的矩形框架示出過渡區域(同時也由圖3示出)。在對應于與插入窗口中央部分的X軸一致的水平線的圖2中的圖形級別處，該過渡區域由稱為2D區域的右區域和稱為2G區域的左區域示出。在開始時，如果必要的話，如果對要插入的圖形對象以使得該圖像部分的元素的視差值具有接近于零的正值的方式進行內插，3D圖像部分位于輪廓內。因此，插入的圖形對象位于該3D圖像部分的元素的前面。有利地，因此不存在沖突并且因此沒有視覺不適。圖2b還示出位于要插入的圖形對象周圍的框架的元素的深度。在要插入的對象右邊，在該框架的寬度之內存在2D過渡區域，在該2D過渡區域內修改3D圖像。事實上，在此區域中的圖像元素位于要插入的圖形對象的元素和重傳(re-transmitted)的3D圖像元素之間。為了避免視覺不適，對位于該區域的場景元素的深度的修改優選地在要插入的對象的周圍都是漸進的。要插入的圖形對象的深度和3D圖像的深度之間的過渡由此產生。對該區域中的元素的深度從位于內邊緣上的元素的深度值向位于外邊緣上的元素的深度值漸進調整。這種漸進的調整是例如線性的或漸變的。在圖2b的示意圖上，在位于圖形對象右邊緣上的2D過渡區域中，元素的深度從對應于過渡區域外邊緣的元素的初始深度的深度值Zl變化到值Zsc_n。在位于圖形對象左邊緣上的2G過渡區域中，元素的深度大于(正視差)深度Zsc_n。因此在圖形對象的這一側，沒有遮擋的風險并且沒有必要調整這個過渡區域2G的元素的深度值。深度值調整的漸進性取決于該過渡區域的寬度。深度值之間的差異越大，越建議增加此區域的寬度。該寬度尤其由像素數量確定。根據由圖2c的圖形表示的本發明的一個變型例，對象在不同于屏幕深度的深度Zi處插入。在過渡區域中，元素的深度從對應于過渡區域外邊緣的元素的深度的深度值Zl或Z2漸進變化到插入值Zi。在另一個例子中，要插入的圖形對象是深度限定為ZG2-ZG1(對應于圖形對象的最深的元素的深度和最淺的元素的深度之差)的3D表示。為了簡單起見，通過以使得對應于深度差的平均值1/2 (ZG2-ZG1)的深度元素位于屏幕級別或在限定級別的方式調整其插入來實現對該圖形對象的插入。這種情況由圖2d表示。該過渡區域的限制值對應于圖2d中示出的這些值。該區域中圖像元素的深度從該區域外邊緣上的圖像的深度值到插入的圖形對象的最淺元素Zei的深度值漸進調整。圖3示出顯示3D圖像的屏幕的一個例子。在這個圖像的底部，將一項文本信息插入這個圖像的插入窗內。插入的對象周圍的框架具有一定的厚度，一般為50個像素。此框架限定了過渡區域，并且中央處理單元3將修改位于這個過渡區域中的3D圖像的像素的視差。代表將要插入的文本信息的所有元素放置在位于屏幕平面級別的深度。位于框架的內邊緣上并屬于3D圖像的對象的元素放置在接近屏幕深度的深度上。代表這些元素的像素的視差值對應于接近于零，但為正的第一值。同時位于框架的外邊緣上并屬于3D圖像的對象的圖像的像素保存其初始視差值。通過對位于框架中的中間像素的深度進行內插所賦予的值在該第一值和這些初始值之間漸進變化。圖4表示按照垂直Y和水平X視頻軸,在3D圖像中插入圖形對象的內插的例子。Z軸表示深度，觀眾位于值Z=O的位置。在要插入的圖形對象的區域中，3D圖像位于深度Zimage處,在深度Zscreen處插入圖形對象。在圖4的底部的左側部分示出觀眾看到的屏幕，OSD電路插入的對象位于中心。圖4的右側部分示出了按照垂直軸Y的視圖，圖4的左側部分示出了按照水平軸X的視圖。該對象周圍的框架的寬度依據Y軸=(Ya-Yb)= (Y’b-Y’a)。該對象周圍的框架的寬度依據X軸:(Xa_Xb)= (X’b-X’a)。框架的寬度限定了過渡區域Z2的寬度。根據一種改進，所述的框架依據X軸的寬度與依據Y軸的寬度是不同的。當該要插入的對象在一個方向上延伸并在其他方向較小的情況下，此不同是有用的。能夠調整過渡區域寬度的事實也使得當插入的對象本身就是3D形式時深度的變化是平滑的成為可能。在Ya，不修改3D圖像的元素。在Yb,以使得元素具有等于Zscreen的最小深度的方式對該圖像進行內插。在Ya和Yb(相應地Y’ a和Y’ b)之間元素的深度變化是線性的。相同的推理也適用于X軸。為了削減與位于框架上的像素的不同深度有關的視覺擾動，所述變化可以是漸變的并且是拋物線的。根據一種改進，用戶具有引入用于相對于屏幕的深度值插入圖形對象的深度值的部件。此引入部件出現在光標的方位，由用戶選擇的光標的位置限定了要插入的對象的位置。觀眾將要插入的對象放置的離屏幕前方越近，3D場景就具有越深的深度。沒有必要使用戶能夠將光標移至屏幕的背面，因為這將進一步限制深度的效果。根據一種改進，內插區域的寬度依賴于由用戶引入的調整。事實上，如果用戶明確地將他的圖形對象移動到屏幕的前方，就不需要很寬的內插區域來減少視覺不適。例如，如果要插入的對象是標志，可以將框架的厚度限制到30個像素。
根據本發明的一種改進，涉及要插入的對象的一組數據由接收器I接收，特別地包括:該對象的視覺數據，可能是壓縮的，要插入的對象在所顯示的圖像內的位置，要插入對象和屏幕之間的距離與觀眾和屏幕之間的距離的比，框架的厚度。本發明所涉及的應用是所有那些在屏幕上顯示視覺內容并同意即時顯示附加信息項的應用。在視頻游戲領域，要插入的圖形對象可以是玩家的得分。在體育賽事的現場直播中，可由此顯示特定選手的得分或詳細信息。顯示裝置2通常是與主動式或被動式眼鏡、或視頻投影儀、或任何其他用于顯示3D圖像的設備項一起產生效果的3D電視屏幕。此外，本發明不僅可以實施在用于接收視聽傳輸內容的設備中也可以實施在傳輸設備中。例如，可以實施在電視公司想要在將被廣播的3D內容中永久地插入標志的的級別上。必須將本發明的實施例看作是示例性的，但可以在由所附的權利要求的范圍限定的領域內對其修改。特別是，本發明可以適用于任何接收數字視聽傳輸內容的設備。本發明尤其可以實施在所有在任何顯示部件上顯示三維圖像的技術中。
權利要求
1.一種用于生成至少一個三維圖像的方法，包括: 在所述至少一個三維圖像中以預定的插入深度插入圖形對象的步驟， 確定插入的圖形對象周圍的過渡區域的步驟，所述區域由對圖形對象劃界的第一內邊緣和與所述第一邊緣隔開的第二外邊緣劃界， 該方法特征在于，它還包括: 對位于所述過渡區域的至少一個圖像的元素的深度漸進調整的步驟，從所述過渡區域的第一邊緣到第二邊緣，從所述插入的圖形對象的深度到第二邊緣圖像元素的深度漸變。
2.如權利要求1所述的生成至少一個三維圖像的方法，其特征在于，所述調整進行調整使得應用到位于所述過渡區域的每個元素的深度從所述過渡區域的第一邊緣到第二邊緣一點一點地增加。
3.如權利要求2所述的生成至少一個三維圖像的方法，其特征在于，對應用于確定區域的每個元素的深度的漸進調整是所述區域的第一邊緣和第二邊緣之間距離的函數，該函數是下列函數之一:線性函數，三角函數，拋物線函數。
4.如權利要求1所述的生成至少一個三維圖像的方法，其特征在于，該方法包括接收與圖形對象相關聯的數據的步驟，所述接收到的數據除其他數據項外，還包括插入的圖形對象周圍的過渡區域的寬度。
5.一種用于生成三維圖像的設備(1)，包括 在至少一個三維圖像中插入圖形對象的部件(13)，其特征在于它還包括: 確定插入的圖形對象周圍的過渡區域的部件(3，4)，所述區域由對應于該圖形對象輪廓的第一內邊緣和與所述第一邊緣隔開的第二外邊緣劃界， 對位于所述過渡區域的至少一個圖像的元素的深度漸進調整的部件(13)，漸變從位于第二邊緣的圖像元素的深度到插入的圖形對象的深度。
全文摘要
本發明在于一種用于生成3D圖像信號的方法。在所述圖像中以確定的深度插入圖形對象。要插入的對象周圍有一個具有確定的厚度的框架。插入的圖形對象周圍的框架限定了過渡區域。過渡區域的圖像元素的深度從要插入的圖形對象的框架的外邊緣到內邊緣漸進變化。本發明還涉及一種用于生成所述顯示信號的設備。
文檔編號H04N13/00GK103202024SQ201180052459
公開日2013年7月10日 申請日期2011年10月26日 優先權日2010年10月29日
發明者S.蒂鮑德, A.維迪爾, D.多延 申請人:湯姆遜許可公司