專利名稱：多媒體數據檢索法、索引信息提供方法及相關裝置和服務器的制作方法
技術領域：
本發明涉及從多個的多媒體數據中，為了檢索所期望數據的多媒體數據檢索方法、索引信息提供方法、多媒體數據檢索裝置、索引服務器及多媒體數據檢索服務器。
隨著數字照相機(也稱數字圖像照相機)、映像掃描儀、膠片掃描儀、及數字攝像機等機器的進步驟，使之可以很簡單地作出數字化的靜止圖像(例如照片及文件等)、及數字化的動態圖像(例如視頻圖像等)、或數字化的聲音、或者這些組合等的多媒體數據，在各種領域中可利用這些多媒體數據。
這樣的多媒體數據大多使用計算機的文件系統及數據庫管理系統或專用軟件進行管理、為了容易檢索所需要的多媒體數據，進行了各種各樣的努力。
向來被廣泛使用的多媒體數據的管理方法，是將放入靜止圖像及動畫圖像及聲音等的多媒體數據的多個文件，作成被稱為目錄或折頁夾等的分組進行分類的方法。
在圖33中表示其具體例子。在圖33中所示的例子中，在“PHOTO”名稱的目錄之下作出“1970”和“1998”2個目錄，在“1970”目錄之下有“伊勢志摩”和“日本萬國博覽會”2個目錄，在“1998”目錄之下作出了“京都”和“長野冬奧會”2個目錄。
還在“伊勢志摩”目錄之下管理在伊勢志摩旅行時用數字照相機拍攝的“夫婦巖”照片的數據“夫婦巖·JPG”和在伊勢神宮拍攝的照片數據“伊勢神宮、JPG”。在“日本萬國博覽會”目錄中管理有到大阪去看日本萬國博覽會的旅行時在會場內的太陽塔拍攝的照片數據“太陽塔，JPG”和在美國館拍攝的照片數據“美國館，JPG”、及返回時路過大阪城拍攝的照片數據“大阪城，JPG”。在“京都”目錄之下管理有在京都旅行時用數字照相機拍攝的金閣寺的照片數據“金閣寺，JPG”、和在清水寺拍攝的照片數據“清水寺，JPG”。在“長野冬奧會”目錄中管理去看長野冬奧會旅行時在跳臺滑雪競賽場拍攝的照片數據“跳臺滑雪，JPG”、和在速度滑冰競賽場拍攝的照片數據“速度滑水，JPG”、及在返回時路過善光寺拍攝的照片數據“善光寺，JPG”。這些照片數據、此處是JPEG形式的靜止圖像數據，假定是具有“JPG”后綴的文件，有時也有其他數據形式。
向來廣泛使用的其他方法是對每個多媒體數據加上檢索用的關鍵字，使用該關鍵字進行檢索的方法。
在圖34/圖35中表示其中的一個具體例子(圖35是圖34的關鍵字表文件“KEYWORD”內容的例子)。
在圖34/圖35所示的例子中，從“P0000100，JPG”“P0000581，JPG”的10個照片數據文件是在文件系統內的“PHOTO”名稱的目標中進行管理，再對這些文件分別加關鍵字的表作為關鍵字表在“KEYWORD”文件中進行管理。在此，當在“P0000100，JPG”中有“夫婦巖”、“伊勢志摩”和“新年”3個關鍵字，在“P10000101，JPG”中有“伊勢神宮”、“伊勢志摩”和“新年”3個關鍵字時，對各數據加上任意個數的關鍵字進行管理。
這樣的管理，例如在需要伊勢志摩拍攝的照片數據時，可以選出具有“伊勢志摩”關鍵字的“P0000100，JPG”和“P0000101，JPG”。作為關鍵字的管理方法，可以像圖34/圖35的例子那樣作出保持照片數據的文件名和其上所加的關鍵字對應關系的文件，或者使用數據庫管理系統等利用各種方法。
以上所述的方法，如例子中所示那樣，不僅用于照片數據那樣的靜止圖像的管理，也可以用于與像視頻圖像那樣的動畫圖像數據及聲音數據、普通的文本文件那樣的數據、某些測量數據、WEB的URL那樣的其他數據的鏈接等各種形式的數據管理中。
在數字照相機的照片數據的整理時，也可以采用像整理洗印在普通照相紙上的照片的相冊那樣，使用在電子文檔上布置照片的相冊軟件的方法。
例如像“數字圖像照相機用圖像文件格式規格(Exif)Version 2.1”(JEIDA-49-1998，日本電子工業振興協會)及“Recording-Helical-scandigital video casette recording system using 6.35mm magnetic tapefor consumer use(525-60，625-50，1125-60 and 1250-50systems)-“(IEC 61834)中公開的那樣，由數字照相機(或數字圖像照相機)拍攝的照片數據、及由數字攝像機攝像的視頻數據的數據格式中，可以記錄攝影的時刻及位置等的屬性信息。數字照相機及數字攝像機具有使用從內裝計時器及GPS等所得到的信息，根據這些格式，將攝影時刻及攝影位置的信息作為數據的屬性進行自動記錄的功能。
如果使用自動附加這樣的攝影時刻及拍攝位置等的屬性信息，則可以不必像上述方法那樣進行分類、或附加關鍵字這種繁雜的作業，而是指定攝影時刻、或由緯度和經度指定攝影地點，對數據進行檢索。
這樣，為了用緯度和經度組合指定位置進行檢索，就必須予先知道想檢索地點的緯度和經度。作為更容易檢索的方式還有在畫面上顯示地圖，在照片和對其拍攝的地圖上的位置上進行配置顯示。另外，還有的方式具有地點及其指出的代表點的緯度和經度的對應表，當指定地點時，查出與其對應的代表點的緯度和經度，檢索在其附近拍攝的照片。
現有廣泛使用的將多媒體數據分類成目錄進行管理的方式的缺點是需要進行分類成加有對人來說容易理解的名字的目錄、并根據需要每個文件名也加有容易理解的名字這種繁雜作業。另外，對于在概念上可以分類成多個組的數據來說，還需要在多個目錄中拷貝放入，或者用鏈接機構，將一個數據放入虛擬的多個目錄中。
現有廣泛使用的另一方法是在多媒體數據上加上關鍵字進行管理、檢索的方式中，需要附加關鍵字的繁雜作業。另外，缺點是如果在后面不附加容易檢索的關鍵字，就不能檢索數據。
使用數字照相機用的相冊軟件，作成電子相冊的方式中，作成相冊的作業本身是麻煩繁雜的作業。
另一方面，利用數字照相機及數字攝像機自動附加的攝影時刻及攝影位置信息的方式，可省去人對檢索用加上關鍵字進行分類的麻煩。但是為了能夠正確指定檢索時刻及位置，必須予先在某種程度上了解檢索對象的攝影時刻及攝影位置，實用的檢索是困難的。
還有的方式是具有地圖上的地名及其指出的代表點的緯度和經度的對應表，不是指定具體的緯度和經度的數值而是指定地名，而是檢索附近位置的數據，但是即使這種情況也不能指定檢索不是地名的概念。
在使用目錄名及關鍵字的方式中，在目錄名及關鍵字中可以使用像“長野冬奧會”及“日本萬國博覽會”這種不是地圖上的地名、卻是表示人們容易理解的概念的語言，可以進行更直感且容易明白的檢索，但是對于只是自動附加時刻及位置等的信息中，用人易于理解的概念進行檢索是很困難的。
本發明考慮到上述情況，其目的在于提供一種多媒體數據檢索方法、索引信息提供方法、多媒體數據檢索裝置、索引服務器及多媒體數據檢索服務器，不需要為了檢索而對多媒體數據進行分類、或附加關鍵字這種繁雜的作業，利用自動附加時刻及位置等的屬性信息，使用表示人更容易理解的概念的語言，可以靈活地檢索多媒體數據。
另外，本發明的目錄在于提供一種多媒體數據檢索方法、索引信息提供方法、多媒體數據檢索裝置、索引服務器及多媒體數據檢索服務器，不需要將表示在多媒體數據中所記錄的內容的信息，予先對多媒體數據進行分類，或附加關鍵字這種繁雜的作業，而利用在時刻及位置等的多媒體數據上自動加上的屬性信息，可以使用表示人易于理解的概念的語言進行顯示。
在本發明所涉及的多媒體數據檢索方法/多媒體數據檢索裝置，其特征在于對多個多媒體數據的各數據，與該多媒體數據產生相有關系而自動生成的時刻信息及位置信息相關聯進行管理；當接受了用事件名所指定的檢索請求時，求出對應于該檢索請求的時刻信息或位置信息、或者時刻信息及位置信息；根據所求得的上述時刻信息或位置信息、或者時刻信息及位置信息，對所管理的上述多個的多媒體數據進行檢索。
另外，本發明所涉及的索引信息提供方法/索引服務器，其特征在于從請求端經過網絡接受用事件名所指定的檢索請求；通過參照包含多個的事件名、及與各事件名相關聯的時刻信息和位置信息的雙方或一方的索引表，根據上述檢索請求中所用的上述事件名，求出對應于上述檢索請求的時刻信息和位置信息的雙方或一方；將對應于所求得的上述檢索請求的時刻信息和位置信息的雙方或一方，經過網絡提供給上述請求端。
另外，本發明所涉及的多媒體數據檢索方法/多媒體數據檢索服務器，其特征在于對多個多媒體數據的各數據，與該多個多媒體數據的產生有關系而自動作成的時刻信息及位置信息的雙方或一方相關聯進行管理；以請求端經過網絡接受用事件名所指定的檢索請求；求出對應于所接受的上述檢索請求的時刻信息和位置信息的雙方或一方；根據所求得的上述時刻信息和位置信息的雙方或一方，對所管理的上述多個的多媒體數據進行檢索；并將檢索結果經過網絡提供給上述請求端。
涉及裝置的本發明既可作為相關于方法的發明成立，涉及方法的本發明也可作為相關于裝置的發明成立。
另外，涉及裝置或方法的本發明也可作為記錄在計算機上執行與本發明相當的步驟驟的(或者為使計算機作為相當于本發明的裝置的功能，或者為在計算機上實現相當于本發明的功能的)程序的計算機可讀取的記錄媒體。
在本發明中，在多媒體數據進行攝影等時，或者利用在其附近自動賦予或取得等的時刻信息及位置信息，管理多媒體數據，同時通過設置登錄事件名和時刻信息及位置信息的對應關系的索引表，在接受使用事件名所指定的檢索請求時，根據該事件名求出對應于該檢索請求的時刻信息及位置信息，根據所求得的該時刻信息和位置信息檢索多媒體數據。
這樣，根據本發明，不再需要對想管理的多媒體數據分類成目錄及折頁夾，或者加檢索用的關鍵字這種繁雜的作業，通過對用戶直感的易于理解的事件名及其組合，就可以檢索所希望的多媒體數據。另外由于通過將索引表放在索引服務器中，可以在服務器一側增加新的事件名，所以用戶即使不進行索引表的更新作業，也可以使用新的事件名進行檢索。
在本發明中，當利用時刻信息及位置信息管理多媒體數據，并接受了使用多個的事件名所指定的檢索請求時，利用通過索引表及索引服務器，根據該事件名求得的該檢索請求所對應的時刻信息及位置信息，檢索多媒體數據，所以不需要對想管理的多媒體數據分類成目錄及折頁夾，或者附加檢索用的關鍵字這種繁雜的作業，通過對用戶直感的易于理解的事件名及其組合，可以對所希望的多媒體數據進行檢索。
下面參照附圖對本旭有的實施例進行說明，這些附圖包括

圖1表示本發明的一實施例所涉及的多媒體數據檢索裝置的構成例。
圖2表示數據管理部中的數據管理的一例。
圖3表示數據管理部中的數據管理的另一例。
圖4表示數據管理部中的數據管理的另一例。
圖5表示數據管理部中的數據管理的又一例。
圖6表示數據管理部中的數據管理的又一例。
圖7表示數據管理部中的數據管理的又一例。
圖8表示索引處理部構成例的圖。
圖9表示索引表例子的圖。
圖10表示索引檢索部動作的一例的流程圖。
圖11表示本發明的一實施例所涉及的調出索引服務器的多媒體數據檢索裝置構成例的圖。
圖12表示調出索引服務器的索引處理部構成例的圖。
圖13表示本發明的一實施例所涉及的索引服務器構成例的圖。
圖14表示具有多個索引表的索引處理部的構成例的圖。
圖15表示并用索引表和索引服務器的索引處理部的構成例。
圖16表示數據選擇部動作一例的流程圖。
圖17為對具有前端程序的多媒體數據檢索裝置進行說明的圖。
圖18為對使用地圖的檢索范圍縮小的例子進行說明的圖。
圖19為對在地圖上縮小的例子進行說明的圖。
圖20為對在時刻上縮小的例子進行說明的圖。
圖21為對使用時刻信息的檢索范圍縮小的例子進行說明的圖。
圖22為對由事件名的組合的檢索范圍縮小的例子進行說明的圖。
圖23為對具有前端程序的多媒體數據檢索裝置的另一例進行說明的圖。
圖24為對具有照片顯示區域的前端程序的例子進行說明的圖。
圖25為對具有前端程序的多媒體數據檢索裝置的又一例進行說明的圖。
圖26表示從裝載WEB瀏覽器的客戶機通過網絡，對執行前端程序及多媒體數據檢索程序的多媒體數據檢索服務器進行存取的構成例的圖。
圖27表示從裝載WEB瀏覽器的客戶機通過網絡，對執行前端程序及多媒體數據檢索程序的多媒體數據檢索服務器進行存取的另一構成例的圖。
圖28表示具有本發明的一實施例所涉及的具有反查找檢索功能的多媒體數據檢索裝置構成例的圖。
圖29表示反查找檢索部動作一例的流程圖。
圖30表示本發明的一實施例所涉及的具有使用索引服務器的反查找檢索功能的多媒體數據檢索裝置構成例的圖。
圖31表示本發明的實施例所涉及的具有反查找檢索功能的索引服務器構成例的圖。
圖32為對具有反查找檢索功能的前端程序例進行說明的圖。
圖33為對使用現有目標的多媒體數據的管理例進行說明的圖。
圖34為對使用現有關鍵字的多媒體數據的管理例進行說明的圖。
圖35為對使用現有關鍵字的多媒體數據的管理例進行說明的圖。
本發明的多媒體數據檢索裝置，以在成為檢索對象的各個多媒體數據中至少與時刻信息和位置信息的雙方或一方相關聯為前提，至少利用這些信息進行檢索、顯示等。在本實施例中作為具體例子是以采用時刻信息和位置信息的雙方的情況為例說明的。
另外，在本實施例中，存在通過攝影裝置及附屬的裝置等自動在多媒體數據上附加相關的屬性信息(時刻信息和位置信息的雙方或一方)，以利用該屬性信息的情況為例進行說明。
如上所述，在用數字照相機1或數字圖像照相機拍攝的照片數據、及用數字攝像機拍攝的視頻數據的數據格式中，可以記錄拍攝的時刻及位置等屬性信息。數字照相機及數字攝像機使用內裝計時器及GPS(例如包括裝在照相機主體內、及裝在照相機外的裝置等)等所得到的信息，根據這些格式，由于有的具有將攝影時刻及攝影位置的信息作為數據的屬性進行自動記錄的功能，所以可以利用該功能。
在數字照相機及數字攝像機中可以記錄攝影時刻的信息，但大多不具有記錄位置的功能。當使用這樣的數字照相機及數字攝像機時，只要一起攜帶可以定期記錄時刻和位置的便攜式GPS裝置即可。由于在拍攝的照片或圖像中帶有攝影時刻的信息，所以可以從便攜式GPS裝置的數據中分出攝影時刻的位置信息，將其作為攝影位置的信息使用。
除了GPS之外，例如還有利用PHS及blue tooth等獲得位置信息的方法。另外，當不能使用便攜式的GPS等裝置時，只是位置信息也可以參照地圖的數據由人工加上的方式。
這樣，對于與時刻、位置的屬性信息相關聯的多媒體數據組合，在本發明的多媒體數據檢索裝置中就可以通過“事件”進行檢索。
在本發明中，所謂“事件”是在與多媒體數據可具有的n(n為1以上)種類屬性信息中的1以上n以下種類的屬性信息相關聯的種種概念，將該概念的名字稱為“事件”。
在本實施例的具體例子中，由于屬性信息是以使用時刻和位置的情況為例，所以本實施例的具體例子中的事件是與時刻和位置的雙方或一方相關聯的。
例如，“長野冬奧會”是事件名之一，在該詞匯中，召開長野冬奧會的時間和地點分別以時刻信息及位置信息相關聯。“日本萬國博覽會”、“橫浜國體”、“沖繩研討會”及“電子展覽會’99”等也是以各召開時間和地點作為時刻信息及位置信息相關聯的“事件名”。
另外，在事件中還有的像“只園祭”、“奧運會”、“研討會”、“電子展覽會”等那樣也可召開多次。對于這樣的事件名，表示召開時間和地點的時刻信息和位置信息與多個相關聯。
另外，在事件中，有的只具有時刻信息和位置信息中的一方。例如“信卅”、“新宿”、“富士山”、“橫浜市立000小學校”、“00制造會社00工廠”等是只與位置信息相關聯的事件名。但是即使是表示位置的事件名也存在由于地名變更等造成以前使用的地名現在不能使用，以及反之最近新起的地名等的時刻信息。另外，還有例如像“國際兒童年”及“第10次全國安全衛生月”那樣沒有確定的位置信息，只與時刻信息相關聯的事件名。在只與時刻信息相關聯的事件名中還有像“新年”、“圣誕節”、“情人節”、“閏年”等那樣，是在每年確定的時間的事件，及幾年一次的事件，在這樣的事件中與多個時刻信息相關聯。
圖1表示本發明的一實施例所涉及的多媒體數據檢索裝置的構成例。
本多媒體數據檢索裝置1具有圖1所示的構成，大體具有索引處理部11、數據選擇部12、數據管理部13三個構成單元。
當采用時刻信息和位置信息雙方時各構成單元的概要如下。
數據管理部13使多媒體數據與時刻信息和位置信息的雙方相關聯進行管理。
索引處理部11當通過1個事件名或多個事件名的組合輸入檢索請求時，取出對應于所輸入事件名的時刻信息或位置信息、或者時刻信息及位置信息(即，根據事件名的不同，包括有取出時刻信息但沒有位置信息的情況、取出位置信息但沒有時刻信息的情況、以及取出時刻信息和位置信息的情況)。
另外，在通過多個事件名的組合輸入檢索請求時，在本實施例的具體例子中是以多個事件名的每一個作為加重條件處理，對多個文件名取出的時刻信息之間或位置信息之間進行“與”計算、縮小時刻信息和位置信息的情況以具體例子進行說明。當然對于多個事件名也可以適當指定“與”、“或”、“非”(這時只要進行指定“與”、“或”、“非”等的計算即可)。
數據選擇部12從數據管理部13管理的多媒體數據中，選出其關聯的時刻信息/位置信息與索引處理部11對上述檢索請求取出的時刻信息或位置信息、或者時刻信息及位置信息相一致的部分，將這樣選出的多媒體數據的集合作為檢索結果返回。
當采用時刻信息和位置信息的一方時，各構成單元的概要如下。
數據管理部13使多媒體數據與時刻信息(或位置信息)相關聯進行管理。
索引處理部11當通過1個事件名或多個事件名的組合輸入檢索請求時，取出對應于所輸入的事件名的時刻信息(或位置信息)。當是多個事件名的組合時，與上述相同。
數據選擇部12從數據管理部13管理的多媒體數據中，選出其關聯的時刻信息(或位置信息)與索引處理部11對上述檢索請求取出的時刻信息(或位置信息)相一致的部分，將這樣選出的多媒體數據的集合作為檢索結果返回。
當然，除時刻信息之外同時采用其他信息時、除位置信息之外同時采用其他信息時、除時刻信息和位置信息之外同時采用其他信息時，同樣也是可能的。
下面，以采用時刻信息和位置信息雙方的情況為中心進行說明。
如上所述，本實施例的多媒體數據檢索裝置的數據管理部13，使成為檢索對象的多個多媒體數據分別與時刻信息和位置信息的雙方或一方相關聯進行管理。
圖2表示本實施例的多媒體數據檢索裝置的數據管理部13實現方式的一個例子。
如圖2的例子所示，這是利用可以包括“數字圖像照相機用圖像文件格式(Exif)Version 2.1”(JEIDA-49-1998，日本電子工業振興協會)及“Recording-Helical-scan digital video casette recording systemusing 6.35mm magne tic tape for consumer use(525-60，625-50，1125-60 and 1250-50 systems)-“(IEC 61834)中公開的時刻信息和位置信息的格式的方式。
在圖2的例子中，在文件系統內的“PHOTO”的目錄中，存儲由“數字圖像照相機用圖像文件格式規格(Exif)Version 2.1”規定的格式所記錄的多個數字照片的數據進行管理。從“P0000100.JPG”到“P0000581.JPG”是放入數字照片數據的文件。在這些文件中除了數字照片的靜上圖像數據之外，還記錄有拍攝該照片的時刻信息(在圖2中表示為“TIME”及作為拍攝該照片位置的信息的緯度和經度)在圖2中表示為“LOCAION”。例如“P0000100.JPG”數據文件具有時刻信息“1970/01/01 063005”、位置信息“E136°47′.37″、N34°30′20.05″、表示是1970年1月1日上午6時30分05秒在東經136°47′29.37″、北緯34°30′20.05″拍攝的照片的數據。
圖2是以數字照片數據為對象的例子，但是在數字視頻圖像時，也可以使用例如“Recording-Helical-scan digital video casetterecording system using 6.35mm magnetic tape for consumer use(525-60、625-50、1125-60 and 1250-50 systems)-”(IEC 61834)中公開的格式，作為視頻圖像的屬性信息對攝像時間和攝像位置的緯度經度進行記錄。不過，當由數字照相機(或數字圖像照相機)等作成的靜止圖像時，一個數據對應一個攝影時刻和攝影位置的信息，而當由數字攝像機拍攝的動態圖像時，則一個數據不僅對應一個攝像時刻和攝像位，這一點是不同的。即，有時在一個數據中混合存在不同時間在不同地點攝像的照片。
本發明的方法除了在上面說明中所述的格式之外，也可以適用于各種格式的數字照片及數字視頻數據，這一點本行業人員是清楚的。
在圖3/圖4中表示本實施例的多媒體數據檢索裝置的數據管理部13實現方式的另一例子(圖4是圖3的位置信息文件“LOCATION.DAT”內容的例子)。
如圖3/圖4的例子所示，管理對象的各數據只具有時刻信息，各數據與該數據的位置信息的對應是使用文件及數據庫管理系統等另行管理的方式。
在圖3/圖4中，在“PHOTO”目錄管理的從“P0000100.JPG”到“P0000581.JPG”的10個數字照片數據中，攝影的時刻是分別作為時刻信息進行記錄的。這時的照片數據格式可以采用Exit Version2.1。除照片數據外另外將各照片與表示拍攝照片地點的位置信息的對應關系記錄在位置信息文件中進行管理。在圖3/圖4的例子中名字為“LOCAT10N.DAT”的文件是位置信息文件。在“LOCAT10N.DAT”中如圖3/圖4所示，例如在“P0000100.JPG”名字的文件中所記錄的數字照片數據的照片信息對應于表示東經136°47′29.37″、北緯34°30′20.05″的“E136°47′29.37″、N34°30′20.05″。
圖5/圖6表示本實施例的多媒體數據檢索裝置的數據管理部13實現方式另一例子(圖6是圖5的屬性信息文件“PROPERTY.DAT”內容的例子)。
如圖5/圖6的例子中所示，管理對象的各數據既沒有時刻信息也沒有位置信息，各數據與該數據的時刻信息及位置信息的對應是使用文件及數據庫管理系統等另行管理的方式。
在圖5/圖6中，在“PHOTO”目錄中管理的從“P0000100.JPG”到“P0000581.JPG”的10個數字照片數據既沒有時刻信息也沒有位置信息。除照片數據外另外將各照片與其時刻信息及位置信息的對應關系記錄在屬性信息文件中進行管理。在圖5/圖6的例子中，名字為“PROPERTY.DAT”的文件是屬性信息文件。在“PRDPERTY.DAT”中如圖5/圖6所示，在名字為“P0000100.JPG”的文件中所記錄的數字照片數據的時刻信息與表示1970年1月1日上午6時30分5秒的“1970/01/01 063005”對應，位置信息與表示東經136°47′29.37″、北緯34°30′20.05″的“E136°47′29.37″、N34°30′20.05″”相對應。
圖7表示本實施例的多媒體數據檢索裝置的數據管理部13實現方式的又一例子。
如圖7所示，管理對象的各數據是只具有時刻信息，位置信息并用GPS數據進行對應的方式。
在圖7中，在“PHOTO”目錄中管理的從“P0000100.JPG”到“P0000581.JPG”的10個數字照片數據具有時刻信息但不具有位置信息。除照片數據外另外管理拍攝各照片時的GPS數據。在圖7的例子中，名字為“19700101.GPS”的文件是1970年1月1目的GPS信息的數據、而文字為“19700612.GPS”的文件是1970年6月12日的GPS信息的數據，將1天的GPS信息作為1個文件進行管理。在各GPS信息文件中，隔一定時間將該時的緯度和經度作成對應表進行記錄。
通過使用該GPS信息，當需要例如“P0000100.JPG”位置信息時，從“P0000100.JPG”時刻信息中選擇對應的GPS信息文件“19700101.GPS”，從這些信息中求出上午6時30分5秒的時推測的位置信息。這時，由于GPS信息只以一定時間間隔(即只是離散地)記錄的，所以很難記錄正好在查找的時刻的位置信息。為此可以使用距想找的時刻最近時刻的信息，或者使用想查找的時刻前后的位置信息進行差補計算的位置信息。
以上的各方法是有2種與多媒體數據相關聯的屬性信息時的例子，但是當屬性信息為1種及3種以上時也可以使用同樣的方法。
在圖2、圖3/圖4、圖5/圖6、圖7中說明的數據管理部13的各實現例中，哪一個照片數據的文件都是在名字為“PHOTO”的一個目錄中進行管理。這些管理方式也可以容易并用使用現有的目錄的分類方式及可使用關鍵字進行檢索的管理方式。
數據管理部13管理的多媒體數據如上述的例子中所示，除了在多媒體數據檢索裝置1內管理的方式之外，也可以利用通過遠程文件系統等網絡的文件及數據存取方式在其他的計算機上進行管理。
本實施例的多媒體數據檢索裝置由索引處理部11接受檢索請求，開始操作。檢索請求既可以從用戶直接對多媒體數據檢索裝置1發出，又可以從用戶和多媒體數據檢索裝置1之間接口的前端程序發出，或者從各種應用程序發出。
檢索請求以1個事件名或多個事件名的組合形式，加給索引處理部11。
例如當想檢索在信卅拍攝的照片數據時，稱為“信卅”的事件名成為檢索請求，當想檢索去觀看長野冬奧會時拍攝的照片數據時，“長野冬奧會”的事件名變為檢索請求，當想檢索新年拍攝的照片數據時，“新年”的事件名變為檢索請求。
通過對事件名進行組合，可以指定由1個事件名不能表現的檢索條件。對表示“京都”地點的事件名和表示“新年”時刻的事件名進行組合的“京都的新年”的檢索請求變為新年在京都拍攝的照片數據的檢索請求。另外在“1970年新年的京都”的情況時，還可以進一步驟縮小檢索條件。
當然，上面的說明并不沒有排除將對基本事件名進行組合的形式作為事件名的意思，而是說設置“京都的新年”這樣一個事件名也沒關系。
另外的例子是也可以限定“(事件名)+(的地點)”，只指定位置信息進行檢索，或者反之限定“(事件名)+(的時間)”只指定時刻信息進行檢索。例如“長野冬奧會”的事件名成為指定時刻信息和位置信息雙方的檢索請求，但是也可以限定“長野冬奧會的地點”，只指定位置信息進行檢索，或者限定“長野冬奧會的時間”，只指定時刻信息進行檢索。還可以在“(事件名)+(的時間)+(事件名)”，例如“長野冬奧會時的扎幌”的情況時，收縮檢索條件。
圖8表示本實施例的多媒體數據檢索裝置的索引處理部11的構成例。
如圖8所示，本索引處理部11具有索引檢索部111和索引表112。
索引檢索部111首先將1個事件名或多個事件名的組合作為檢索請求接收，查找索引表112求出對應于其中所包含的各事件名的時刻信息和位置信息。
接著，如果檢索條件是1個事件名，則索引檢索部111將該時刻信息及/或位置信息作為索引信息，轉到數據選擇部112。如果檢索條件是多個事件名的組合，則將從對各文件名的時刻信息及/或位置信息中計算求得的組合后的時刻信息及/或位置信息，作為索引信息轉到選擇部112。
“索引表”是管理事件名及其具有的n種類屬性信息的對應關系的表。有1種屬性信息存在1個項目的情況及存多個項目的情況(例如作為時刻信息在表示期間時，至少需要開始時刻和結束時刻2個項目)。
本實施例中的索引表是管理事件名及其具有的時刻信息和位置信息雙方或一方的對應關系的表。
圖9表示索引表112的例子。該例的索引表112對各事件名，作為其時刻信息時管理“開始時刻”和“結束時刻”，而作為位置信息時管理“緯度1”、“緯度2”和“經度2”。例如“大阪城”的事件名不具有對應的時刻信息，作為位置信息將代表點的位置信息由“緯度1”及“經度”表示。
當用代表點表示位置信息時，該點離開中心多遠、該事件名是否是指示的范圍，是模糊的。因此，也可以在事件表中一起記錄從代表點的有效半徑的距離。當半徑在表面上未記錄時(或者未采取在表面上記錄半徑的方法時)，例如在數據選擇部12中以適當的基準設定離代表點的有效距離即可。也可以不用代表點而用代表的線的指定進行位置信息的指定。這時，判斷以該線的多少距離是屬于該事件，與代表點時同樣，可以在索引表中一起記錄該距離，或者由數據選擇部12按適當的基準設定有效的距離。
另外，在圖9的索引表112中，在“京都”事件名中將經度1為“E135°38′59.49″”、緯度1為“N35°06′15.19″”、經度2為“E135°50′04.32″”、緯度2為“N34°54′56.38″”作為位置信息。即，將“京都”事件名指出的區域的位置信息用以指定的平面上的2點為對角的長方形近似表示。
位置信息的指定方法如圖9例子所示，除了用長方形指定區域以外，還有用更接近實際區域的多邊形進行近似的方法。另外還有用多個點或區域集合表示的方法。
在圖9的索引表112中，“日本萬國博覽會”的事件名中將開始時刻為“1970/3/14”、結束時刻為“1970/9/13”作為時刻信息，經度1為“E135°31′22.20″”、緯度1為“N34°48′50.41″”、經度2為“E135°32′43.65″”、緯度2為“N34°47′37.92″”作為位置信息。時刻信息也可以根據事件的種類及必要性，指定到更細的時間，反之也可只指定更粗的年。
在檢索請求中指定的事件名中也可以不必查找事件表，而是直接指定時刻信息及位置信息。例如，可以用“1970年”將1970年1年作為檢索請求的時刻指定，直接指定緯度和經度來指定檢索請求的位置信息。這樣的指定方法在對事件名進行組合時可以有效使用。例如用“1970年的京都”的檢索請求，可以檢索1970年在京都拍攝的照片。
在圖9中所示的索引表112的例子中，只記錄了如圖2的例子所示的與數字照片相關聯的事件，但這只是表示了說明中必要的部分，實際上只要登錄更多個的事件執行即可。
本實施例的多媒體數據檢索裝置1的索引處理部11的索引檢索部111，例如按圖10中所示的步驟驟操作。
索引檢索部111首先接受檢索請求(步驟S1)，然后取出在該檢索請求中包含的事件名(步驟S2)。
接著，以取出的事件名為關鍵字，查找索引表112，來求對應于各事件名的時刻信息和位置信息(步驟S3)。
以這樣求得的時刻信息及/或位置信息為基礎，根據檢索請求所指出的事件名的組合方法，計算檢索對象的時刻信息及/或位置信息(步驟S4)。
索引檢索部111將這樣求得的檢索對象的時刻信息及/或位置信息(即，根據檢索請求中所包含的事件名，包括有時刻信息沒有位置信息的情況、有位置信息沒有時刻信息的情況、及有時刻信息及位置信息的情況)作為索引信息，轉給數據選擇部12(步驟S5)。
可是，在此說明的索引處理部11的構成中，是在本地具有索引處理部11內的索引檢索部111和索引表112。如圖11所示，索引處理部11的其他構成例還有索引處理部11使用由因特網或內部網等網絡6連接的遠程索引服務器3進行處理的方式。
圖12表示這時的索引處理部11的構成例。如圖12所示，這時的索引處理部11包括將接受的檢索請求發送給索引服務器3的檢索請求發送部113；及根據該檢索請求，接受由索引服務器3所求得的索引信息，轉給數據選擇部12的索引信息接收部114。
圖13表示這時的索引服務器3的構成例。如圖13所示，這時的索引服務器3包括通過因特網等網絡6，接受檢索請求的檢索請求接收部33；對事件名及與其對應的時刻信息和位置進行管理的索引表32；參照索引表32從檢索請求中求得索引信息的索引檢索部31；及使所求得的索引信息返送回的索引信息發送部34。索引檢索部31有32，例如如圖10及圖9的例子所示，只要與在本地處理的索引處理部11具有的部分進行同樣操作的構成即可。
在使用索引服務器3時，也可以構成為在索引服務器3一側不進行在檢索請求由多個事件名組合指定時進行的(時刻信息及位置信息有關的)計算，而在多媒體數據檢索裝置1內的索引處理部11一側進行計算(這時，只要從索引服務器3向多媒體數據檢索裝置1直接返回對各事件名的時刻信息及位置信息即可)。這種方法如下所述，在對多個的索引服務器3進行組合使用，或者對本地的索引表112和索引服務器3進行組合使用時，也可以有效采用。
在本地具有索引表的索引處理部11的優點是多媒體數據檢索裝置1也可以沒有通信功能。但是新的事件名需要用某種方法將其增加在索引表中。例如可以采用在軟盤及CD-ROM中配置；在因特網中配置；或者加在廣播電波上配置的方法。
使用索引服務器3的索引處理部11的優點是自己不必進行增加新事件的索引表維護。如果在索引服務器3中增加新事件，即使不進行什么特別的作業，也可以直接馬上使用。另外，由于索引服務器3與網絡6相連接，所以與同一網絡6相連接的多個多媒體數據檢索裝置1也可以共同使用一個索引服務器3。
作為使用索引服務器3的其他實施例還有在多媒體數據檢索裝置1內快速存儲索引服務器3具有的索引表32的數據的方式。即，從多媒體數據檢索裝置1的數據管理部13中管理的照片等多媒體數據具有的時刻信息和位置信息中，先從索引服務器3讀取與其符合的事件的數據，存儲在本地的索引表112中，或者將暫時從索引服務器3讀出使用的事件的數據，快速存儲在本地的索引表112中，在以后的檢索請求的處理中，當只能處理本地的索引表112的信息時，只使用該數據就可以求得索引信息。進行快速存儲及事先讀出的事件數據的范圍可以由各種因素決定。例如可以使用符合范圍的全部、只是最近使用的、照片多的時候、頻繁查找的部分等等的基準。
另外，索引服務器3也可以準備多個，根據需要進行切換，或者將多個索引服務器的信息組合使用。
例如，可以準備多個具有相同索引表的索引服務器，使負荷分散，或者在某個索引服務器發生故障時可使其他索引服務器，從而提高可靠性。另外，還可以例如準備多個具有不同事件數據的索引服務器，根據需要可切換使用的索引服務器。另外還可以準備多個具有不同等級信息的索引服務器，例如具有世界級信息的索引服務器、具有日本級信息的索引服務器、具有神奈川縣級信息的索引服務器……，使用從低等級到高等級的多個索引服務器進行檢索，將從這些索引服務器所得到的索引信息進行組合，根據檢索請求計算索引信息。
在圖8所示的索引檢索部(多媒體數據檢索裝置)、及圖13所示的索引檢索部(索引服務器)的構成構例中，索引檢索部查找的索引表是一個，但是也可以將索引表分成多個使用。
圖14表示將圖8的索引處理部11構成為具有多個索引表的例子。在圖14的例子中具有4個索引表(圖中為112-1～112-4)。
這樣的多個索引表的使用方法，例如將事件分類成多個領域，通過將其分別記錄在索引表中，可以容易管理索引表。
另外的使用方法還可以例如將圖14中的索引表#1作為多個用戶共有的索引表，而將索引表#2、索引表#3、索引表#4作為記錄各不同用戶用的事件的索引表。這樣，有的用戶使用索引表#1和索引表#2，有的用戶使用索引表#1和索引表#3，有的用戶使用索引表#1和索引表#4，根據用戶不同可以使用最佳的索引表進行檢索。這種情況，在用戶用的索引表中既可以記錄個人用的事件，也可以在特定的領域具有興趣的用戶群體記錄共有的事件。
更為普通構成索引檢索部111可以將共有的索引表和用戶群體的索引表和個人用的索引表組合成所需個數使用。
當然，具有圖14例子中所示的多個索引表的索引檢索部在圖13所示的索引服務器的索引檢索部31中也同樣可以適用，這是顯而易見的。
圖15表示圖8所示的在本地具有索引表112的索引處理部11(具有索引處理部的多媒體數據檢索裝置1)再與遠程索引表3并用的構成例。
當輸入檢索請求時，該例的索引處理部11將其轉給本地的索引檢索部111和檢索請求發送部113雙方。
通過網絡6，檢索請求發送部113將檢索請求發送給索引服務器3，由索引信息接收部114接收由索引服務器3檢索的索引信息，將其轉給索引信息綜合部115。這時當檢索請求中指定事件名的組合時，既可以檢索服務器3對各事件名的時刻信息和位置信息進行檢索，使其直接返送回，也可以在索引服務器3內對多個的事件的時刻信息及/或位置信息的組合進行計算后返送回。
接受檢索請求的索引檢索部111查找本地的索引表112，檢索對應于檢索請求所指定的各事件的時刻信息和位置信息，轉給索引信息綜合部115。這時，在檢索請求中指定事件名的組合時，即可以索引檢索部111檢索對各事件的時刻信息和位置信息，并將其直接轉給索引信息綜合部115；也可以在索引檢索部111上對多個事件名的時刻信息及/或位置信息的組合進行計算后轉給索引信息綜合部115。
當單獨由遠程索引服務器3或本地索引檢索部111，不能求得對檢索請求所指定的所有事件的時刻信息及/或位置信息時，求出單獨可以檢索的事件的有關時刻信息和位置信息，轉給索引信息綜合部115。
索引信息綜合部115對從索引檢索部111和從索引信息接收部114轉來的信息進行組合，對檢索請求對應的最終檢索對象的時刻信息或位置信息、或者時刻信息及位置信息進行計算，并將其作為索引信息轉給數據選擇部12。
這樣，對多媒體數據檢索裝置內的本地索引表和索引服務器一側的索引表并用的方式，對在使個人事件名和一般事件名混合存在的檢索時是有效的。
例如，當想找出母親生日在00飯店吃飯時的照片時，對于“00飯店”的事件名的位置信息可以由索引服務器進行檢索，但是“母親的生日”的個人信息不能用多個用戶共有的索引服務器3進行檢索。為此，在多媒體數據檢索裝置1內的本地個人用索引表112中如果以“母親的生日”的事件名放入生日的時刻信息，則可以對索引服務器3的數據進行組合來檢索該數據。這樣，例如像“00飯店的母親的生日”那樣，也可以使索引服務器3中的事件名和本地索引表112中的個人事件名組合進行檢索(對“00飯店”可從索引服務器中得到位置信息，而對“母親的生日”可從本地索引表中得到時刻信息)。在此說明了在本地將個人用的索引表112放在多媒體數據檢索裝置1內的方式，但是也可以將個人用的索引放在索引服務器3一側，在索引服務器3內將個人用的索引表和一般共用的索引表組合進行處理。
當然，與在圖8所示的本地具有索引表的多媒體數據檢索裝置1再并用遠程的索引服務器同樣，也可以在圖13中所示的本地具有索引表的索引服務器也可并用其他的索引服務器。
可是，作為個人用的索引表也可以采用個人的日程數據。例如在由計算機管理的電子日程本中，以日期或時間等為單位記錄個人的日程。利用該信息，將所記入的日程作為事件名，該事件名作為檢索請求指定時，也可以將與此對應的日程的日期時間作為時刻信息取出，用于索引信息的計算中。這樣，如果在日程本中登錄了例如“支店長會議”的日程，則對“在產業會館召開的支店長會議”的檢索請求，可以將由索引服務器查找的產業會館的位置信息和由日程本查找支店長會議的時刻組合，計算索引信息。作為從日程本的數據變換成索引表的方式，既可以在適當的時間統一變換成索引表，又可以在對檢索請求進行處理時，直接參照日程本。
當由本實施例的多媒體數據檢索裝置的索引處理部11可求得索引信息時，該信息轉到數據選擇部12(參照圖1)。數據選擇部12例如按圖16中所示的步驟驟進行操作。
即，當數據選擇部12從索引處理部11接收索引信息時(步驟S11)，則從數據管理部13管理的多媒體數據中，選擇符合索引信息中所指定的時刻信息及/或位置信息(包括只有時刻信息時、只有位置信息時、時刻信息及位置信息都有時)(步驟S12)，將其作為檢索結果進行輸出(步驟S13)。
當選擇符合在索引信息中所指定的時刻信息及位置信息的多媒體數據時(或選擇符合索引信息中所指定的位置信息的多媒體數據時)，如上所述，有時索引信息的位置信息只指定代表點，而不指定半徑。這種情況下，可以構成為使用予先確定的距離為半徑，或者在并用使用GUI(圖形用戶接口)的前端程序時，也可以構成為根據在畫面上能夠顯示的多媒體數據的數量確定半徑。
作為檢索結果如上所述，除了只輸出符合在索引信息中所指定的時刻信息、或位置信息、或者時刻信息及位置信息的多媒體數據之外，還可以輸出不符合在索引信息中所指定的時刻信息或位置信息，但接近時刻或位置的多媒體數據。該方式特別對在通過使用GUI的前端程序進行檢索時是很有效的。即，例如在畫面上顯示符合某個檢索請求的照片時，如果知道不是一致但卻是在附近的地點拍攝的照片、及在接近的時期拍攝的照片，則當這些一起顯示時，還可將其作為關鍵字，容易使檢索對象擴大、或縮小、或變更。雖然這時與要選的照片不一致，但卻是接近的時刻或位置的照片，為了能夠區別，只要改變顯示方法即可區別開來。
為了提高數據選擇部處理的速度，只要對為從時刻信息及位置信息中查找成為目標的數據的B-TREE等數據結構進行加工即可。
另外，將數據管理部13管理的多媒體數據分成組，在選擇數據選擇部12中的多媒體數據時，也可以指定成為對象的組。例如對數據管理部13管理的多媒體數據，加上表示“秘密照片”、“工作照片”、“失敗照片”等的標記，可以采用當請人看時從帶有工作照片標記的數據的集合中進行檢索，對于好朋友也可以對帶有秘密照片標記的照片一起進行檢索的使用方法。
在以上所說明的實施例中，當檢索請求是指定事件名的組合時，將由索引處理部11內的索引檢索部111對時間信息和位置信息進行計算的結果，作為索引信息，轉給了數據選擇部12。在另外的實施例中也可以是由索引處理部11求出每個事件的時刻信息和位置信息，將其直接轉給數據信息部12的方式。這時，從多個的事件的時刻信息和位置信息，計算成為檢索對象的時刻信息和位置信息，起到數據選擇部12的作用。
下面說明本發明的多媒體數據檢索裝置通過使用GUI(圖形用戶接口)的前端程序進行利用的實施例。
圖17表示本實施例的多媒體數據檢索裝置具有的GUI(的畫面)的一例。
在圖17所示的GUI中，畫面大致分成3個區域。
左下的區域a1是輸入檢索請求的區域，在圖17的例子中，表示了指定“新年”的事件名進行檢索的樣子。
左上的區域a2是位置顯示的區域，將檢索結果的多媒體數據顯示在對應的位置上。在此將檢索結果的數字照片用草略像(P1～P4)表示。在位置顯示區域中顯示地圖數據，在其上還可以重疊顯示檢索結果，還可以使用更簡單的簡要地圖，或者使用簡單座標的格網線顯示。當然也可以在下面什么也不顯示，只顯示檢索結果反映位置關系。
畫面右側的區域a3是時刻顯示的區域。用沿著時間軸的草略圖顯示所檢索的多媒體數據。
在GUI畫面上，根據需要可配置檢索按鈕、滾動條、檢查盒及選用按鈕等各種控制，其說明予以省略。
圖17的具體例子是將“新年”的事件名作為檢索請求，使用圖9的索引表，檢索圖2中所示的數字照片數據的例子。從其結果可知有1970年新年到伊勢志摩時的照片、及1998年新年去京都時的照片。
在此還可以將檢索結果例如縮小到只是京都的照片。
縮小檢索結果的一個方法如圖18所示，是在位置顯示區域用鼠標器的指針等選擇京都的部分進行指定的方式。在圖18中，虛線的長方形(d1)表示用鼠標器選擇的區域。采用這樣的選擇如圖19所示，可顯示被選擇的部分。此處時刻顯示也同步驟縮小在只有京都照片的部分，但是也可以構成為如圖20所示的時刻顯示并不變化。當由事件名進行檢索請求欄改變顯示方法，表示與現在的檢索結果不同步驟進行(不是表示用該事件名檢索的結果)時，用戶會更容易理解。
縮小檢索結果的另一種方法如圖21所示，是用鼠標器的指針等選擇去京都的1998年的部分進行指定的方式。在圖21中，虛線的長方形(d2)表示用鼠標器選擇的區域。這樣選擇可顯示圖19中所示的選擇部分。在此，位置顯示也同步驟縮小在京都的照片部分，但是也可以使位置顯示不變化。由事件名進行檢索請求的欄，當改變顯示方法，顯示為不與現在的檢索結果同步驟時，對用戶會更容易理解。
縮小檢索結果的又一種方法如圖22所示，在檢索請求中增加“京都”新事件名，對增量進行檢索的方式。這樣的檢索如圖23所示，顯示被選擇的部分。在此，位置顯示和時刻顯示也同步驟，縮小在只有京都的照片部分，但是也可以使位置顯示及時刻顯示不變化。在檢索請求中也可以不是“新年”的事件名，而是直接指定時刻信息為“1998年”。如果使用該功能也可以將“新年”和“1998年”組合實現與圖22相同的縮小。
這些檢索結果收縮的方式與下述的近鄰檢索、再與下述的反查找檢索相組合，可以實現對用戶檢索容易的多媒體數據檢索裝置。
但是，在圖17～圖23的例子中，在位置顯示和時刻顯示的區域顯示的檢索結果時，都是使用草略像，這是為了容易理解雙方區域間對應關系而顯示的例子，。除此之外，還可以配合顏色及各種標記(例如○、△、□標記、或黑桃、紅心、方塊、梅花的標記等)的方法，可用線連接顯示的方法，當在一個區域進行某些操作時將另一個區域相對應的部分加亮等顯示的方法等，用各種各樣的方法可以使對應關系容易理解的顯示出來。
圖24是可以在畫面上擴大顯示照片，或在畫面上同時顯示很多照片的前端程序顯示畫面的顯示例。在該例中，顯示的是與圖17具體例相同的檢索結果，但是使位置顯示區域和時刻顯示區域和檢索請求區域減小集中在左面，而在右面設置有顯示照片的大區域。照片與其位置信息和時刻信息的對應使用標記表示。即，用與照片下面的標記相同的標記顯示在位置顯示和時刻信息區域的對應位置上，來表示對應關系。
圖25是將“日本萬國博覽會”的事件名作為檢索請求進行檢索的例子。在該例子中，1970年除了去日本萬國博覽會拍攝的照片之外，還顯示了返回時路過大阪城的照片。這樣，如果具有一起顯示接近時刻或位置的部分的近鄰檢索功能，這對用戶以模糊的記憶為基礎進行檢索時是非常有效的。
當使符合檢索對象的檢索結果、與不符合但接近的檢索結果，同時在畫面上顯示時，也可以將其不同用不同的顯示方式表示出來。例如可使近鄰的部分顯示淡一些，或改變顏色顯示、或顯示小一些、或用不同標記顯示等。
當然，在具有近鄰檢索功能時，也可以由用戶選擇是否使用該功能。
通過以上說明的GUI前端程序進行檢索的多媒體數據檢索裝置(但如已經說明那樣，包括不利用索引服務器的形式、及利用索引服務器的形式，另外還有由自身裝置管理多媒體數據的形式、及由其他計算機管理多媒體數據的形式，除此之外還有各種變形)可以構成為在執行相當于前端程序及多媒體檢索裝置功能的程序(稱為多媒體數據檢索程序)的計算機上顯示GUI畫面，也可以按以下的構成。
例如，如圖26所示，當是不利用索引服務器的多媒體數據檢索裝置時，顯示GUI畫面的計算機(稱為客戶機)301、及執行前端程序321和多媒體數據檢索程序322的計算機(稱為多媒體數據檢索服務器)302相互獨立構成，并可以用因特網或內部網等的網絡6對其進行連接，也可以通過客戶機301上的WEB瀏覽器311操作多媒體數據檢索服務器302上的前端程序321來實現。
這時，從網絡上的任何一臺計算機(裝有WEB瀏覽器的計算機)都可以操作前端程序、及多媒體數據檢索程序。
如圖27所示，當利用1個或多個索引服務器3的多媒體數據檢索裝置時也同樣。
另外，在圖26及圖27中，也可以由網絡6連接的其他計算機(稱為多媒體數據管理服務器)管理多媒體數據。
下面對本發明的其他實施例進行說明。以下說明的實施例是在上述實施例的多媒體數據檢索裝置的功能之外，增加指定特定的多媒體數據，具有檢索與其對應的一個或多個事件名的反查找檢索功能。通過使用該反找查檢索功能，可以得到在特定的照片中了解拍攝的什么的信息。另外，使用這樣檢索的事件名進行再次檢索，也可以利用在檢索與某個照片相關聯的照片。
下面，以附加在以上說明的實施例上的部分為中心進行說明。
反查找檢索功能可以實現對從事件名查找與該事件相關的時刻信息和位置信息的索引表進行反查找。即，索引表通常是將事件名作為關鍵字進行查找，但是反查找檢索時，是對包含被指定的時刻信息和位置信息雙方或一方的事件(或者，除此之外與指定不符合但卻接近的時刻或位置的事件)進行檢索。
圖28表示具有反查找檢索功能的多媒體數據檢索裝置的構成。該構成是在本地具有圖1及圖8所示的索引表的多媒體數據檢索裝置中具有反查找檢索請求功能時的實施例。
用戶的反查找檢索請求輸入到反查找檢索部14，反查找檢索部14利用數據管理部13管理的多媒體數據和索引處理部12具有的索引表111，進行反查找檢索，將其結果輸出。
圖29表示反查找檢索部14操作的流程圖的一例。
反查找檢索部14首先從用戶接受反查找的檢索請求(步驟S21)。用戶指定想進行事件名反查找的數字照片等的多媒體數據，請求反查找檢索。這時，多媒體數據的指定方法可以使用能單意義識別數據管理部13管理的多媒體數據的名字。通過使用GUI的前端程序指示反查找檢索時，只要指定在畫面上所顯示的照片，就可以使用對其單意義識別的名字，發出反查找檢索請求，對用戶來說很容易使用。
接受反查找檢索請求的反查找檢索部14，從該檢索請求中，取出例如指定想進行反查找檢索的多媒體數據的標識符等檢索對象的指定(步驟S22)。
然后，取出在數據管理部13中管理的檢索對象的多媒體數據具有的時刻信息和位置信息(步驟S23)。從索引表112中檢索具有包括這樣取出的檢索對象的時刻信息和位置信息的時刻信息和位置信息的事件(步驟S24)。
在該檢索方法中包括對符合具有所指定的多媒體數據的時刻信息和位置信息雙方的事件進行檢索的方法；除此之外還加上對具有時刻信息或位置信息中的一方的事件，即對符合指定的時刻信息或位置的事件進行檢索的方法；對至少符合指定的時刻信息和位置的事件進行檢索的方法；除上述任一種之外，還可以對至少時刻信息和位置信息的一方不符合指定、但卻具有接近值的事件進行檢索的方法等種種方法。
這時所檢索的事件不限定為1個，有時也存在多個。
使這樣檢索的1個或多個事件名作為反查找檢索結果返回(步驟S25)。此處當反查找檢索的結果有多個事件名時，例如將包括檢索對象的事件、及在時刻或位置更接近的事件看成優先級更高，當從優先級高的開始依次改變順序，作為檢索結果時，可以更有效利用檢索結果。另外，也可以在檢索結果的各事件各上加上表示優先級高度的標記后返回。
當然，這樣的反查檢索功能也可以適用于調出圖11所示的索引服務器的多媒體數據檢索裝置中。
圖30表示具有使用了索引服務器的檢索功能的多媒體數據檢索裝置的構成例。
在該例子中，反查找檢索部14由反查找檢索請求發送部143和反查找檢索結果接收部144構成。從用戶的反查找檢索請求輸入到反查找檢索請求發送部143中。反查找檢索請求發送部143首先取出在用戶反查找檢索請求中所指定的檢索對象的多媒體數據的指定，從數據管理部13得到具有所指定的檢索對象的多媒體數據的時刻和位置信息。將這樣得到的檢索對象的時刻信息和位置信息作為對具有反查找檢索功能的索引服務器3的反查找檢索請求，通過網絡6發送。由索引服務器3所執行的反查找檢索的結果，通過網絡6由反查找檢索結果接收部144接收，將其作為反查找檢索結果進行輸出。
圖31表示具有反查找檢索功能的索引服務器3的構成例。
在該例中，對索引服務器3的檢索請求，由檢索請求接收部33接收，如果是普通的檢索請求，則將檢索請求轉到索引檢索部31；如果是反查找檢索請求，則將檢索請求轉給反查找檢索部34。
索引檢索部34的操作與圖13的索引服務器相同。
反查找檢索部34參照與索引檢索部31共有的索引表32，如上所述，從索引表32中檢索具有包括反查找檢索請求所指定的檢索對象的位置信息和時刻信息在內的位置信息和時刻信息的事件，或者具有與檢索對象的位置信息和時刻信息相接近的位置信息和時刻信息。將這樣檢索的1個或多個事件名作為檢索結果轉給檢索結果發送部35。
檢索結果發送部35將從索引檢索部31或反查找檢索部34轉來的檢索結果，返送回發出檢索請求的多媒體數據檢索裝置1。
圖32表示為了通過利用具有GUI的前端程序，構成具有反查找檢索功能的多媒體數據檢索裝置時GUI畫面的例子。圖32的例子是以與圖24的例子相同的“新年”的事件名，檢索數字照片數據時的畫面。此處與圖24不同，在右側的照片顯示區域的各照片下方顯示認為是拍攝該照片的事件名。該事件名對各照片的數據進行反查找檢索，在其結果所檢索的事件名當中，顯示優先級最高的一個。
在反查找檢索的結果顯示法中可以采用各種各樣的方式。例如，當對于一張照片檢索了多個事件名時，顯示從優先級的高位所決定的個數的事件名；或者顯示優先級高的一個，并顯示出知道還有其他所檢索的事件名，例如可以由凸起的棘爪等的操作也能看到其他的事件名。另外也可以使由反查找檢索所檢索的事件名顯示在位置顯示區域的地圖對應的位置上。
在此處說明的具有反查找檢索功能的多媒體數據檢索裝置中也與前面說明的多媒體數據檢索裝置的情況一樣，可以具有多個索引表；或者本地具有的索引表和遠程的索引服務器進行并用，這對本行業者很清楚的。另外，在通過GUI的前端程序進行檢索時，通過使顯示GUI畫面的計算機獨立構成，從裝載網絡上的無論哪個WEB瀏覽器的計算機，都可以操作前端程序、及多媒體數據檢索程序，這一點也與上述相同。此外，前面說明的多媒體數據檢索裝置上的各種構成例、變形在此也可以適用。
另外，作為本實施例的多媒體數據檢索裝置的檢索對象的數據，并不限定如以上的實施例中說明的那樣的數字照相機及掃描器等的靜止圖像、以及數字攝像機及數字廣播等的動畫圖像。對于應管理的數據，只要與時間信息及位置信息的某一個或雙方相關聯進行管理，則什么樣的數據也沒關系。例如、觀光地、節目、演唱會、博覽會、運動會等各種事件，與這些相關描述的文章、與具有這些相關信息的WEB頁面的鏈接、與說明這些內容的百科詞典的鏈接、與銷售這些入場卷及記錄的冬奧會商店的鏈接等，都可同樣進行管理檢索。
在本實施例中，事件的時刻信息、及與多媒體數據相關聯的時刻信息，最好考慮時差進行處理。另外最好用多種語言(例如 日語、英語、法語、西班牙語、意大利語、漢語、俄語、等)登錄事件名，用不同的語言也可以檢索。
以上的各功能也可以用軟件實現。
另外，本實施例，也可以以計算機可以讀取的記錄媒體，記錄在計算機上執行規定裝置的(或者將計算機作為規定裝置的功能，或者在計算機上實現規定的功能的)程序。
本發明不僅限于上述的實施例，在其技術范圍內可以進行各種變形。
權利要求
1.一種多媒體數據檢索方法，其特征在于對多個多媒體數據的各數據，與該多媒體數據的產生相關而自動作成的時刻信息及位置信息相關聯進行管理；當接受了用事件名所指定的檢索請求時，求出對應于該檢索請求的時刻信息或位置信息、或者時刻信息及位置信息；根據所求得的上述時刻信息或位置信息、或者時刻信息及位置信息，對所管理的上述多個的多媒體數據進行檢索。
2.如權利要求1記載的多媒體數據檢索方法，其特征在于通過參照包含多個的事件名、及與各事件名相關聯的時刻信息或位置信息、或者時刻信息及位置信息的索引表，求出對應于上述檢索請求的時刻信息或位置信息、或者時刻信息及位置信息。
3.如權利要求1記載的多媒體數據檢索方法，其特征在于通過對求算對應于事件名的時刻信息或位置信息、或者時刻信息及位置信息的索引服務器發送上述檢索請求，從該索引服務器得到對應于上述檢索請求的時刻信息或位置信息、或者時刻信息及位置信息。
4.如權利要求2記載的多媒體數據檢索方法，其特征在于將日程數據中所包含的表示日程內容的名稱信息作為上述事件名，將日程的日期時間作為上述時刻信息、將日程的地點作為上述位置信息，將日程數據作為上述索引表進行利用。
5.如權利要求1至4中的任一項記載的多媒體數據檢索方法，其特征在于當接受了對所管理的上述多個的多媒體數據中的某個多媒體數據的指定時，求出與該指定的多媒體數據相關聯的時刻信息或位置信息、或者時刻信息及位置信息。
6.一種多媒體數據檢索裝置，其特征在于包括對多個多媒體數據的各數據，與該多媒體數據的產生相關而自動作成的時刻信息及位置信息相關聯進行管理的裝置；當接受了用事件名所指定的檢索請求時，求得對應于該檢索請求的時刻信息或位置信息、或者時刻信息及位置信息的裝置；及根據所求得的上述時刻信息或位置信息、或者時刻信息及位置信息，對所管理的上述多個的多媒體數據進行檢索的裝置。
7.一種索引信息提供方法，其特征在于從請求端經過網絡接受用事件名所指定的檢索請求；通過參照包含多個的事件名、及與各事件名相關聯的時刻信息和位置信息的雙方或一方的索引表，根據上述檢索請求中所用的上述事件名，求出對應于上述檢索請求的時刻信息和位置信息的雙方或一方；將對應于所求得的上述檢索請求的時刻信息和位置信息的雙方或一方，經過網絡提供給上述請求端。
8.如權利要求7記載的索引信息提供方法，其特征在于作為上述索引表至少包括用戶化的多個第1索引表部分、及公用的第2索引表部分；當求得對應于上述檢索請求的時刻信息和位置的雙方或一方時，作為應參照的上述索引表，至少利用對應于上述請求端的上述第1索引表部分及上述第2索引表部分。
9.如權利要求7或8記載的索引信息提供方法，其特征在于將日程數據中所包含的表示日程內容的名稱信息作為上述事件名，將日程的日期時間和地點雙方或一方作為上述時刻信息和位置信息雙方或一方，將日程數據作為上述索引表進行利用。
10.一種索引服務器，其特征在于包括從請求端經過網絡接受用事件名所指定的檢索請求的裝置；通過參照包含多個的事件名、及與各事件名相關聯的時刻信息和位置信息的雙方或一方的索引表，根據上述檢索請求中所用的上述事件名，求得對應于上棕檢索請求的時刻信息和位置信息雙方或一方的裝置；及將對應于所求得的上述檢索請求的時刻信息和位置信息的雙方或一方，經過網絡提供給上述請求端的裝置。
11.一種多媒體數據檢索方法，其特征在于對多個多媒體數據的各數據，與該多媒體數據的產生相關而自動作成的時刻信息及位置信息的雙方或一方相關聯進行管理；從請求端經過網絡接受用事件名所指定的檢索請求；求出對應于所接受的上述檢索請求的時刻信息和位置信息的雙方或一方；根據所求得的上述時刻信息和位置信息的雙方或一方，對所管理的上述多個的多媒體數據進行檢索；將該檢索結果經過網絡提供給上述請求端。
12.如權利要求11記載的多媒體數據檢索方法，其特征在于通過參照包括多個的事件名、及與各事件名相關的時刻信息和位置信息的雙方或一方的索引表，根據上述檢索請求中所用的上述事件名，求出對應于上述檢索請求的時刻信息和位置信息的雙方或一方。
13.如權利要求11或12記載的多媒體數據檢索方法，其特征在于當接受了對所管理的上述多個的多媒體數據中的某個多媒體數據的指定時，求出與該指定的多媒體數據相關聯的時刻信息和位置信息的雙方或一方。
14.一種多媒體數據檢索服務器，其特征在于包括對多個多媒體數據的各數據，與該多媒體數據的產生相關而自動作成的時刻信息及位置信息的雙方或一方相關聯進行管理的裝置；從請求端經過網絡接受用事件名所指定的檢索請求的裝置；求出對應于所接受的上述檢索請求的時刻信息和位置信息雙方或一方的裝置；根據所求得的上述時刻信息和位置信息的雙方或一方，對所管理的上述多個多媒體數據進行檢索的裝置；及將該檢索結果經過網絡提供給上述請求端的裝置。
全文摘要
一種多媒體數據檢索方法,可以很容易的檢索用數字照相機拍攝的照片等多媒體數據。與時刻信息和位置相關聯對多媒體數據進行管理,同時利用與時刻和位置2個信息相關聯的事件的數據庫,求出由事件名或其組合所指定的檢索對象的時刻和位置的范圍,對在該范圍內具有某時刻信息和位置信息的多媒體數據進行檢索。
文檔編號G06T1/00GK1378156SQ01111870
公開日2002年11月6日 申請日期2001年3月22日 優先權日2000年3月29日
發明者金井達德, 前田誠司, 矢尾浩, 矢野浩邦 申請人:株式會社東芝