1. Geminiマルチモーダル機能ラボの開始と環境設定 [0]

  1. ラボの開始:

    1. Gen AIプログラムの一環として、「Geminiマルチモーダル機能とマルチモーダルRAGによるリッチドキュメントの検査」スキルウォッチの最初のラボである「Multimodality with Gemini」を開始する [1]。
    2. 「Start Lab」ボタンをクリックし、このラボに必要な5クレジットを使用して「Launch with five credits」をクリックする [4]。
    3. ラボはシークレットモード（incognito mode）で実行する必要がある [10]。

  2. Google Cloud Consoleへのアクセス:

    1. 「Open Google cloud console」リンクをシークレットモードのウィンドウにドラッグし、アクセスする [12]。
    2. 画面が表示されたら、「I understand」をクリックし、チェックボックスにチェックを入れて「Agree and continue」をクリックする [16]。

  3. Vertex AI Workbenchへの移動:

    1. 左側のナビゲーションメニューで「Vertex AI」に移動する [19]。
    2. 「Notebooks」の見出しの下にある「Workbench」をクリックする [20]。

  4. Jupyter Labの起動:

    1. インスタンス名の横にある「Open Jupyter lab」オプションをクリックする [22]。
    2. Jupyter Labノートブックが開くと、左側のパネルにファイルが表示される [25]。
    3. 最初のファイルである「intro multimodel」をダブルクリックして開く [26]。
    4. 表示される「Select Kernel」ダイアログボックスでは、変更を加えずに「Select」をクリックする [28]。

  5. プロジェクト情報の設定:

    1. ノートブック内の「Set Google cloud project information and create client」の見出しの下に移動する [32]。
    2. マニュアルのタスク2にある3行目からプロジェクトIDとロケーションをコピーする [33]。
    3. プロジェクトIDをノートブックの該当箇所に貼り付ける [35]。
    4. マニュアルに戻り、プロジェクトロケーションをコピーし、Jupyter Labノートブックの該当箇所にそのまま貼り付ける [37]。

2. ノートブックセルの実行と進捗確認 [43]

  1. コードセルの実行:

    1. ノートブックの最初のセルに戻る [43]。
    2. コードが書かれている領域は「セル」と呼ばれ、すべてのセル内のコードを実行する必要がある [45]。
    3. セルを実行するには、プレイボタンをクリックするか、Shift + Enterを押す [49]。
    4. 最初のセルから順にShift + Enterを押し続け、すべてのセルがコンパイルされるまで実行する [53]。

  2. 実行結果の確認:

    1. すべてのセルが完了し、出力が生成されたことを確認する [57]。
    2. 各セルの横に番号が表示されていることを確認する必要がある [59]。
    3. 合計29個のセルがあり、それらすべてに番号が表示されていることを確認する [61]。

  3. タスクの進捗確認 (チェックポイント):

    1. マニュアルのタスク3に戻る [63]。
    2. 以下の各見出しの下にある「Check my progress」をクリックして、ポイントと進捗を確認する [65]。
    • Generating a video description
    • Audio understanding
    • Reason across a codebase
    • Video and audio understanding
    • All modalities
    • Generating recommendation based on provided images
    1. すべてのチェックポイントで緑色のチェックマークが表示される [73]。
    2. スコアが100点満点であることを確認する [75]。

  4. ラボの終了:

    1. ラボが完了したら、「End lab」をクリックして終了する [77]。