コンテンツにスキップ
Materials
Essays
Media Creation Curriculum in the AI Era #4 — TouchDesignerによるメディアプログラミング実践 — 表現と手法

Media Creation Curriculum in the AI Era #4 — TouchDesignerによるメディアプログラミング実践 — 表現と手法

Updated: 2026-05*

1. はじめに

本稿は、私の授業構想に関するClaude AIとの問答である。「AI時代のメディア制作カリキュラム」シリーズの第4回として、TouchDesigner（以下TD）によるメディアプログラミングで何が表現可能か、その手法はどのような系譜と原理を持つかを、網羅的に概観する。

第1回ではAndrew Price氏の議論を起点に「映像演習・実習I・II」全体の方向性を整理し、第2回ではComfyCloudに振り切ったノードベース演習を、第3回では動画生成AIを中心とする短編制作カリキュラムを検討した。これらはいずれも「画面の中で完結する映像作品」を最終出力とする系列に属する。

本稿で扱うTDは、これらとは別系統のツールである。動画生成AIにも、PremiereやAfterEffectsにも代替されない領域 — リアルタイム性・インタラクティブ性・実空間との接続を必要とする領域を扱う。本稿の目的は、その領域を「メディアプログラミング」という枠組みで捉え、TDで実現可能な表現と手法を一望することにある。授業カリキュラムとしての構成（180分×15回への展開、評価設計、運用上の留意点）、ならびに実空間上演の実装詳細は、後続のEssayで扱う。本稿はその前段にあたる「TouchDesignerでできることのリファレンス」として位置づける。

1.1 参考サイト

参考）

1.2 本稿で扱う内容

  • 時間制作型と実時間生成型という映像技術の二系統の整理
  • TouchDesignerの位置づけと、実時間生成型における他選択肢との関係
  • ジェネラティブな映像表現（フィルタ連結／Feedback／時空間操作）
  • 音と映像の同期表現、およびAI音楽との接続
  • センシングとインタラクション（カメラ、身体センサ、データ）
  • リアルタイムAI生成とプログラム連携
  • 出力と展示への接続（マルチディスプレイ、プロジェクションマッピング、照明制御の概観）
  • 既存学習リソースとの対応関係

2. 映像技術の俯瞰 — TouchDesignerはどこに位置するか

2.1 二つの大きな系統

映像技術を俯瞰する際の最も本質的な分類軸は、「映像がいつ計算されるか」である。この軸で見ると、現代の映像技術は二つの大きな系統に分かれる。

  • 時間制作型（time-based）：制作時に一度だけ映像が計算され、固定された動画ファイルとして保存される。再生時は何度見ても同じ映像が流れる
  • 実時間生成型（real-time）：システムが実行されている間、毎フレーム映像が計算され続ける。同じ作品でも観客の体験のたびに異なる映像が生まれる

この分類は、米国MFAプログラムの学科分け（Time-Based Media／Interactive・Computational Media）や、MoMAのTime-Based Mediaコレクションのキュレーション軸とも整合する、メディアアート領域で定着した区分である。

本稿で扱うTouchDesigner（以下TD）は、実時間生成型に属するツールの一つである。第1回〜第3回で扱ったツール群（Veo、Kling、Higgsfield、ComfyCloud、Premiere、AfterEffects等）は、いずれも時間制作型に属する。本稿はシリーズの軸足を、時間制作型から実時間生成型へと移す回である。

2.2 時間制作型の内部構造

時間制作型は「素材を生成する工程」と「素材を組み立てる工程」の二段階で構成される。

生成手法

  • 撮影（実写）：カメラで物理世界を記録する
  • 2Dアニメーション：手描き、TVPaint、Toon Boom、After Effectsによるアニメーション制作
  • 3DCGレンダリング：Blender、Maya、Cinema 4D、Houdini、3ds Max等で3次元空間を構築し、レンダラで映像化する
  • AI生成：Veo、Kling、Seedance、Sora、Higgsfield、Runway、Wan等によるテキスト・画像からの動画生成

組立（NLE：Non-Linear Editing）

  • Premiere Pro、After Effects、DaVinci Resolve、Final Cut Pro等で、生成された素材をタイムラインに並べ、合成・色補正・タイトル・サウンド統合等を行う

最終出力

  • 単一の動画ファイル（mp4、mov等）
  • 主な発表形態：映画、テレビ、配信プラットフォーム、SNS動画、MV、CM、Web広告

時間制作型の表現は、観客がどこで・いつ・どんな状態で見ても同じ内容が再生される、という点で安定している。ストーリーテリングや物語的演出を緻密に設計できる強みもこの安定性に由来する。

2.3 実時間生成型の内部構造

実時間生成型は、「実行され続けるシステム」を設計するパラダイムである。手法とツール群は複数の系譜があり、それぞれ生まれた文脈が異なる。

  • ビジュアルプログラミング言語：TouchDesigner、Max/MSP/Jitter、vvvv、Pure Data、Cables.gl。ノードを繋いでプログラムを組む
  • クリエイティブコーディング・フレームワーク：openFrameworks（C++）、Processing（Java）、p5.js／three.js（JavaScript）。コードで直接プログラムを書く
  • ゲームエンジン：Unity、Unreal Engine、Godot、Notch。3D空間と物理シミュレーションを第一級に扱う
  • 専用VJ／パフォーマンスツール：Resolume、Vidvox VDMX、MadMapper。ライブパフォーマンス・プロジェクションマッピング業務に最適化されている

最終出力

  • 実行され続けるシステム（プログラム、シーン、パッチ）
  • 主な発表形態：インスタレーション、ライブパフォーマンス、プロジェクションマッピング、店舗・建築空間の演出、ゲーム、Webサイト、サイネージ、バーチャルプロダクション

実時間生成型の表現は、観客・環境・データの状態に応じて変化する点が特徴である。

  • 観客のインタラクション：センサ、カメラ、マイクで観客の状態を取得し、映像に反映する
  • 実空間との接続：プロジェクタ・LEDウォール・モニタ群を介して物理空間に映像を配置し、空間の形状と対応関係を持つ
  • マルチチャンネル出力：複数のディスプレイに同時出力し、巨大なキャンバスや没入空間を構築する
  • 外部データの直接的な可視化：CSV、JSON、API、シリアル通信からのデータを即座に映像化する
  • 他システムとの双方向連携：照明卓（DMX）、音響（OSC、MIDI）、ロボット、機械学習推論サーバ等と通信する

これらは、最終出力が動画ファイルではなく「実行され続けるシステム」であるからこそ可能になる領域である。

2.4 実時間生成型の中でなぜTouchDesignerなのか

実時間生成型の内部には複数の選択肢があり、それぞれ得意領域が異なる。TDが本シリーズで取り上げる理由を整理する。

  • 学習曲線とリーチ：ノードベースの操作はコードベースのフレームワーク（openFrameworks、Processing）より入口が緩やかで、美大・デザイン系学生に届けやすい
  • 守備範囲の広さ：映像（TOP）、音響（CHOP）、3D（SOP）、データ・テキスト（DAT）、コンポーネント（COMP）が同一環境内に統合されている。Max/MSPは音響寄り、vvvvはWindows限定とそれぞれ偏りがあるが、TDは映像中心の総合環境として最もバランスが良い
  • 実空間出力の強さ：複数プロジェクタ・LEDウォール・複数モニタへの出力、各種ビデオI/Oカード（NDI、SDI、Blackmagic、AJA等）、プロジェクションマッピング機能を標準で備える
  • センサ・データ統合：Azure Kinect、Leap Motion、各種シリアル機器、OSC、MIDI、Arduino等のハードウェアと直接接続できる
  • 業界での標準化：イベント・ライブ演出・プロジェクションマッピング業務において、TDは事実上の標準ツールの一つである。ライゾマティクスリサーチ、WOW、teamLab等の制作現場でも基盤として使われている
  • 非商用版が無料：教育・個人利用なら1280×1280解像度上限のNon-Commercial版が無償で使用できる

Unity／Unreal Engine、Notch、openFrameworks等にはTDにない強みもあり、後段の発展経路として重要である。

2.5 二系統は補完関係にある

時間制作型と実時間生成型は、対立する選択肢ではない。一人の作家が両方を行き来し、案件によって出力形式を使い分けるのが現代の実態である。

両者の素材交換も日常的に行われる。

  • 時間制作型→実時間生成型：3DCGレンダリングや撮影で作った動画素材を、TDやUnityで実時間制御する
  • 実時間生成型→時間制作型：TDで生成した映像を録画して、Premiere／AEで仕上げ、SNSや映画祭に出す
  • 両者の融合：StreamDiffusion等の登場で、AI画像生成が時間制作型から実時間生成型へと越境しつつある

第1〜3回で扱った時間制作型と、本稿の実時間生成型は、補完関係にある。両方を経験することで、学生は「画面の中の映像」と「実空間の映像」の双方を制作できる作家となる。

3. ジェネラティブな映像表現

TDの中核は、固定された動画を再生することではなく、毎フレーム計算され続けるプログラムとして映像を生成することにある。本章ではその核となる3つの手法群を扱う。

3.1 フィルタ連結によるジェネラティブ・グラフィックス

複数のフィルタ・変形・色変換オペレータを連結し、有機的または幾何学的な抽象ビジュアルを生成する手法である。静止画としてはポスター、動画としてはVJ素材・サイネージ素材・スクリーンセーバ的アンビエント映像として展開される。

参考作家・作品

  • Manfred Mohr、Vera Molnar：1960-70年代のアルゴリズミック・アート。コンピュータによる幾何学的構成の最初期作品群
  • Joshua Davis：praystation、Hype Framework。Flashとprocessingを用いたジェネラティブ・グラフィックスの普及
  • Refik Anadol（静止画系作品）：data sculpture series
  • Javier Casadidio：YouTube上で公開されるTDチュートリアル群。Optical Flow、Particles、Displaceを多層連結した有機的・流体的表現

実装の核

  • TOPの基本オペレータ（Composite、Blur、Displace、Lookup、Noise、Level、Ramp、Edge等）を連結し、各段のパラメータを動かすことで予測不能な質感を生む
  • Sandin Image Processor（1971-74年設計）、Paik-Abe Synthesizer（1969-71年）、Vasulka夫妻のアナログ・ビデオ・シンセサイザの系譜にあるフィルタ連結の発想がそのまま生きている
  • 「設計するのではなく試して発見する」探索的制作の典型。料理修業が既存レシピの再現から始まり、無数の試作を経て自分の味を発見するのと同じ構造を持つ
  • 高次元パラメータ空間（数十パラメータの組み合わせ）における探索と選別という認知的に正しい戦略であり、思いつきや偶然頼みではない

学習リソース

3.2 Feedbackと時間発展パターン

Feedback構造を用いた、自走するパターン生成。前フレームに操作を加えて毎フレーム書き戻すというシンプルな構造から、複雑なパターンが時間発展的に立ち現れる。

参考史的位置

  • 1970年代のアナログ・ビデオ・シンセサイザの中心的手法。Sandin Image Processor、Paik-Abe Synthesizer
  • 数学的にはCellular Automata、Reaction-Diffusion等の力学系と通じる
  • 「ノードの組み合わせ自体が作品の構造になる」というジェネラティブ・アート的発想の代表例

実装の核

  • Feedback TOPを中心に、Transform TOP（回転・拡大）、Blur TOP、Level TOP、Displace TOPを組み合わせる
  • 典型パターン：「回転＋わずかな拡大」で渦巻状の発展、「Displaceにノイズを与える」で流体的発展、「Levelで階調圧縮」でリミットサイクル
  • 第3.1節のフィルタ連結と組み合わせることで、層の厚い独自の質感が生まれる

学習リソース

3.3 Time Displacement／Slit Scanによる時空間操作

時間軸と空間軸を入れ替えるパラダイム。映像の縦・横・斜めの軸に時間軸を割り当てることで、一見不可解で固有のグラフィカルな質感を生み出す。

参考作家・作品

  • Daniel Crooks：Time Sliceシリーズの一作Static No.12（seek stillness in movement、2009–10）。上海の公園でタイチを行う男性の映像を時間方向にスライスし、身体の動きが空間に延びる独特の時空間表現を生み出す
  • Adam Magyar：Stainless（2010–11）、Urban Flow（2007–15）。スリットスキャン技術を用い、地下鉄プラットフォームや雑踏する交差点を時間方向にスキャンする
  • Federico Solmi：絵画的な質感の時空間操作

実装の核

  • Time Displacement：Texture 3D TOPで過去フレーム列をバッファとして保持し、Time Machine TOPがDisplacement Map（第2入力）に応じて各画素の時間オフセットを参照する。Ramp TOPによる縦方向の時間勾配、Noise TOPによるランダム遅延等が定番の出発点
  • Slit Scan：Cache TOPで過去フレームを保持し、Crop TOPで各時刻ラインを切り出してComposite TOPで再構成する
  • これらは1コマずつ動かすコマ撮りや、AfterEffectsのタイムワープでは表現しきれない、固有のグラフィカルな質感を生む

学習リソース

4. 音と映像

実時間生成型の映像制作と、音は切り離せない。本章では音と映像の対応関係を設計する3つの手法を扱う。

4.1 Audio Reactive

音響解析の結果を映像パラメータに対応させる、最も古典的なメディアプログラミング表現。VJ文化の基礎をなす技法でもある。

実装の核

  • Audio File InまたはAudio Device In CHOPによる音声取得
  • Audio Spectrum CHOPによるFFT解析、低中高帯域への分割
  • Analyze CHOPによるピーク検出、振幅・周期計測
  • 各帯域・特徴量を映像パラメータ（色相、スケール、密度、位置等）に対応させる設計
  • 低域でCircle TOPのサイズを揺らし、高域でNoise TOPのseedを変化させる、といった対応関係が典型的な出発点

学習リソース

4.2 Audio Visual表現

単なる音への反応を超え、音と映像の構造的・思想的な対応関係を設計する系譜である。1990年代以降、デジタル技術の発展とともに独立した芸術領域として成立した。

参考作家・作品

  • 池田亮司：test pattern、datamatics、supersymmetry、data-verse。サイン波・ホワイトノイズ・データの音響化と、白黒のパターン・グリッド・スキャンラインによる映像を厳密に同期させる
  • 黒川良一：rheo、ad/ab Atom、syn_。粒子状の映像とノイズ／ドローンサウンドを高解像度で連動させる
  • Carsten Nicolai（alva noto）：unitxt、xerrox。音響的なグリッチと幾何学的映像の対応関係を探究する
  • Robert Henke：lumière、CBM 8032 AV。レーザーとカスタム合成音による幾何学的パフォーマンス

これらに共通するのは「音と映像の同源性」という思想である。音響データそのものを映像のソースとして使う、両者を同一の数学的構造から生成する、という発想に貫かれている。白黒・幾何学・サイン波・グリッド・スキャンラインといった構成要素は、この思想から必然的に導かれる。

実装の核

  • Audio Spectrum CHOPの出力波形そのものをRendered TOPに直接マッピングする（音響そのものを映像にする）
  • サイン波の純音と幾何学パターンの厳密な同期
  • 色を使わない（または極端に制限する）ことで、音響との対応関係を純化する

学習リソース

4.3 AI音楽との接続

2024〜2025年に急速に発展したAI音楽生成（Suno、Udio、Stable Audio等）は、TDのAudio Visual表現にも素材源として組み込めるようになった。

Sunoの特徴

  • テキストプロンプトから楽曲（メロディ・伴奏・歌詞含む）を生成
  • スタイル指定（アンビエント、エレクトロニカ、ハードコア、ノイズ系等）が可能
  • 各パート（ベース、ドラム、ボーカル等）を分離したステム書き出しにも対応

TDからの使い方

  • 生成楽曲をAudio File In CHOPで読み込み、通常のAudio Reactiveパッチに流す
  • ステム書き出しを使えばパートごとに別の映像要素に対応させられる（ベース→粒子の重み、ドラム→点滅、メロディ→色相、等）
  • 自分で楽曲を作れない受講者でも、テーマに合った楽曲を即座に確保できる

留意点

  • AI生成楽曲の著作権・商用利用条件は規約変更が早いため、最新の利用規約を確認する必要がある
  • 作品発表時の表記（AI生成であることの明示等）も、展示や上映の場の規約に応じて判断する

5. センシングとインタラクション

実時間生成型の核心は、外部の何かに反応して映像が変化することである。本章では入力源ごとに整理する。

5.1 Optical FlowとParticlesGPU

カメラ映像から動きベクトルを抽出し、GPU粒子系を駆動する手法。Javier Casadidio氏の作風に代表される、TDらしい有機的・流体的なジェネラティブ表現の代表例である。

実装の核

  • Optical Flow TOP：連続フレーム間の動きベクトルを推定する
  • ParticlesGPU（Compute Shaderベースの粒子コンポーネント）：Velocity FieldとしてOptical Flowを受け、粒子の軌跡を毎フレーム計算する
  • 主要パラメータ：粒子数（数千〜数百万）、粒子寿命、色マッピング、残像強度、流速感度等
  • カメラ映像以外にも、Audio Spectrumや事前生成した動画をVelocity Fieldとして使うことも可能

参考作家・作品

  • Javier Casadidio：各種チュートリアル作品
  • Memo Akten：Forms（Quayolaとの共作）等の粒子・流体作品
  • Sougwen Chung：粒子と身体動作の対応

学習リソース

5.2 MediaPipeによる身体ランドマーク取得

Webカメラ1台で顔・手・全身の関節位置をリアルタイムに取得する。Azure Kinectのような専用機材を持たない環境でも、身体駆動の表現を可能にする。

実装の核

  • MediaPipe：Googleの軽量機械学習推論ライブラリ
  • Face Mesh（478点）、Hand Tracking（21点×両手）、Pose（33点）、Selfie Segmentation、Object Detection等を提供
  • TDMediaPipeコンポーネント等を介して、Webカメラ→ランドマーク座標のCHOP化までを一気通貫で扱える
  • 取得した関節位置をInstance COMPに流し込んで、身体追従粒子、ジェスチャ検出、顔フィルタ等を実装する

参考作家・作品

  • ライゾマティクスリサーチの各種パフォーマンス（身体トラッキング系）
  • 真鍋大度の身体駆動作品の系譜

学習リソース

5.3 Azure Kinectでの3D身体トラッキング

深度情報付きの3D身体トラッキングを用いた表現。MediaPipeが2D推定であるのに対し、Kinectは深度を直接計測することで3D空間での精密な身体把握を可能にする。

実装の核

  • Azure Kinectの構造：飛行時間方式（ToF）の深度センサ、RGB、IRアレイ
  • Body Tracking機能：3D空間内の32関節位置を出力
  • 深度マップ（Depth TOP）：1フレームごとの距離マップを取得。点群表現の基盤となる
  • MediaPipeとの違い：2D推定 vs 3D計測、屋外・遠距離での挙動の違い、複数人検出の安定性

参考作家・作品

  • teamLab：没入型インスタレーション群（観客身体に応答する空間設計）
  • 真鍋大度・ライゾマティクス：Kinectベースの初期作品から現在までの系譜

学習リソース

5.4 各種センサ・オープンデータとの接続

身体センサ（脳波・心拍・呼吸）、各種環境センサ、オープンデータ（API取得）等、あらゆる外部データをTDに取り込める。

身体センサの例

  • 脳波（EEG）：NeuroSky MindWave、InteraXon Muse、OpenBCI
  • 心拍・脈波（PPG、ECG）：Polar H10、Pulse Sensor、Empatica E4
  • 呼吸、筋電（EMG）、皮膚電気活動（EDA）

これらをOSCまたはシリアル経由でTDに取り込み、観客自身がセンサを装着して自分のデータを映像として体験する「自己鏡像型」インスタレーションが可能になる。動画生成AIや編集ソフトでは原理的に作れない種類の体験である。

オープンデータの例

  • 政府統計（e-Stat等）、気象庁API、地震データ（USGS API）、人口動態、株価、SNSデータ
  • Web Client DATによるAPI取得、Table DATで整理、DAT to CHOPで数値化、Geometry COMPのInstancingで3D可視化

参考作家・作品

  • 池田亮司：data-verseシリーズ
  • Refik Anadol：machine hallucinations
  • Aaron Koblin：flight patterns
  • Stamen Design

学習リソース

6. リアルタイムAIとプログラム連携

6.1 StreamDiffusionによるリアルタイムAI生成

2024〜2025年に急速に発展した領域である。LCM（Latent Consistency Model）やSDXL Turbo等の高速化技術により、画像生成を毎フレーム実行可能なレベルに引き下げた。

実装の核

  • StreamDiffusion：Stable Diffusion／SDXLをLCMやsd-turbo等の高速化技術と組み合わせ、Stream Batchと呼ばれるバッチ並列化アーキテクチャでリアルタイム生成を実現する。image-to-imageモードで入力映像（カメラ、TDで生成した映像等）を別スタイルにリアルタイム変換できる
  • ControlNet：構図・ポーズ・エッジ等の制約を与えながら生成する
  • DotSimulate氏のStreamDiffusionTD（Patreon配布）または、olegchomp氏のTouchDiffusion（オープンソース）を介して、TDの映像をリアルタイムにAI変換する

応用例

  • 観客の身体動作をリアルタイムでAI生成画像に変換するインスタレーション
  • カメラ映像と再描画のブレンド
  • ジェスチャ・声・センサ入力によるスタイル切替

これは時間制作型（オフラインで動画ファイルを書き出すAI生成）と実時間生成型（毎フレーム生成し続ける）の境界が崩れつつある領域であり、本シリーズの第1〜3回と本稿の交点に当たる。

学習リソース

6.2 Python・LLM連携

TDは内部にPython 3インタプリタを内蔵しており、Operatorからは届かない処理を簡潔に書ける。さらにLLM API（Claude、GPT等）と組み合わせると、自然言語による制御や、状況応答的な振る舞いを組み込める。

実装の核

  • Execute系DAT、Script CHOP／TOP、textportによるPython実行
  • Web Client DATまたはrequestsモジュールによるAPI呼び出し
  • 典型パイプライン：マイクで音声取得→Whisper APIで音声認識→Claude／GPT APIで応答生成→Text TOPで字幕表示
  • 応用例：音響特徴量や身体状態をLLMに渡してビジュアルパラメータを「相談」する、観客の発話に応じて映像のトーンが変化する、等

学習リソース

7. 出力と展示への接続

本章はTDで作った映像を実空間に展開するための入口を概観する。実装の詳細（マルチプロジェクタの座標統合、立体プリミティブへのマッピング手順、DMX照明の本番運用等）は、後続のEssay（実空間上演の実装ガイド）で扱う。ここでは選択肢の見取り図のみ示す。

7.1 マルチディスプレイ・プロジェクション

TDは複数のディスプレイ／プロジェクタへの同時出力を標準で扱える。

  • Window COMPによる出力先制御：モニタ番号、解像度、ウィンドウ位置の指定
  • 各種ビデオI/Oカードに対応：NDI、SDI、HDMI、DisplayPort、Blackmagic、AJA等
  • 巨大なキャンバスを複数プロジェクタで分割表示（エッジブレンディング）、複数面への独立映像配置、360度パノラマ展開等が可能

7.2 プロジェクションマッピング概論

プロジェクタを介して映像を実空間に貼り付ける表現。TDは映像生成からマッピング、出力までを一つの環境内で扱える点が強みである。

  • ワープ変形：投影面の形状に合わせて映像の四隅を変形する基本技術。Camera Schnappi、kantan mapper等のコンポーネントが定番
  • 細密マッピング：レンガ造りの壁面の各レンガに別映像、立体オブジェクトの面ごとに別映像、といった細かい位置合わせ。Replicator COMP、Container COMP＋Layout TOP等で実装
  • 立体プリミティブへの投影：白い立方体、球、三角錐等の組み合わせに映像をマップする、空間構成的なアプローチ
  • 写真先撮りキャリブレーション：投影面の写真を先に撮影し、それを基準に映像を配置することで、現地での合わせ作業を簡略化する手法

参考作家・作品

  • Pablo Valbuena：augmented sculpture series
  • Joanie Lemercier
  • 1024 Architecture
  • AntiVJ

7.3 DMX照明制御の概要

照明卓レベルの制御を、TDから直接行える。

  • Art-Net、sACN等のEthernet経由DMXプロトコルに対応
  • DMX Out CHOPで照明卓の各チャンネルを制御
  • フルカラーLED照明（ムービングヘッド、バー型LED、フラッドライト等）の色・明度・パン・チルトを映像と同期させる
  • 音響・映像・照明を一つのTDプロジェクトで束ねる統合制御が可能

参考用途

  • ライブパフォーマンスでの映像と照明の連動
  • ギャラリー・展示空間における雰囲気の制御
  • 建築空間における映像と照明の統合演出

7.4 実装の詳細は後続Essayへ

7.1〜7.3に挙げた手法群を実際の展示空間で動かすには、複数プロジェクタの座標統合、照明配置の設計、音響との同期、本番運用時の冗長化等、現場固有の判断が多数発生する。これらは「実空間上演の実装ガイド」として、後続のEssayでまとめる予定である。

8. 学習リソースと既存教材

lecture.nakayasu.comに公開されている既存教材を、本稿の章立てに沿って整理する。各手法を実際にハンズオンする際の入口として活用できる。

外部の主要リソース

9. おわりに

本稿はTouchDesignerによるメディアプログラミングで実現可能な表現と手法を、6つの領域にわたって概観した。ジェネラティブな映像表現、音と映像、センシングとインタラクション、リアルタイムAI、プログラム連携、そして出力と展示への接続である。

第1回で論じたAndrew Price氏の議論——AI時代に残るのは判断力（judgment）であり、それを担うのはハイ・エージェンシーな個人である——という枠組みは、本稿の主題にも当てはまる。動画生成AIが瞬時に動画を吐き出してくれる時代において、TDのようなツールでノードを組み、データを引き込み、空間との対応を設計し、観客の体験を構築する判断の連続を行うことの意味は、むしろ明瞭になっている。

本シリーズの次回以降では、以下のテーマを予定している。

  • 都立大撮影スタジオを例とした、実空間上演（壁面・床面マルチプロジェクタ、DMX照明、立体プリミティブへのマッピング、Suno等のAI音楽との同期）の実装ガイド
  • 撮影手法に関するEssay：頭脳プレー型カメラワーク（futa.729s氏のような構成的撮影）、特殊撮影（顕微鏡レンズ、Edelkroneによるモーション制御、Small Planet／Tilt-Shift系、光跡撮影）、スローモーション表現（aaa_tsushi氏のような時間操作、Premiere・After Effectsの最新ワークフロー）

シリーズ全体としては、AI生成（時間制作型・第1〜3回）、メディアプログラミング（実時間生成型・本稿）、撮影手法（時間制作型・次回以降）と、映像制作の主要系統を順に深掘りしていく構成となる。

Media Creation Curriculum in the AI Era #3 — ストーリーボード起点のAI映像制作カリキュラムMedia Creation Curriculum in the AI Era #5 — TouchDesignerによる実空間上演の実装 — 都立大撮影スタジオを例として