視覺語言學的基本觀念有下列四點： 〈一〉人類的信息交流，聽覺或視覺的，都會受到不同程度的感官認知制約〈cognito-perceptive constraits〉。 〈二〉語言創造，詞彙的或語法的，都是有導因的〈motivated》，雖然由於語言歷史年代久遠，好些導發因素〈motivating factors〉或許已失落，但強調語言系統以及語言符號是任意的〈arbitarary〉只會成為當代語言研究上的阻礙。 〈三〉人類能理解他們的環境和能運用不同模式的符號信息〈semiotic modalities〉互相溝通，那是由於有一個統轄的認知機能〈overall cognitive faculty〉。本文認為這樣一個說法很有說服力和吸引力。〈四〉由上述的說法我們可以引導出下面一個概念：我們必須建立一個能處理得自不同交流活動資訊的理論架構，並能把表面上和來戶部相關的資訊經由理論上的探討，提昇為可以互相印證的說明。

  本文意在如何運用前述的基本概念來實際分析與闡述一些取自不同語言、不同模式、不同層面的資料，如口語及手語，上古漢語的表意文字，中國古代繪畫與體態動作等。這些表達的領域，根據傳統的看法，通常都不被認為與語言研究息息相關的。