最も有名な伝説は、『グラームスの怪物』である。一族の一員として生まれた子供がぞっとするような恐ろしい異形であったために、一生城内に監禁され、死後に居室ごと煉瓦で塗り込められたという話である。他の怪物話では、城近郊のカルダー湖に住まわせていたというものもある。
また、別の伝説では、一族にはその世代ごとに吸血鬼の子供が生まれ、その子供は部屋の壁の中に塗り込められたという。
古い話では、グラームス城に滞在していた客たちが、怪物の塗り込められた部屋を見つける賭をし、全ての部屋の窓からタオルをつるした。彼らが城の外から窓を見ると、いくつもの窓からタオルがなくなっていたという。
怪物の話は、オギルヴィ家の実話から触発されたものである。オギルヴィ家の有名な頭蓋骨の部屋にはいくつもの足が塗り込められていた。一家の敵リンゼイ家から身を守るためのもので、彼らは敵を塗り込み餓死させた。
グラームス城の公式サイトによると、1034年にマルカム2世は戦で重傷を負い、現在城のある場所にあった王家の狩猟用別荘で死んだという。
城内には、46人収容の小さな礼拝堂がある。城へ来た観光客は、ツアーガイドから礼拝堂に常に一席を占めていた『灰色の貴婦人』(城に住む幽霊。魔女として火刑に処せられた夫人の亡霊と伝えられる)の話を聞かされる。ガイドによると、礼拝堂は今もストラスモア伯家の私用として毎週利用されているが、無遠慮に誰もその席に座ることは許されていないという。
のち、サー・デイヴィッド・ボーズ=ライアンが、夕食の後芝生をうろうろ歩いていると、すぐに城の窓の柵を握る少女を見つけた。彼は、夜になったところだったので取り乱してしまった。彼女が不意に消えたとき彼は話しかけたが、誰かが窓から少女を引き離したようだったという。
ビアーディー伯はグラームス城へ客人としてやってきた。ある夜、彼は酒を飲みカード遊びをしようとねだった。その晩はキリスト教の安息日だったので、当主は断った。憤ったビアーディー伯は、悪魔とでも勝負してやると言い放った。知らない男がカードの表を返し、ビアーディー伯が相手をお捜しなら私がお相手しましょうかと申し出た。2人は部屋の一つでカードをやりだした。あとで召使いは部屋から甲高い叫び声と呪いの言葉が耳にした。鍵穴を通して中を覗くと、一瞬の閃光で目が見えなくなった。そして、知らない男は消えていたのだった。多くの人が、叫び声とサイコロを転がす音を耳にしたと発言した。伯爵はいまだに悪魔とカードをしているというのである。