음력 7월, 후한에서 푸른 무지개가 궁궐에 나타나는 등 괴이한 현상이 속출하자 조정에서는 불길하게 여기고 신하들에게 같은 일이 일어나지 않게 할 대책을 말하게 했다. 이 때 채옹은 환관인 중상시(中常侍) 정황(程璜)과 태후궁의 곽옥(霍玉) 등을 물리치고 어진 인재를 등용할 것을 건의하였다. 그러나 다른 환관 조절(曹節)이 채옹의 글을 보고 정황에게 내용을 알려 주었다. 이 때문에 앙심을 품은 정황은 채옹을 모함하여 내쫓을 궁리를 했다. 마침 채옹의 숙부인 위위(衛尉) 채질(蔡質)이 정황의 양녀와 결혼한 양구(陽球)와 사이가 나빴기에 정황은 두 사람을 한꺼번에 모함하여 옥에 갇히게 하고, 계속 영제에게 아뢰어 처형하려 했다. 그러나 또다른 중상시 여강(呂强)이 채옹의 구명을 위해 애썼기 때문에 머리를 깎인 채 삭방(朔方)에 귀양가는 것으로 그쳤다.