SwiftのAny型について

テーマ、知りたいこと

「int」や「string」などいろんなデータ型が格納できる「Any型」について

背景、状況

Swiftの勉強をしていると、どんなデータ型もはいる万能な「Any型」というデータ型が出てきました。
そして、「String」や「Int」のデータ型などに揃える「型変換（キャスト）」する方法が出てきました。
ここで疑問に思ったのですが、データ型を揃えるキャストをせずにどんなデータ型も入る「Any型」を常に使用しておけば「キャスト」などする必要があるのかなと思ったのですが、キャストする必要性がイマイチわかっていません。
Any型のままだとデメリットがあったりするのでしょうか？