> 「他人に一切迷惑をかけなければ、何をやっても良い」
>
> ↑この考えを打ち破るには、どうしたら良いの？

誰かが「文句をいいたくなる」時点で迷惑です。

> そもそも、これは正しいの。何とか反論してやりたいんだけどな。

逆に考えれば、警察の人が犯罪者を逮捕したとします。
これって犯罪者にとってみれば「迷惑」ですよね。
でも正しいことである可能性は高い。

本当に、誰にも迷惑をかけていないなら、好きなことやってください。