書き込みを見て試したところ、同様の状態になりました。
ですが以下のレジストリをいじることで、どちらも対応できそうです。
ただし、僕自身これが絶対という確信はないので、自己の責任でやって下さい。
間違いがある場合は、どなたかフォローをお願いします。

・リンクの下線
[HKEY_CURRENT_USER\Software\Microsoft\Internet Explorer\Main]キーにある
"Anchor Underline"のデータ"hover"を削除する。

・ページ履歴の保存日数
[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings\Url History]キーにある
"DaysToKeep"のデータを希望する適当な値に設定し直す。

IE4の感想ですが今のところグラフィックの読み込みに失敗する等の問題があるものの、
概ね気に入ってます。（お気に入りや、履歴の表示の仕方がよい）