[前提や事前準備]

OSはWindows 10 (64bit)
Windows用32bit版の古いバージョンのインストーラをダウンロードしておく
Windows用64bit版の新しいバージョンのインストーラをダウンロードしておく
7zipをインストールしておく
（多分解凍ツールならなんでもいい）
（既存のFirefoxがある場合はアンインストールしておく）

事前準備はだいたいこんな感じ。

既存のFirefoxはアンインストールしなくてもうまくいくかもしれない。いかないかもしれない。

[設定手順]

アップデートしないバージョン（古い方）を手順通りインストールする
コマンドプロンプトでインストールフォルダを開きfirefox -profilemanagerのコマンドを実行
既存のプロファイル名をESR52に変更する
新規プロファイルESR60を作成し、このプロファイルを選択してFirefoxを起動してFirefoxを終了する

画像はプロファイルを2つ作成し終わったところ。
プロファイルESR52のフォルダの中身を全てプロファイルESR60のフォルダにコピーし上書き保存する

プロファイルのデータはC:\Users\{username}\AppData\Roaming\Mozilla\Firefox\Profiles\に格納されている。
手順3で名称変更したプロファイルはもともと名前がdefaultなので、defaultのフォルダの中身をESR60のフォルダにコピーする。
新しいバージョンのインストーラを解凍する。

ESR60のインストーラのexeファイルを解凍すると画像のようになる。

解凍したcoreフォルダの中身はこんな感じ。
coreフォルダの中身をC:¥Program Files¥Mozilla Firefoxフォルダに配置する

C:¥Program Files (x86)ではないので注意。
Program Files以下にファイルをコピーしようとすると以下のような警告がでるので、「続行」をクリックする。

ファイルをコピーし終えるとこんな感じ。
古い方のバージョンのショートカットのリンク先の末尾に-p ESR52 -no-remoteを付与する

設定を終えるとこんな感じ。
新しい方のバージョンのショートカットのリンク先の末尾に-p ESR60を付与する

設定を終えるとこんな感じ。
それぞれのショートカットからFirefoxを起動する