Während der Bemühungen um die Ausreiseerlaubnis für seine Frau schrieb Sacharow im Sommer 1985 an Gorbatschow und den Außenminister Andrei Gromyko und erklärte, dass er beabsichtige, sich künftig nicht mehr in öffentlichen Angelegenheiten zu engagieren, wobei er sich „Ausnahmen“ von dieser Selbstverpflichtung vorbehielt.
Im Oktober 1986 wandte sich Sacharow wieder brieflich an Gorbatschow und bezeichnete seine Verbannung als unrechtmäßig und die Verurteilung seiner Frau als ungerecht. Er erklärte erneut seine Bereitschaft, sich bis auf Ausnahmesituationen nicht mehr mit öffentlichen Angelegenheiten zu beschäftigen. Sacharow brachte darüber hinaus die Hoffnung zum Ausdruck, dass die beiden oben genannten Entscheidungen aufgehoben werden würden und teilte mit, dass er sich auf die Themen thermonukleare Energie und die internationale Zusammenarbeit auf diesem Gebiet konzentrieren wolle.
Am 1. Dezember 1986 verlas Michail Gorbatschow auf einer Politbürositzung Sacharows Brief und stellte den Antrag, Sacharow freizulassen und seiner Frau eine Amnestie zu gewähren. Der Antrag wurde angenommen. Einen Tag vor Bestätigung dieser Entscheidung durch das Präsidium des Obersten Sowjets rief Gorbatschow persönlich am 16. Dezember 1986 bei Sacharow in Gorki an – am Vortag war völlig unerwartet ein Telefonanschluss gelegt worden – und informierte ihn darüber, dass das Dekret vom 8. Januar 1980 seine Geltung verliere und er nach Moskau zurückkehren könne, um sich „für sein Vaterland einzusetzen“. Er fügte hinzu, dass auch seine Frau zurückkehren könne.
Dieser berühmt gewordene Telefonanruf Gorbatschows bedeutete nicht nur das Ende der Verbannung, er war auch ein klares Zeichen an das ganze Land und markierte den Beginn der Perestroika. Sacharow thematisierte während des Telefongespräches mit Gorbatschow erneut die Freilassung aller politischen Häftlinge. Er erinnerte Gorbatschow daran, dass einige Tage zuvor Anatoli Martschenko im Gefängnis von Tschystopol verstorben sei. Das Thema Amnestie griff Sacharow auch nach seiner triumphalen Rückkehr nach Moskau am 23. Dezember auf. Als Ende Januar 1987 die Entlassungswelle für politische Häftlinge begann, wandte er sich mehrfach wegen verschiedener Einzelpersonen an Gorbatschow.
Sacharow war es unmöglich, sein öffentliches Engagement aufzugeben. Während der Perestroika verlangten nicht nur die Gesellschaft, sondern auch diejenigen, die noch vor Kurzem von ihm gefordert hatten, sich nicht mehr zu öffentlichen Fragen zu äußern, nunmehr genau das Gegenteil. Die drei Jahre zwischen der Rückkehr Sacharows aus der Verbannung und seinem plötzlichen Tod 1989 waren noch von intensiver politischer Tätigkeit geprägt.
Im August 1988 wurde Sacharow zum Vorsitzenden des Vorstandes der Menschenrechtsorganisation Memorial gewählt. Bis zum Ende seines Lebens widmete er dieser Bewegung viel Kraft und Zeit. Im Oktober 1988 beteiligte er sich an der Vorbereitungskonferenz und im Januar 1989 am Gründungskongress von Memorial.
Am 30. Oktober 1988 wurde Sacharow in das Präsidium der Akademie der Wissenschaften der UdSSR gewählt. Ende 1988 gründete er den Diskussionsklub „Moskauer Tribüne“.
Zwischen Januar und März 1989 unterstützten etwa 60 wissenschaftliche Institute seine Kandidatur für den Kongress der Volksdeputierten, das höchste gesetzgebende Organ der Sowjetunion. Am 13. April 1989 gewann er ein Abgeordnetenmandat für den Volksdeputiertenkongress und wurde Vorsitzender der „Interregionalen Abgeordnetengruppe“, dem Vorläufer der demokratischen parlamentarischen Opposition.
Sacharow entwarf eine Verfassung für eine Staatsform, die seiner Meinung nach aus der UdSSR hervorgehen sollte: die „Föderation der freien Republiken Europas und Asiens“.
Im Herbst 1989 war er Mitinitiator einer Kampagne für die Aufhebung der sechs Artikel der Verfassung der UdSSR, in denen die führende Rolle der Kommunistischen Partei festgeschrieben war. Anfang Dezember 1989 appellierte er auf den Sitzungen der „Interregionalen Abgeordnetengruppe“ dafür, einen Generalstreik zur Durchsetzung dieser Forderung auszurufen.
Am 14. Dezember 1989 erlag Andrei Sacharow unerwartet in seiner Moskauer Wohnung einem Herzinfarkt. Seine Beisetzung auf dem Moskauer Wostriakowski-Friedhof war ein gesellschaftliches Ereignis, an dem zehntausende Menschen teilnahmen.