Anfang 1967 unterschrieb Sacharow einen Appell von 25 Vertretern aus Wissenschaft, Literatur und Kunst an den XIII. Parteitag der KPdSU, in dem vor den Folgen einer möglichen politischen Rehabilitation Stalins gewarnt wurde. Dies war die erste öffentliche Stellungnahme Sacharows, die weder mit seiner beruflichen Tätigkeit noch mit der Wissenschaft verbunden war.
Im Herbst 1967 unterschrieb Sacharow eine weitere Gemeinschaftspetition – einen Appell an den Obersten Sowjet der RFSFR gegen die Aufnahme von Artikel 190, Paragraf 1 Strafgesetzbuch der RSFSR („Verleumdung der sowjetischen Ordnung“) und Paragraf 3 („Störung der öffentlichen Ordnung“. In dem Appell wurde davor gewarnt, dass diese Paragrafen „im Widerspruch zu den leninistischen Prinzipien der sozialistischen Demokratie stünden und im Fall ihrer Bestätigung durch den Obersten Sowjet der RFSFR die Wahrnehmung von Freiheiten behinderten, die die Verfassung der UdSSR garantiert“. Diese Petition war die erste von Sacharow unterzeichnete öffentliche Erklärung, in der es um die Verteidigung der Menschenrechte ging. Außerdem sandte Sacharow in dieser Angelegenheit ein privates Telegramm an den Vorsitzenden des Präsidiums des Obersten Sowjets der RFSFR. Diese Verbindung von öffentlichen Aktionen mit privaten Initiativen war für das gesellschaftliche Engagement von Sacharow charakteristisch.
Nachdem Sacharow von der Glasnost-Kundgebung auf dem Moskauer Puschkin-Platz erfahren hatte, die am 5. Dezember 1966 zum zweiten Mal stattfand, nahm er daran teil, um sich öffentlich mit den Demonstranten zu solidarisieren. Dort rezitierte er die im Denkmalsockel eingravierten Verse von Puschkin. Dieser Schritt ging deutlich über die Grenzen hinaus, die damals für die Proteste berühmter Wissenschaftler im Rahmen von Petitionskampagnen üblich waren. Bemerkenswerterweise hatte Sacharow von der Kundgebung durch ein Flugblatt erfahren, das in seinen Briefkasten geworfen worden war. Das deutet darauf hin, dass er von den jugendlichen Organisatoren der Kundgebung als Sympathisant oder sogar als Oppositioneller gesehen wurde.
Im Januar 1967 schrieb Sacharow aus Anlass der Verhaftung von Alexander Ginsburg und Juri Galanskow einen privaten Brief an Breschnew. Nach der Lektüre des im Samisdat herausgegeben Essays von Larissa Bogoras im Sommer 1967 über die Situation ihres Mannes Juli Daniel, der eine Haftstrafe in den mordwinischen Lagern absaß, rief er KGB-Chef Juri Andropow an und bat ihn, etwas zur Verbesserung der Situation zu unternehmen. Im gleichen Jahr unterzeichnete Sacharow gemeinsam mit 167 Persönlichkeiten aus Wissenschaft und Kultur einen Brief an das Präsidium des Obersten Sowjets, in dem dazu aufgerufen wurde, ein Gesetz über Informationsfreiheit zu verabschieden.
Eine wichtige Etappe in seiner Entwicklung zum Dissidenten war die Abfassung des Essays „Gedanken über Fortschritt, friedliche Koexistenz und geistige Freiheit“ (Razmyšlenia o progresse, mirnom sosuščestvovanii i intelektualnoj svobode). Darin werden der wissenschaftlich-technische Fortschritt, seine Folgen sowie politische und ideologische Probleme thematisiert und von Sacharow außerordentlich unkonventionell analysiert: Er betrachtete die „friedliche Koexistenz“ nicht nur als Verzicht auf militärische Konfrontation, sondern auch als Annäherung der zwei rivalisierenden politischen Systeme Sozialismus und Kapitalismus. Tatsächlich trat Sacharow damit als Anhänger der Konvergenztheorie von John Galbraith und anderen linken westlichen Soziologen auf, wenn auch nicht bekannt ist, ob er deren Werke kannte. Aus Sicht der sowjetischen Staatsideologie war das ein unverzeihlicher Verrat, jedoch lag das Innovative an den Ideen Sacharows in etwas anderem: Nach einer Analyse der globalen Herausforderungen der Menschheit in der zweiten Hälfte des 20. Jahrhunderts und der die Menschheit bedrohenden ökonomischen Ungleichheit kam Sacharow zu dem Schluss, dass der Schlüssel zur Lösung dieser Probleme in der Ausweitung der geistigen Freiheit, in der informationellen Selbstbestimmung der Gesellschaft und in der Achtung der Menschenrechte im globalen Maßstab liege. Aus diesem Blickwinkel heraus sei die in der UdSSR entstehende Menschenrechtsbewegung, die bisher pragmatisch, konkret und aus moralischen Beweggründen heraus gehandelt habe, die Verkörperung einer neuen sozialen und politischen Philosophie. Der Essay von Sacharow endete mit einer Zusammenstellung der ihm bekannten Fälle von politischer Verfolgung in der UdSSR und Gerichtsverfahren gegen Dissidenten sowie mit einem Aufruf zur unverzüglichen Verbesserung der Situation.
Der Essay „Gedanken über Fortschritt, friedliche Koexistenz und geistige Freiheit“ wurde im April 1968 während des Höhepunktes des Prager Frühlings fertig gestellt. Sacharow selbst unterstrich den Einfluss der tschechoslowakischen Ereignisse auf seinen Text. Durch Vermittlung von Roi Medwedew gelangte dieser in den Samisdat und von dort ins Ausland. Andrei Amalrik und Pawel Litwinow übergaben das abgeschriebene Manuskript an den Korrespondenten einer niederländischen Zeitung. Am 22. Juli 1968 veröffentlichte die „New York Times“ die englische Übersetzung. Später wurde der Essay in vielen anderen Ländern publiziert, unter anderem in Jugoslawien und nach dem Einmarsch von Truppen des Warschauer Paktes in die Tschechoslowakei halblegal auch dort. Der Text wurde im Samisdat zum Publikumserfolg und machte seinen Verfasser weltbekannt.
Sacharow wurde sofort aus dem sowjetischen Establishment ausgeschlossen. Schon im August entband man ihn von der unter Geheimhaltung stehenden Arbeit im „Spezialobjekt Arsamas 16“, woraufhin er anfing, sich der theoretischen Physik und seinen gesellschaftlichen Anliegen zu widmen.
Sein öffentliches Engagement unterbrach Sacharow 1969 wegen des Todes seiner Frau, bis er im Frühjahr 1970 gemeinsam mit Walentin Turtschin wieder einen „Appell an die Partei- und Staatsführung“ (K rukovoditeljam partii i pravitel‘stva) richtete, in dem er zur Demokratisierung des Landes aufrief und ein konkretes Reformprogramm unterbreitete. Der Appell, der auf Bitten Sacharows auch von Roi Medwedew unterzeichnet worden war und in den Samisdat gelangte, ist das erste politische Manifest liberaler und sozialistischer Intellektueller in der Sowjetunion. Alle späteren Aufrufe in ähnlicher Form wie der Brief Alexander Solschenizyns zur Zensur vom Mai 1967 stellten eine direkte oder indirekte Auseinandersetzung mit diesem Appell dar. Hingegen gab es 1970 keinerlei Reaktionen auf den Brief. Ein Jahr später wiederholte Sacharow die Hauptthesen des Briefes in geraffter Form in einem Memorandum an Leonid Breschnew.
Im Frühjahr 1970 unterzeichnete Sacharow zudem mehrere Petitionen zur Unterstützung von politisch Verfolgten. Am bekanntesten wurde sein Engagement im Fall von Schores Medwedew, der im Mai und Juni 1970 gewaltsam in der geschlossenen Psychiatrie festgehalten wurde. Unterschriften für einen Appell zu seiner Freilassung sammelte Sacharow unter seinen Bekannten und auf öffentlichen Veranstaltungen. Man lud Sacharow sogar zu einer Beratung mit dem Gesundheitsminister über den „Fall Medwedew“ ein. Kurz nach diesem Gespräch wurde Medwedew freigelassen, was nicht nur Sacharows Verdienst war, sondern auch anderen Vertretern der akademischen Elite wie Professor Pjotr Kapica zu verdanken war, die sich für die Freilassung ihres Kollegen engagiert hatten.
Im Oktober 1970 nahm Sacharow erstmals an einem politischen Gerichtsprozess teil. Er war einer der wenigen zugelassenen Gäste im Saal des Gebietsgerichtes von Kaluga, wo der Prozess gegen Rewolt Pimenow und Boris Wail stattfand, die wegen des Besitzes und der Verbreitung von Samisdat-Schriften angeklagt waren. Für Sacharow war der Prozess auch aus persönlichen Gründen von Bedeutung, denn hier lernte er Jelena Bonner kennen, die bald seine Frau wurde.
Bei seinem Engagement für die Menschenrechte zog es Sacharow vor, auf sich selbst gestellt zu handeln, sich keine formellen Verpflichtungen aufzuerlegen und keinen Organisationen beizutreten. Eine Ausnahme bildete das Komitee für Menschenrechte in der UdSSR, das auf Initiative von Waleri Tschalidse gegründet worden war. Sacharow wurde Mitglied und setzte die Arbeit in diesem Komitee auch nach der Ausreise von Waleri Tschalidse in die USA fort. Über die Mitglieder des Komitees und vor allem über Sacharow ergoss sich eine Lawine von Briefen und Besuchern vor allem aus der Provinz. Sacharow sah keinen Grund, den Menschen Hilfe zu verweigern und sich hinter dem Statut des Komitees zu verbergen. Es ist möglich, dass von Andrei Sacharow vor allem damals in der Bevölkerung das Bild des großen Mannes entstanden ist, der bereit ist, den Kampf gegen jede Ungerechtigkeit der Staatsmacht aufzunehmen.
Anfang der 70er Jahre engagierte sich Sacharow für politische Häftlinge und Personen, die aus unterschiedlichen Gründen verfolgt wurden und unterstützte diese sowohl in ihren öffentlichen als auch persönlichen Angelegenheiten. Er fuhr zu Gerichtsprozessen, obwohl ihm seit 1971 der Zutritt zu Gerichtssälen verwehrt war, protestierte gegen die Verletzung von Menschenrechten in der UdSSR und in anderen Ländern, erteilte Interviews und organisierte Pressekonferenzen für ausländische Journalisten. Eine von Ljudmila Alexejewa auf Grundlage des Samisdat-Archivs von Radio Liberty angefertigte Übersicht über Protestbriefe und Petitionen, die Sacharow bei seinem Engagement für andere unterschrieben hatte, enthält über 150 Texte. In seinen Artikeln und Interviews wie auch in seiner Nobelpreis-Rede setzte Sacharow die Praxis fort, die er mit dem Essay „Gedanken über Fortschritt, friedliche Koexistenz und geistige Freiheit“ begonnen hatte. Er beendete seine Äußerungen mit einer namentlichen Aufzählung politischer Häftlinge und anderweitig Verfolgter, um deren Schicksal mit Hilfe der internationalen Gemeinschaft zu erleichtern.