Toen op 23 oktober 1973 in het kader van de eerste staatshervorming de Raad van de Duitse Cultuurgemeenschap werd opgericht, gingen onmiddellijk stemmen op om een centrale archiefdienst op te richten voor het beheer van het archief van het Duitstalige grondgebied van België. Toenmalig algemeen rijksarchivaris Carlos Wyffels stond open voor het idee, maar oordeelde dat het juridisch onhaalbaar was. Een Koninklijk Besluit van 28 november 1963 liet weliswaar toe om nieuwe archiefdepots op te richten, maar enkel in de hoofdplaats van een gerechtelijk arrondissement, en dat was Eupen toen nog niet. Wyffels stelde drie alternatieven voor: een nieuwe archiefdienst in Verviers, een amendement op de archiefwet van 1955 of een bijzonder statuut van overheidsorganisme op het Duitstalige grondgebied, in nauwe samenwerking met het Rijksarchief. Geen van de drie voorstellen haalde het.     

De oprichting van de eerste Executieve en van de Raad van de Duitstalige Gemeenschap, op 30 januari 1984, en van het Duitstalig gerechtelijk arrondissement van Eupen, op 23 september 1985, deden de zaken vooruitgaan. De burgemeester van Eupen, Alfred Evers, en voormalig schepen van cultuur en later diensthoofd van het Rijksarchief te Eupen, Alfred Minke, grepen de gelegenheid aan om met de steun van André Damseaux, minister van Opvoeding en bevoegd voor archiefbeleid, het project van oprichting van een Rijksarchief te Eupen tot een goed einde te brengen. Op 11 juni 1987 gaven de opvolger van Damseaux, Antoine Duquesne, en zijn Vlaamse evenknie Daniël Coens, hun princiepsakkoord voor de oprichting van een archiefdienst in het arrondissement Eupen. Alfred Minke kreeg de concrete opdracht om deze archiefdienst voor de Duitstalige Gemeenschap vorm te geven. In de zomer van 1988 besliste minister Louis Tobback, destijds voogdijminister voor het Rijksarchief, om in Eupen een depot van het Rijksarchief op te richten. Hij belastte algemeen rijksarchivaris Ernest Persoons met de taak om “alle nodige maatregelen te nemen voor de oprichting van een Rijksarchief in de Duitstalige Gemeenschap”.  Deze formulering wijst erop dat de beleidsmakers van bij de aanvang een nauwe band zagen tussen de inplanting van een Rijksarchief in het gerechtelijk arrondissement Eupen en de Duitstalige Gemeenschap als politieke entiteit.   

Op 28 november 1988 ondertekende minister Tobback het besluit tot oprichting van een Rijksarchief te Eupen. De nieuwe dienst zou onder rechtstreekse voogdij staan van het Algemeen Rijksarchief. Vraagstukken in verband met personeel of lokalen waren nog niet opgelost. Op 1 maart 1989 ging de dienst aan het werk in twee lokalen die ter beschikking werden gesteld door de stad Eupen. Een maand later werd 300 strekkende meter archief inzake het gerechtelijk arrondissement Eupen overgebracht van het Rijksarchief te Luik naar Eupen. 

In 1987 stelde Georges Hansotte, voormalig diensthoofd van het Rijksarchief te Luik, een inventaris op van al het archief dat in Luik werd bewaard, waarvan hij oordeelde dat het deel uitmaakte van het “erfgoed van de Duitstalige Gemeenschap”. Het ging zowel om privaatrechtelijke archieven van burgers en geestelijken die waren gedomicilieerd in de Duitstalige entiteiten van de huidige provincie Luik, als om archief van de “Kreis” en het kantongerecht van Malmedy, hoewel deze entiteit strikt genomen in Wallonië lag. Hansotte maakte deze uitzondering om twee redenen: ten eerste omdat het om Duitstalig archief ging; en ten tweede omdat het was aangewezen het archief van plaatselijke instellingen die tijdens de Pruisische tijd (1815-1919) voor het grondgebied bevoegd waren als erfgoed van de Duitstalige Gemeenschap te beschouwen. Over deze criteria bestond unanimiteit en ze worden tot op vandaag toegepast.

Een laatste stap in de oprichting van het Rijksarchief te Eupen was de ondertekening op 28 november 1989 – één dag na de oprichting van de archiefdienst – van een akkoord tussen minister Tobback, de minister-president van de Duitstalige Gemeenschap en vertegenwoordigers van de stad Eupen. In het akkoord werden de taken en de werking van het Rijksarchief te Eupen vastgelegd voor een overgangsperiode van onbepaalde duur. De stad stelde aan het Rijksarchief lokalen ter beschikking aan de Kaperberg 2-4. De Duitstalige Gemeenschap verklaarde zich bereid personeel te voorzien “in afwachting van de aanwerving van Duitstalig personeel door het bestuur van het Rijksarchief”. Het akkoord vormde tot 2013 de basis voor de werking van het Rijksarchief te Eupen. Op 23 april 2013 werd dit bestuurlijk akkoord aangevuld met een bijkomend akkoord.  

Vandaag, 30 jaar na zijn oprichting, maakt het Rijksarchief te Eupen definitief deel uit van het Belgisch archivalisch landschap en vervult het als onmisbare actor een eersterangsrol binnen de Duitstalige Gemeenschap.