Le 2 juillet 1962, l'Etat espagnol, représenté par le Sous-Secrétaire aux Affaires étrangères de l'époque, M. Pedro Cortina Mauri, et le Conseil oléicole international, représenté par son Directeur exécutif, M. Lucien Denis, ont signé le premier Accord de siège.
Le préambule de cet Accord stipule que la décision de fixer le siège permanent du COI à Madrid a été prise lors de la première session de l'Organisation en 1959.

Le 13 juillet 1989, un deuxième Accord de siège a été signé entre le Royaume d'Espagne et le COI afin de fournir un nouveau cadre légal tenant compte des changements intervenus au cours des années. A cette occasion, l'Accord a été signé par le Ministre espagnol des Affaires étrangères de l'époque, M. Francisco Fernandez Ordoñez, et le Directeur exécutif du COI en ce temps-là, M. Fausto Luchetti, puis ratifié par Sa Majesté le Roi d'Espagne Juan Carlos Ier.
La signature de cet Accord de siège répondait alors aux dispositions de l'articles 3 de l'Accord international de 1986 sur l'huile d'olive et les olives de table, qui fixait le siège du COI à Madrid, et à celles de l'article 6 du même instrument prévoyant le statut, les privilèges et immunités accordés par le Gouvernement d'Espagne à l'Organisation.

Le 20 novembre 2007, S.E. M. Miguel Angel Moratinos, Ministre espagnol des affaires étrangères et de la coopération au Gouvernement du Royaume d’Espagne, et S.E. M. Habib Essid, Directeur exécutif du Conseil oléicole international, ont procédé, dans le cadre de l'application de l'Accord international de 2005 sur l'huile d'olive et les olives de table, à la signature d’un nouvel Accord régissant les droits, les immunités et les privilèges du siège de l’Organisation et de ses fonctionnaires.