Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal
9C_668/2022
Arrêt du 13 novembre 2023
IIIe Cour de droit public
Composition
MM. et Mme les Juges fédéraux Parrino, Président, Moser-Szeless et Beusch.
Greffière : Mme Vuadens.
Participants à la procédure
1. A.A.________,
2. B.A.________,
tous les deux représentés par Maîtres Xavier Oberson et Lysandre Papadopoulos,
recourants,
contre
Administration fédérale des contributions, Eigerstrasse 65, 3003 Berne,
intimée,
Administration fiscale cantonale du canton de Genève,
rue du Stand 26, 1204 Genève,
Steuerverwaltung des Kantons Schwyz, Bahnhofstrasse 15, 6430 Schwyz.
Objet
Impôts fédéral direct, périodes fiscales 2009 et 2011, détermination du for fiscal,
recours contre l'arrêt du Tribunal administratif fédéral du 1er juin 2022 (A-5920/2020).
Faits :
A.
A.a. A.A.________ a été assujetti à l'impôt de manière illimitée dans le canton de Genève de 1993 à 2008 y compris. Il a un fils, né en 1998, dont il a seul la garde et sur lequel il a l'autorité parentale exclusive depuis son divorce d'avec la mère de l'enfant. Dans le canton de Genève, A.A.________ est propriétaire d'une villa à U.________, acquise en 2006 pour le prix de 4.6 mio de francs, ainsi que d'un appartement dans la commune de V.________, qu'il a loué de la fin de l'année 2009 jusqu'en mars 2011 et qu'il a vendu en mai 2012.
A.A.________ est employé de la banque C.________ SA et a travaillé dans le canton de Genève jusqu'à son transfert, en novembre 2009, dans la succursale zurichoise de cet établissement. Le 18 novembre 2009, A.A.________ a annoncé aux autorités genevoises son départ pour le canton de Schwyz. Après avoir logé chez un ami dans le canton de Zoug, il a loué, à partir de décembre 2009, deux appartements de respectivement 3.5 pièces (110 m2) et 4.5 pièces (145 m2) à W.________ (SZ), pour un loyer total de 7'600 fr. Le fils de A.A.________ est toutefois resté scolarisé à Genève.
Le 6 avril 2011, A.A.________ a épousé à Genève B.A.________, qui était déjà sa compagne en 2009. Résidente dans le canton de Genève depuis 2003, B.A.________ habitait dans un appartement sis à Genève. En octobre 2011, les époux ont acheté pour 2 mio de francs un appartement de 5.5 pièces à X.________ (SZ). Ils y ont emménagé le 11 octobre 2011. Le fils du A.A.________ a intégré une école privée dans le canton de Zoug à la rentrée scolaire 2012. Depuis lors, il vit à X.________ avec son père et sa belle-mère.
A.b. Par décisions des 9 mars 2011 et 21 août 2012, l'Administration fiscale du canton de Schwyz a procédé à l'imposition de A.A.________ pour l'impôt fédéral direct des périodes fiscales 2009 et 2010.
A.c. Le 8 juillet 2013, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale genevoise) a contesté le changement de domicile de A.A.________ et ouvert à son encontre une procédure pour tentative de soustraction de l'impôt fédéral direct et de l'impôt cantonal et communal. Le 4 mars 2014, elle a rendu une décision d'assujettissement à l'impôt pour les périodes fiscales 2009 à 2011, contre laquelle l'intéressé a recouru auprès du Tribunal administratif de première instance du canton de Genève.
Le 14 octobre 2015, l'Administration fiscale genevoise a demandé à l'Administration fédérale des contributions (ci-après: l'Administration fédérale) de déterminer le for fiscal de A.A.________ pour les années 2009 à 2011. L'Administration fiscale du canton de Schwyz et le contribuable ont conclu à la péremption du droit d'imposer du canton de Genève et à la fixation du for fiscal dans le canton de Schwyz.
La procédure en cours devant le Tribunal administratif de première instance du canton de Genève a été suspendue dans l'attente de l'issue de la procédure fédérale.
A.d. Par deux décisions du 23 octobre 2020 en détermination du for fiscal, la première concernant les périodes fiscales 2009 et 2010 et la seconde la période fiscale 2011, l'Administration fédérale a attribué le for fiscal au canton de Genève et constaté que le droit d'imposer de ce canton était périmé pour la période fiscale 2010. Elle a en outre déclaré que tout acte du canton de Schwyz lié à l'imposition de A.A.________ et de B.A.________ en matière d'impôt fédéral direct des périodes fiscales 2009 et 2011 était annulé.
B.
Le 25 novembre 2020, A.A.________ et B.A.________ ont recouru contre les décisions du 23 octobre 2020 auprès du Tribunal administratif fédéral, concluant en substance à leur annulation s'agissant des périodes fiscales 2009 et 2011 et à l'attribution du for fiscal au canton de Schwyz. Par recours du même jour, l'Administration fiscale genevoise a contesté la première décision du 23 octobre 2020 en tant qu'elle retenait que son droit d'imposer A.A.________ pour la période fiscale 2010 était périmé. L'Administration fiscale schwyzoise a conclu à l'admission des recours des contribuables et au rejet de celui de l'Administration fiscale genevoise.
Après avoir joint les causes, le Tribunal administratif fédéral a rejeté les recours par arrêt du 1er juin 2022.
C.
Agissant par la voie du recours en matière de droit public, A.A.________ (recourant 1), pour la période fiscale 2009, respectivement A.A.________ et B.A.________ (recourants 1 et 2), pour la période fiscale 2011, demandent au Tribunal fédéral d'annuler l'arrêt du 1er juin 2022, d'attribuer le for fiscal de A.A.________ au canton de Schwyz pour la période fiscale 2009 et celui de A.A.________ et de B.A.________ au canton de Schwyz pour la période fiscale 2011, de constater la compétence du canton de Schwyz en matière d'impôt fédéral direct pour ces périodes fiscales et d'annuler tout acte accompli par l'Administration fiscale genevoise en matière d'impôt fédéral direct concernant ces périodes.
L'Administration fiscale genevoise et l'Administration fédérale concluent au rejet du recours. L'administration fiscale schwyzoise ne s'est pas déterminée.
Le 5 septembre 2023, l'Administration fédérale a adressé spontanément un courrier au Tribunal fédéral.
Considérant en droit :
1.
L'arrêt attaqué est une décision finale (art. 90 LTF), rendue par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF) dans une cause de droit public (art. 82 let. a LTF) qui ne tombe pas sous le coup d'une clause d'exception de l'art. 83 LTF. La voie du recours en matière de droit public est donc ouverte. Le recours a par ailleurs été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par les destinataires de l'arrêt attaqué, qui ont qualité pour recourir (cf. art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sous réserve des situations visées à l'art. 106 al. 2 LTF.
2.2. Il statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Selon l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait de l'instance précédente que si les faits ont été établis de façon manifestement inexacte - c'est-à-dire arbitraire au sens de l'art. 9 Cst. (ATF 148 V 366 consid. 3.3; 147 I 73 consid. 2.2) - ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause. A défaut, il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui figure dans l'acte attaqué (ATF 148 I 160 consid. 3; 148 V 366 consid. 3.3; 145 V 188 consid. 2). Le Tribunal fédéral n'entre pas en matière sur les critiques appellatoires portant sur l'état de fait ou l'appréciation des preuves (ATF 147 IV 73 consid. 4.1.2; 140 III 264 consid. 2.3; 137 II 353 consid. 5.1).
En tant que les recourants se fondent sur des éléments de fait qui ne sont pas constatés dans l'arrêt attaqué, sans se plaindre d'arbitraire dans l'établissement des faits ou l'appréciation des preuves, il n'en sera pas tenu compte. Il en va de même des éléments de fait avancés par l'Administration fédérale dans sa réponse au recours, en tant qu'ils ne ressortent pas de l'arrêt attaqué. Le Tribunal fédéral statuera donc exclusivement sur la base des faits constatés (art. 105 al. 1 LTF).
3.
Le litige porte sur le point de savoir si, pour le prélèvement de l'impôt fédéral direct, le for fiscal du recourant 1 pour la période fiscale 2009 et des recourants 1 et 2 pour la période fiscale 2011 doit être attribué au canton de Genève ou au canton de Schwyz.
4.
Selon l'art. 120 al. 4 LIFD, la prescription absolue du droit de procéder à la taxation intervient quinze ans après la fin de la période fiscale. S'agissant de la période fiscale 2009, la prescription absolue sera donc atteinte au 31 décembre 2024 et non pas, comme l'indique l'Administration fédérale dans son courrier du 5 septembre 2023 à la fin de l'année 2023.
5.
Le 1er janvier 2014 est entrée en vigueur la loi fédérale du 22 mars 2013 sur la mise à jour formelle du calcul dans le temps de l'impôt direct dû par les personnes physiques (RO 2013 2397), qui a entraîné des modifications et des abrogations de dispositions de la LIFD et de la LHID. Les périodes fiscales litigieuses étant antérieures à l'entrée en vigueur de cette loi et faute de droit transitoire (cf. ATF 138 V 176 consid. 7.1.2; 129 II 497 consid. 5.3.2), ce sont les dispositions de la LIFD et de la LHID en vigueur durant ces périodes qui sont applicables et qui seront indiquées par la mention "ancien article".
5.1. La taxation et la perception de l'impôt fédéral direct sont effectuées par les cantons, sous la surveillance de la Confédération (art. 2 LIFD). Selon l'ancien art. 216 al. 1 1e phrase LIFD (cf. art. 105 al. 1 1e phrase LIFD), les autorités cantonales perçoivent l'impôt fédéral direct auprès des personnes physiques qui, au regard du droit fiscal, sont domiciliées en Suisse, ou qui à défaut de domicile en Suisse, sont en séjour dans le canton à la fin de la période fiscale ou de l'assujettissement. La période fiscale correspondant à l'année civile (cf. l'ancien art. 209 al. 2 LIFD et l'actuel art. 40 al. 1 LIFD), c'est donc le canton dans lequel le contribuable a son domicile fiscal au 31 décembre de la période fiscale concernée qui est, en tant que canton du for fiscal, compétent pour prélever l'impôt fédéral direct dû pour cette période. Par conséquent, si le contribuable transfère son domicile d'un canton dans un autre, la compétence de prélever l'impôt fédéral direct appartient, pour la période fiscale entière, au canton dans lequel il a son domicile au 31 décembre (cf. aussi l'actuel art. 4b al. 1 LHID). Lorsque le for fiscal d'un contribuable pour l'impôt fédéral direct ne peut être déterminé avec certitude ou qu'il est litigieux et que plusieurs cantons sont en cause, il est fixé par l'Administration fédérale (art. 108 al. 1 1e phrase LIFD), qui rend à ce sujet une décision en constatation (cf. ATF 126 II 514 consid. 3d et les références).
5.2. La question litigieuse revient donc à déterminer si c'est à bon droit que le Tribunal administratif fédéral a jugé, à la suite de l'Administration fédérale, que le domicile fiscal du recourant 1, respectivement des recourants 1 et 2, était dans le canton de Genève et non pas dans le canton de Schwyz au 31 décembre 2009 et au 31 décembre 2011.
6.
Une personne a son domicile dans le canton, au regard du droit fiscal, lorsqu'elle y réside avec l'intention de s'y établir durablement (cf. art. 3 al. 2 LHID; cf. aussi art. 3 al. 2 LIFD). Le domicile fiscal suppose la réunion de deux conditions cumulatives: le séjour en un lieu et l'intention de s'y établir (ATF 143 II 233 consid. 2.5.2; arrêts 2C_533/2018 du 30 octobre 2019 consid. 2.2.1; 2C_627/2011 du 7 mars 2012 consid. 4.1). Le domicile fiscal correspond en principe au domicile civil (art. 23 al. 1 CC [RS 210]).
6.1. Selon la jurisprudence, le canton du domicile fiscal est celui dans lequel une personne a le centre de ses intérêts ("Mittelpunkt der Lebensinteressen"; ATF 148 II 285 consid. 3.2.2 et les références; 132 I 29 consid. 4.1; 131 I 145 consid. 4.1). Si une personne a des liens avec plusieurs lieux, son domicile fiscal est là où elle a les relations les plus étroites (ATF 148 II 285 consid. 3.2.3: 132 I 29 consid. 4.2; 131 I 145 consid. 4.2), ce qui se détermine en fonction de l'ensemble des circonstances objectives et non des déclarations ou des préférences du contribuable. Dans cette mesure, il n'est pas possible de choisir librement son domicile fiscal (cf. ATF 148 II 285 consid. 3.2.2 et les références; 143 II 233 consid. 2.5.2; 132 I 29 consid. 4.1; 131 I 145 consid. 4.1). La détermination du canton du domicile fiscal ne peut guère se fonder sur des preuves strictes, mais résulte généralement d'un faisceau d'indices (arrêts 9C_25/2023 du 5 juin 2023 consid. 3.2; 2C_533/2018 du 30 octobre 2019 consid. 2.2.2; 2C_505/2015 du 8 décembre 2016 consid. 8.1; 2C_397/2010 du 6 décembre 2010 consid. 2.4.2, in StE 2011 A 24.21 Nr. 22, traduit in RDAF 2011 II 127). Le point de départ de l'analyse est le lieu de résidence habituel de la personne concernée. Ses intérêts personnels, familiaux, professionnels et sociaux peuvent toutefois la lier si étroitement à un autre lieu que celui-ci apparaît comme le centre de ses intérêts personnels, même si elle y passe moins de temps. Les éléments pertinents à prendre en compte sont notamment le lieu de résidence habituel des membres de la famille (époux, enfants, parents et frères et soeurs), les relations sociales extra-familiales (par exemple la participation à la vie associative), la situation professionnelle du contribuable ou ses conditions de logement dans les différents lieux (ATF 148 II 285 consid. 3.2.3). Le fait d'avoir déposé ses papiers dans un canton n'est qu'un indice (cf. ATF 132 I 29 consid. 4.1; 131 I 145 consid. 4.1; 125 I 54 consid. 2). Les différents critères doivent être pondérés en fonction de la situation personnelle de la personne concernée, dans le cadre d'une appréciation globale des circonstances d'espèce (ATF 148 II 295 consid. 3.2.3). Les faits antérieurs ou postérieurs à la période fiscale examinée ne sont pas directement pertinents, mais peuvent néanmoins être pris en compte à titre d'indices (ATF 148 II 295 consid. 3.2.3 in fine et les références).
6.2. La jurisprudence a développé certaines règles en droit fiscal intercantonal, qui sont applicables en droit cantonal harmonisé (ATF 148 II 285 consid. 3.3; 132 I 29 consid. 4.1; 131 I 145 consid. 4.1). Par exemple, les conjoints et partenaires enregistrés qui font vie commune ont un domicile fiscal commun. Si le contribuable marié ou lié par un partenariat enregistré exerce durant la semaine une activité salariée dans un autre canton, ses relations fondées sur ses liens personnels et familiaux sont généralement considérées comme plus fortes que celles avec le lieu de travail, s'il retourne dans sa famille chaque jour (pendulaire; Pendler) ou pendant le week-end et son temps libre (résident hebdomadaire; Wochenaufenthalter) et qu'il n'occupe pas une fonction dirigeante (ATF 148 II 285 consid. 3.3.1; 132 I 29 consid. 4.2; 125 I 54 consid. 2b/aa; 121 I 14 consid. 4a). Le domicile fiscal de ce contribuable est donc au lieu où réside sa famille. Ce n'est que s'il ne rentre pas dans sa famille en fin de semaine, ou pas régulièrement, même les week-ends, que son domicile fiscal est alors en principe au lieu du travail (cf. ATF 148 II 285 consid. 3.3.2 et les références notamment aux ATF 132 I 29 consid. 4.2; 125 I 54 consid. 2b/aa), étant précisé que le lieu du travail n'est pas celui où se trouve le poste de travail, mais celui où la personne concernée passe régulièrement la nuit pour se rendre à son travail (ATF 148 II 285 consid. 3.3.3; 132 I 29 consid. 4.2; 125 I 54 consid. 2b).
6.3. Si une personne a définitivement cessé de séjourner à son ancien domicile, celui-ci ne peut logiquement plus représenter le centre de ses intérêts (ATF 94 I 318 consid. 5a et les arrêts cités; arrêts 2C_794/2013 du 2 mai 2014 consid. 3.4; 2P.5/2007 du 22 février 2008 consid. 2.2.1, in StE 2009 A 24.22 Nr. 6; MARTIN ZWEIFEL/SILVIA HUNZIKER, Kommentar zum Schweizerischen Steuerrecht, Interkantonales Steuerrecht, 2021, § 6 n° 11). En revanche, si une personne interrompt son séjour à un endroit pour une période relativement longue, le domicile peut néanmoins subsister à cet endroit, s'il ressort de l'ensemble des circonstances objectives qu'elle y a conservé le centre de son existence (cf., certes dans un contexte international, les arrêts 2C_678/2013 du 28 avril 2014 consid. 3.2, in RF 69/2014 p. 714; 2P.87/2000 du 3 juillet 2000 consid. 4b; 2A.393/1999 du 28 janvier 2000 consid. 3b; 2P.180/1997 du 20 janvier 1999 consid. 2c).
6.4. Selon la maxime inquisitoire applicable à la procédure de taxation (cf. aussi l'art. 46 al. 1 LHID), il appartient à l'autorité fiscale d'examiner l'ensemble des faits pertinents (ATF 148 II 285 consid. 3.1.1; 147 II 209 consid. 5.1.3). Le contribuable a toutefois une obligation de collaborer (cf. art. 42 al. 1 LHID; ATF 148 II 285 consid. 3.1.1). Lorsque le for fiscal est litigieux, cette obligation implique que le contribuable est tenu de fournir des renseignements sur les faits et indices pertinents pour déterminer son domicile (ATF 148 II 285 consid. 3.1.1; arrêt 2C_323/2021 du 8 mars 2022 consid. 2.4).
La question du fardeau de la preuve se pose lorsque les autorités fiscales ne parviennent pas à établir les faits pertinents (ATF 148 II 285 consid. 3.1.3; 147 II 427 consid. 5.1.3). A cet égard, le principe selon lequel le fardeau de la preuve d'un fait incombe à celui qui en déduit des droits s'applique également en droit public (art. 8 CC par analogie). L'assujettissement illimité à l'impôt d'une personne doit donc être prouvé par l'autorité fiscale (ATF 148 II 285 consid. 3.1.3 et les références; arrêts 2C_323/2021 du 8 mars 2022 consid. 2.4.1; 2C_533/2018 du 30 octobre 2019 consid. 2.5; 2C_794/2013 du 2 mai 2014 consid. 3.4). Toutefois, lorsqu'un contribuable quitte un canton dans lequel son assujettissement illimité était très vraisemblable, c'est à lui qu'il revient d'apporter la preuve de son assujettissement subjectif allégué dans un nouveau canton. A titre de contre-exception, si l'ancien canton de domicile reconnaît que le domicile fiscal principal d'un contribuable se trouvait dans un autre canton, il peut revendiquer à nouveau la souveraineté fiscale pour une nouvelle période fiscale, mais c'est alors à lui de prouver que les faits se sont modifiés de manière déterminante en sa faveur (arrêts 2C_323/2021 du 8 mars 2022 consid. 2.4.1 et 2.4.2; 2C_911/2018 du 17 mars 2020 consid. 4.2; 2C_533/2018 du 30 octobre 2019 consid. 2.5 à 2.5.2).
7.
Dans l'arrêt attaqué, le Tribunal administratif fédéral a retenu qu'il incombait au recourant 1, respectivement aux recourants 1 et 2, de prouver le transfert de leur domicile fiscal dans le canton de Schwyz pour les périodes fiscales litigieuses et qu'en l'occurrence, ils n'y étaient pas parvenus. Il ressortait en effet de l'ensemble des faits établis que le centre des intérêts du recourant 1, respectivement celui des recourants 1 et 2, se trouvait dans le canton de Genève tant en 2009 qu'en 2011.
7.1. Les recourants reprochent d'abord aux juges précédents d'avoir violé les règles de répartition du fardeau de la preuve (art. 8 CC) en imposant au recourant 1 la charge de la preuve du transfert de son domicile fiscal.
Il ressort des faits constatés par la juridiction antérieure que le recourant 1 a été assujetti à l'impôt de manière illimitée dans le canton de Genève de 1993 à 2008. C'est donc bien à lui qu'il incombait d'apporter la preuve du transfert de son domicile fiscal dans le canton de Schwyz en 2009 (supra consid. 6.4). La situation n'est pas différente s'agissant de la période fiscale 2011, puisque le canton de Genève n'a jamais admis que le recourant 1 a eu antérieurement son domicile fiscal dans le canton de Schwyz ("contre-exception"; supra consid. 6.4). Le grief de violation de l'art. 8 CC est donc rejeté.
7.2. Reste à déterminer si c'est à bon droit que le Tribunal administratif fédéral a retenu que le domicile fiscal du recourant 1, respectivement celui des recourants 1 et 2, était dans le canton de Genève pour les périodes fiscales litigieuses. Les recourants le contestent, invoquant une violation des
7.2.1. L'art. 3 LIFD délimite les compétences de la Confédération par rapport à l'étranger pour assujettir à l'impôt une personne à raison du rattachement personnel. Cette disposition a donc une portée internationale (JEAN-BLAISE PASCHOUD/DANIEL DE VRIES REILINGH, in Commentaire de la LIFD, 2e éd. 2017, n° 7 ad art. 3 LIFD). Dans le contexte intercantonal du cas d'espèce, ce sont donc l'art. 3 al. 2 LHID et la jurisprudence du Tribunal fédéral en matière de double imposition intercantonale qui entrent en ligne de compte. Quant à l'art. 105 al. 1 LIFD, il n'avait pas sa teneur actuelle durant les périodes fiscales litigieuses. C'est l'ancien art. 216 al. 1 LIFD, également mentionné par les recourants, qui est applicable (supra consid. 5).
7.2.2. La détermination du centre des intérêts d'une personne - et donc de son domicile fiscal cantonal - sur la base des faits constatés (art. 105 al. 1 LTF) est une question de droit (cf. ATF 148 II 285 consid. 3.2.2; 136 II 405 consid. 4.3), que le Tribunal fédéral revoit librement. Conformément à l'ancien art. 216 al. 1 LIFD, la situation doit être examinée au 31 décembre de chaque période fiscale.
7.2.3. En ce qui concerne tout d'abord la période fiscale 2009, il ressort des faits constatés que le recourant 1 a annoncé, en octobre 2009, son départ du canton de Genève en raison de son transfert professionnel dans la succursale zurichoise de la banque qui l'employait dans le canton de Genève. Il a d'abord logé chez un ami dans le canton de Zoug puis, dès décembre 2009, dans l'un des deux appartements qu'il a loués dans le même immeuble à W.________ (SZ). Son fils, né en 1998, sur lequel il a l'autorité parentale exclusive et dont il a seul la garde, ainsi que sa compagne (la recourante 2), sont restés vivre à Genève. L'arrêt attaqué ne constate pas de présence effective du recourant 1 dans le canton de Genève après son départ annoncé du canton, et ne constate a fortiori pas que le recourant serait rentré chaque semaine auprès de son fils et de sa compagne (et aurait donc le statut de résident hebdomadaire; supra consid. 6.2). Le recourant 1 ne peut toutefois rien tirer en sa faveur de cette absence de constat. D'une part, c'est à lui qu'il incombait d'apporter des éléments de preuve de son transfert de domicile fiscal dans le canton de Schwyz (supra consid. 6.4). D'autre part, même si le recourant 1 avait prouvé qu'il n'a pas séjourné dans le canton de Genève depuis l'annonce de son départ, cela ne suffirait pas pour en conclure en l'espèce à un transfert de son domicile fiscal dans le canton de Schwyz au 31 décembre 2009. Une telle conclusion ne pourrait être tirée que s'il fallait déduire objectivement de l'ensemble des circonstances que cette interruption de séjour marque la fin du centre de ses intérêts dans le canton de Genève. Or, tel n'est manifestement pas le cas, puisque le fils du recourant 1 et la recourante 2 ont continué à vivre dans le canton de Genève et que le recourant 1 y avait toujours sa villa de U.________ à disposition.
Il s'ensuit que le Tribunal administratif fédéral n'a pas violé l'art. 3 al. 2 LHID ni l'ancien art. 216 al. 1 LIFD en jugeant que le recourant 1 avait son domicile fiscal dans le canton de Genève au 31 décembre 2009 et que son for fiscal pour l'impôt fédéral direct devait par conséquent être attribué à ce canton pour cette période.
7.2.4. En ce qui concerne ensuite la période fiscale 2011, il ressort des faits constatés par les juges précédents que les recourants avaient plusieurs liens avec le canton de Genève en 2011. Ils s'y sont mariés en avril 2011, et la recourante 2 a vécu dans la villa de U.________ ou dans son appartement genevois, en partie avec le fils du recourant 1, jusqu'au 10 octobre 2011. Le fils du recourant 1 a continué à être scolarisé dans ce canton jusqu'à la fin de l'année scolaire 2011-2012 et l'arrêt attaqué constate que la recourante 2 a fait des séjours à Genève durant l'année scolaire pour s'occuper de l'enfant. Les recourants admettent en outre avoir passé des vacances et des week-ends dans le canton de Genève.
Toutefois, Il ressort de l'ensemble des circonstances spécifiques du cas d'espèce que les recourants avaient néanmoins leur domicile fiscal dans le canton de Schwyz au 31 décembre 2011. Sous l'angle professionnel, le recourant 1 travaillait toujours dans le canton de Zurich. Par ailleurs, le 11 octobre 2011, les recourants ont emménagé ensemble à X.________ (SZ), dans un appartement de 5.5 pièces acquis pour le prix de 2 mio de francs. Le fils du recourant 1 est certes resté vivre à Genève, pour des raisons scolaires, et les juges précédents admettent que c'est pour être présente auprès de l'enfant que la recourante 2 a encore passé du temps à Genève jusqu'à la fin de l'année scolaire 2011-2012. L'arrêt attaqué constate toutefois que cet enfant intégrera une école privée du canton de Zoug à la rentrée scolaire 2012 et qu'il quittera donc Genève pour vivre avec son père et sa belle-mère à X.________. A la lumière de ces éléments, il faut admettre que le fait que le fils du recourant 1 est resté dans le canton de Genève pour y terminer son année scolaire ne peut pas être compris comme un indice que les recourants avaient encore le centre de leurs intérêts dans le canton de Genève au 31 décembre 2011, comme le Tribunal administratif fédéral le retient à tort. A cela s'ajoute que, contrairement à ce qui prévalait en 2009, l'arrêt attaqué constate que les recourants ont développé des liens sociaux et amicaux dans le canton de Schwyz. Il est ainsi fait mention de l'appartenance à un choeur, de l'affiliation à une paroisse, de la présence du fils du recourant 1 à la messe, de l'attestation d'un couple d'amis résidant dans le canton de Schwyz, ainsi que de sorties dans des restaurants dans ce canton et d'autres cantons alémaniques. Enfin, les recourants ont allégué que la villa de U.________ avait été mise en vente, ce qui n'a pas été démenti, et l'arrêt constate que l'appartement dans la Commune de V.________ a été vendu en mai 2012.
En conséquence, nonobstant le fait que le fils du recourant 1 est resté dans le canton de Genève pour des motifs scolaires jusqu'à la fin de l'année scolaire, c'est le canton de Schwyz qui est le canton du for fiscal pour l'impôt fédéral direct de la période fiscale 2011. En parvenant à la conclusion inverse, l'arrêt attaqué n'est pas conforme à l'art. 3 al. 2 LHID et à l'ancien art. 216 al. 1 LIFD.
8.
Ce qui précède conduit à l'admission partielle du recours. L'arrêt attaqué est partiellement réformé en ce sens que le for fiscal des recourants 1 et 2 pour l'impôt fédéral direct de la période fiscale 2011 est attribué au canton de Schwyz. L'arrêt attaqué est confirmé pour le surplus.
9.
9.1. Au vu de l'issue du recours, les frais judiciaires sont, partiellement, mis à la charge du recourant 1, qui succombe seul s'agissant de la période fiscale 2009 (art. 66 al. 1 LTF). Aucun frais judiciaire n'est mis à la charge de l'Administration fédérale (art. 66 al. 4 LTF). L'Administration fédérale versera aux recourants une indemnité de 1'000 fr. à titre de dépens réduits (
9.2. Le Tribunal fédéral ne fera pas usage de la faculté prévue aux
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis.
2.
L'arrêt du Tribunal administratif fédéral du 1er juin 2022 est partiellement réformé en ce sens que le for fiscal des recourants est attribué au canton de Schwyz pour la période fiscale 2011. L'arrêt attaqué est confirmé pour le surplus.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont partiellement mis à la charge du recourant 1, à raison de 1'000 fr.
4.
L'Administration fédérale des contributions versera aux recourants une indemnité de 1'000 fr. à titre de dépens réduits.
5.
La cause est renvoyée au Tribunal administratif fédéral pour qu'il statue à nouveau sur les frais et dépens de la procédure menée devant lui.
6.
Le présent arrêt est communiqué aux parties, à l'Administration fiscale cantonale du canton de Genève, à la Steuerverwaltung des Kantons Schwyz et au Tribunal administratif fédéral, Cour I.
Lucerne, le 13 novembre 2023
Au nom de la IIIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Vuadens