Jan-Hendrik Heinrichs

Wissenschaft und Forschung müssen heute klarer reflektieren und deutlicher erklären, was sie tun und warum sie es tun. Dies betrifft nicht nur die Verwendung von öffentlichen Ressourcen, sondern auch Forschungsziele und methodische Ansätze. Insbesondere sind Wissenschaft und Forschung sehr viel stärker als früher zu zeigen aufgefordert, dass ihr Handeln ethisch verantwortungsvoll ist. Dafür müssen ethische Grundprinzipien und verfassungsmäßige Grundrechte regelmäßig gegeneinander abgewogen werden. Heutzutage sind also bereits bei der konzeptionellen Planung ethische und rechtliche Abwägungsfragen mitzubedenken und überzeugend zu beantworten. Neben fachwissenschaftlicher Expertise benötigen Forschende deshalb auch forschungsethische sowie rechtliche Kenntnisse. Ein verbreiteter Ansatz, um verantwortungsvolle Forschung zu gewährleisten, besteht darin, Mechanismen der akademischen Selbstregulierungen zu implementieren. Dies führt dazu, dass Forschende vermehrt in Gremien tätig werden, die die Projekte von anderen Forschenden ethisch begutachten. Der vorliegende Band bietet deshalb einen praxisorientierten Ansatz, der es Forschenden ermöglichen soll, sowohl ethische Probleme ihrer eigenen Arbeit zu identifizieren als auch Begutachtungstätigkeiten zu übernehmen. Er führt in etablierte Konzepte zur Handhabung ethischer Herausforderungen ein und vermittelt auch erforderliches rechtliches Hintergrundwissen für die Teilhabe in Ethik-Gremien und Kommissionen. Schließlich erläutern die Autoren, wie diese Konzepte genutzt werden können, um zu überzeugenden Lösungen für eine verantwortungsvolle Forschung zu gelangen.

Definition of the problem In this article, a review of neuroethics is provided. Building on an earlier paper by Müller et al. (2018), we identify continuities and shed light on more recent important developments. Arguments In particular, we show that neuroethics is partly confronted with new substantive challenges. In addition, the question of how to deal with diversity plays a growing role: neuroethics is increasingly reflecting on the extent to which certain social groups are under- or overrepresented in research and ethical discourse, as well as the resulting blind spots. In this context, adopting a global perspective that takes cultural plurality into account is becoming increasingly important for neuroethics. Finally, we point out existing and emerging forms of institutionalization and networking with which the scientific community is responding to these challenges. Conclusion We argue that neuroethics should focus more on inclusive and participatory research concepts.

Virtual reality (VR) induces a radical psychological reorientation. Yet descriptions of this reorientation are often steeped in theoretically misleading metaphors. We offer a more measured account, grounded in both philosophy and cognitive psychology, and use it to assess the claim that VR promotes moral learning by simulating another’s perspective. This hypothesis depends on the assumption that avatar use produces experiences sufficiently similar to those of others to enable empathic growth. We reject that assumption and offer two arguments against it. Empathy relevant to moral learning requires interpretive effort and contextual understanding, not just a shift in perspective. And VR’s open-ended, user-driven structure tends to reinforce prior assumptions rather than unsettle them. Still, avatar use may have a different effect on moral learning, which we call self-fragmentation. By loosening the boundaries of the self, VR may expand the range of people one is disposed to empathize with.

The chapter challenges the notion that cognitive tools are universally beneficial and should always be deeply integrated into cognitive systems. Instead, it proposes a taxonomy that recognizes the existence of hostile and detrimental tools and suggests that some tools might be better suited remaining on the periphery of an extended cognitive system. The chapter explores the moral implications of deep integration between cognitive tools and systems, highlighting three potential detriments: narrows, detours, and dead ends. These adverse effects present moral challenges and call for cautious consideration during technology development. The text emphasizes that the list of detrimental effects is likely to expand as technology advances and further investigations uncover additional impacts on cognitive systems.

Der zentrale Unterschied zwischen Medizinethik und Forschungsethik ergibt sich daraus, dass medizinische Interventionen grundsätzlich auf das reale Wohl der Betroffenen ausgerichtet sind, Forschungshandlungen hingegen normalerweise auf das mögliche Wohl von Gruppen. In der Abwägung für oder wider eine medizinische Intervention kann immer darauf verwiesen werden, dass Risiken zugunsten eines medizinischen Nutzens der Person, sei er präventiv, diagnostisch, therapeutisch oder palliativ, in Kauf genommen werden.

Die Forschungsethik in den Neurowissenschaften ist breit aufgestellt, weil es die Neurowissenschaften selbst ebenso sind. Die Disziplinfamilie ›Neurowissenschaften‹ umfasst unter anderen humanbiologische, zellbiologische, evolutionsbiologische, genetische und psychologische Forschungsprojekte, die sich um die Erforschung von Gehirnen scharen. Dabei kommt dem menschlichen Gehirn eine besondere, aber keine exklusive Aufmerksamkeit zu. Auch tierische Gehirne oder andere Nervengewebe finden in den Neurowissenschaften Beachtung. Dazu gesellt sich die Translationsforschung, die sich an der Entwicklung psychiatrischer und neurologischer Therapien orientiert. Wie diese Auflistung zeigt, verästelt sich die moderne Neurowissenschaft in nahezu alle Felder der gegenwärtigen Lebenswissenschaften, weshalb auch im Plural von den Neurowissenschaften gesprochen wird. Die forschungsethischen Themenfelder der Neurowissenschaften ähneln denn auch oft denen der Lebenswissenschaften insgesamt.

Obwohl die Neuroethik – wie oben beschrieben – eine Disziplin des 21. Jahrhunderts ist, hat sie ebenso Vorläufer, wie die modernen Neurowissenschaften Vorläufer in der Medizin- und Forschungspraxis früherer Epochen haben. Die Vorläufer der Neuroethik bewegen sich in demselben Spannungsfeld zwischen Alltagsmoral, Forschungsethik und Medizinethik wie moderne Beiträge zur Disziplin. Die frühe Entwicklung neurowissenschaftlichen Wissens und neuroethischer Überlegungen wurde – wie auch heute – weit mehr durch medizinische Entwicklungen angeleitet als durch Grundlagenforschung geschweige denn Alltagsinteressen.

In jedem der oben ausgeführten Handlungsfelder, Labor, Praxis und Alltag, erzeugen neue Erkenntnisse der Neurowissenschaften und neue neurotechnische Handlungsoptionen ethischen Klärungsbedarf. Der größte Teil der Erweiterung und Veränderung der Handlungsoptionen resultiert daraus, dass die Neurowissenschaften unsere mentalen Fähigkeiten besser zu erfassen, zu messen und zu verstehen erlauben. Diese theoretischen Neuerungen eröffnen zusätzliche Anwendungsmöglichkeiten für neue, aber auch alte Techniken der Veränderung und Gestaltung mentaler Zustände und Prozesse. Dies ist oben unter anderem am Beispiel von psychoaktiven Substanzen vorgeführt worden, deren exakte Wirkung auf klar identifizierte kognitive Funktionen erstmals genau gemessen und bewertet werden kann. Die präzisere Taxonomie mentaler Funktionen und Zustände dürfte aber grundsätzlich auch geeignet sein, andere Methoden der Veränderung und Gestaltung mentaler Zustände auf ihre Wirksamkeit zu prüfen und gegebenenfalls weiterzuentwickeln. Dieser Umstand schlägt sich in einer Vielzahl von Forschungsstudien nieder, die genau solche Verfahren der Gestaltung des eigenen Geistes thematisieren, von Meditation bis hin zu Unterrichtsverfahren.

Die Praxis und die Erfolge der Neurowissenschaften wirken sich nicht nur auf diejenigen Bereiche modernen Lebens aus, in denen sie am präsentesten sind, nämlich die Praxis von Medizin und Forschung selbst. Sie wirken sich auch auf das Alltagsleben und dessen Moralvorstellungen aus. Dies tun sie in mehrfacher Weise, nämlich erstens, indem sie neue Technologien bereitstellen, von neuen psychoaktiven Substanzen bis hin zu Stimulations- und Analyseverfahren, zweitens – und vielleicht wichtiger –, indem sie unser Verständnis psychoaktiver Techniken insgesamt und ihres Gebrauchs herausfordern und aufzuklären erlauben, und drittens, indem sie das alltägliche Verständnis unseres mentalen Lebens teilweise neu zu formulieren fordern und erlauben.

Neuroethik ist eine junge ethische Disziplin. Sie entstand im ausgehenden 20. Jahrhundert als Reaktion auf neurowissenschaftliche Erkenntnisfortschritte und auf die Entwicklung moderner Neurotechnologien. Die Formierung zu einem einigermaßen kohärenten akademischen Programm dürfte erst mit der Konferenz Neuroethics. Mapping the Field in San Francisco 2002 und der daraus resultierenden Konferenzpublikation entstanden sein (Marcus 2002). Das Wort neuroethics wurde zuvor zwar schon von Anneliese Pontius verwendet, allerdings in einem thematisch nicht einschlägigen Artikel (Pontius 1973; vgl. Racine 2010, 29). Der Anlass für die Gründung der neuen Disziplin war eine tiefe Verunsicherung, wie das neue Wissen über den Menschen und die neuen technischen Handlungsoptionen sich in bestehende Interpretationsmuster und Handlungsleitlinien einfügen ließen. Diese Verunsicherung drückte sich in besonders weitreichenden Behauptungen darüber aus, wie sehr die Neurowissenschaften unser Selbstverständnis und unsere Institutionen revolutionieren würden. So stellten diverse Autoren ein neues, neurodeterministisches Menschenbild (W. Singer 2003; dagegen: Janich 2009), eine vollständige Umwälzung des Strafrechts (Greely 2008; dagegen: Schleim/Spranger/Walter 2009), eine ganz neue Pädagogik und eben eine vollkommen neue Ethik in Aussicht (vgl. etwa Greene/Cohen 2006; Roth 2003). Auf diese Verunsicherung reagierten einige enthusiasmiert und machten sich daran, die Grundzüge dieser neuen Theorien und Institutionen zu entwerfen, andere reagierten zurückhaltender und zeigten auf, welche Bestandteile der etablierten Ordnungen vor diesen Veränderungen bewahrt werden müssten (eine dieser zurückhaltenderen Stimmen war durchweg die von Stephen Morse, vgl. bspw. Morse 2011, 2013).

Der moralische Umgang mit Veränderungen mentaler Zustände erfordert komplexere Regeln, als wir sie aus der Alltagsmoral oft gewohnt sind. Unsere Alltagsmoral ist überwiegend kritisch gegenüber mentalen Veränderungen, die nicht aus aufwändigen Prozessen des Lernens, Übens, der geistigen und körperlichen Disziplin oder Verausgabung resultieren. Ekstatische Zustände durch sportliche Höchstleistungen, durch Tanz, durch Jogging oder Ähnliches werden weniger kritisch beobachtet als solche, die durch Stimulantien, sogar durch Zucker oder Koffein hervorgerufen werden. Meditative Entspannung wird eher als unproblematisch akzeptiert als der Effekt von Alkohol oder gar des nebenwirkungsärmeren Rauschpfeffers Kava. Diese kritische Grundhaltung hat sich wenigstens an der Oberfläche in generellen und floskelhaften Anweisungen wie »Sag Nein zu Drogen« niedergeschlagen.

Definition of the problem “Dual use” refers to the applicability of a research result or methods for purposes that concern the internal or external security of a society. This includes research that can be used for military, intelligence, terrorist, or criminal purposes. Dual use has been an increasingly aggravating problem for many areas of the life sciences and medicine for over a decade. The main cause for this is that many of their results are capable of demonstrating how humans, but also (domestic) animals and plants, can be manipulated and attacked, and which tools are particularly suitable for this purpose. Arguments The digitalization in the life sciences has two distinguishable impacts on the dual-use problem: an intensifying and an expanding one. By enabling faster and more comprehensive research and development processes, digitalization exacerbates the existing dual-use problem because it increases the pace at which the results of this research can be utilized for security-related purposes. Moreover, the digitalization of the life sciences expands the dual-use problem, as some of the digital tools developed and used in the life sciences can themselves have military or security-relevant applications. Conclusion Therefore, a broad-based governance including wide participation of stakeholders in the research process and broader information on dual use in good scientific practice education across institutions, career stages, and disciplines is necessary.

Foreword The following guideline emerged from the project DUMFE: Dual Use and Misuse of Research Results (“Dual use und Missbrauch von Forschungsergebnissen”), funded by the German Federal Ministry of Education and Research (BMBF, 01GP2187). In recent years, dual use has become a significant issue in research ethics for numerous reasons, garnering considerable attention not only within the ethical community but also in the broader scientific community and among political and security circles. Among the reasons for this attention are the dissemination of scientific developments with high misuse potential, such as gain-of-function experiments (Imai et al. 2012; Herfst et al. 2012; Imperiale and Casadevall 2018); political factors, including recent shifts in the global security landscape (Nationale Akademie der Wissenschaften Leopoldina (Leopoldina) and Deutsche Forschungsgemeinschaft (DFG) 2024, 9ff.); and heightened awareness of historical misuses of science (De Block and Adriaens, 2013). There is detailed advice on the handling of dual use research of concern provided by the Joint Committee (“Joint Committee on the Handling of Security-Relevant Research”) of the German National Academy of Science Leopoldina and the German Research Foundation (DFG) (2022). The Joint Committee also provides networking and exchange opportunities for Committees for Ethics in Security-Relevant Research (Kommissionen für Ethik sicherheitsrelevanter Forschung), so-called KEFs. Nevertheless, additional information and guidance on handling dual use research of concern is a regular request in particular from scientists, but also a request often heard in forums with policy experts, managers and administrators of institutions in research and education. The present guideline provides such additional in-depth information on the definition, examples, legal as well as ethical issues and options for governance of dual use research. It has been written by ethicists and philosophers of technology, supported by lawyers and members of the commission for ethics in research of Forschungszentrum Jülich. It is intended to provide additional information supporting the design of and deliberation in institutional bodies dealing with ethics of security-relevant research. It aims to highlight decisions and options relevant to different institutions and refers to further sources of information throughout.

Definition of the problem “Dual use” refers to the applicability of a research result or methods for purposes that concern the internal or external security of a society. This includes research that can be used for military, intelligence, terrorist, or criminal purposes. Dual use has been an increasingly aggravating problem for many areas of the life sciences and medicine for over a decade. The main cause for this is that many of their results are capable of demonstrating how humans, but also (domestic) animals and plants, can be manipulated and attacked, and which tools are particularly suitable for this purpose. Arguments The digitalization in the life sciences has two distinguishable impacts on the dual-use problem: an intensifying and an expanding one. By enabling faster and more comprehensive research and development processes, digitalization exacerbates the existing dual-use problem because it increases the pace at which the results of this research can be utilized for security-related purposes. Moreover, the digitalization of the life sciences expands the dual-use problem, as some of the digital tools developed and used in the life sciences can themselves have military or security-relevant applications. Conclusion Therefore, a broad-based governance including wide participation of stakeholders in the research process and broader information on dual use in good scientific practice education across institutions, career stages, and disciplines is necessary.

Recent work on ecological accounts of moral responsibility and agency have argued for the importance of social environments for moral reasons responsiveness. Moral audiences can scaffold individual agents’ sensitivity to moral reasons and their motivation to act on them, but they can also undermine it. In this paper, we look at two case studies of ‘scaffolding bad’, where moral agency is undermined by social environments: street gangs and online incel communities. In discussing these case studies, we draw both on recent situated cognition literature and on scaffolded responsibility theory. We show that the way individuals are embedded into a specific social environment changes the moral considerations they are sensitive to in systematic ways because of the way these environments scaffold affective and cognitive processes, specifically those that concern the perception and treatment of ingroups and outgroups. We argue that gangs undermine reasons responsiveness to a greater extent than incel communities because gang members are more thoroughly immersed in the gang environment.

An increasing number of research fields must expect that their projects will be classified as susceptible to misuse or otherwise security relevant, even if the reasons or criteria for this classification have not yet been uniformly developed. Research institutions will commonly distribute the obligation to predict and prevent misuse across multiple members and structures including ethics committees. However, cases of misuse occur even in spite of these precautions, raising the question of the type and distribution of responsibility for the resulting harm. This question becomes even more pressing if research ethics committees in their decisions ask researchers to provide a misuse- specific risk assessment or risk mitigation plan and thereby shift back a part of their responsibility on the researchers. While this kind of requirement may be considered as unsatisfactory by researchers, members of research ethics committees or boards and third-party funders, will argue that it fulfils two important functions. On the one hand, it makes use of the best available source for misuse risk-assessment available to most committees; on the other hand, it guarantees that the researchers at least try to take responsibility. If researchers, committee members and others involved discharge their obligation to predict and mitigate misuse risks with due diligence, any backward-looking responsibility they retain is to show agent regret for the results of their work having been misused.

The volume focusses on the ethical dimensions of the technological scaffold embedding human thought and action, which has been brought to attention of the cognitive sciences by situated cognition theories. There is a broad spectrum of technologies co-realising or enabling and enhancing human cognition and action, which vary in the degree of bodily integration, interactivity, adaptation processes, of reliance and indispensability etc. This technological scaffold of human cognition and action evolves rapidly. Some changes are continuous, some are eruptive. Technologies that use machine learning e.g. could represent a qualitative leap in the technological scaffolding of human cognition and actions. The ethical consequences of applying situated cognition theories to practical cases had yet to find adequate attention and are elucidated in this volume.

Brain age prediction is a relatively new tool in neuro-medicine and the neurosciences. In research and clinical practice, it finds multiple use as a marker for biological age, for general health status of the brain and as an indicator for several brain-based disorders. Its utility in all these tasks depends on detecting outliers and thus failing to correctly predict chronological age. The indicative value of brain age prediction is generated by the gap between a brain’s chronological age and the predicted age, the brain age gap (BAG). This article shows how the clinical and research use of brain age prediction tacitly pathologizes the states that it is sensitive to. It will be argued that the tacit character of this transformation conceals the need for its explicit justification.

Artificial intelligence (AI) is a powerful tool for several healthcare tasks. AI tools are suited to optimize predictive models in medicine. Ethical debates about AI’s extension of the predictive power of medical models suggest a need to adapt core principles of medical ethics. This article demonstrates that a popular interpretation of the principle of justice in healthcare needs amendment given the effect of AI on decision-making. The procedural approach to justice, exemplified with Norman Daniels and James Sabin’s accountability for reasonableness conception, needs amendment because, as research into algorithmic fairness shows, it is insufficiently sensitive to differential effects of seemingly just principles on different groups of people. The same line of research generates methods to quantify differential effects and make them amenable for correction. Thus, what is needed to improve the principle of justice is a combination of procedures for selecting just criteria and principles and the use of algorithmic tools to measure the real impact these criteria and principles have. In this article, the author shows that algorithmic tools do not merely raise issues of justice but can also be used in their mitigation by informing us about the real effects certain distributional principles and criteria would create.

Will brain imaging technology soon enable neuroscientists to read minds? We cannot answer this question without some understanding of the state of the art in neuroimaging. But neither can we answer this question without some understanding of the concept invoked by the term “mind reading.” This article is an attempt to develop such understanding. Our analysis proceeds in two stages. In the first stage, we provide a categorical explication of mind reading. The categorical explication articulates empirical conditions that must be satisfied if mind reading is to be achieved. In the second stage, we develop a metric for judging the proficiency of mind reading experiments. The conception of mind reading that emerges helps to reconcile folk psychological judgments about what mind reading must involve with the constraints imposed by empirical strategies for achieving it.

Who is responsible for the events and consequences caused by using artificially intelligent tools, and is there a gap between what human agents can be responsible for and what is being done using artificial intelligence? Both questions presuppose that the term ‘responsibility’ is a good tool for analysing the moral issues surrounding artificial intelligence. This article will draw this presupposition into doubt and show how reference to responsibility obscures the complexity of moral situations and moral agency, which can be analysed with a more differentiated toolset of moral terminology. It suggests that the impression of responsibility gaps only occurs if we gloss over the complexity of the moral situation in which artificial intelligent tools are employed and if—counterfactually—we ascribe them some kind of pseudo-agential status.

Neuroenhancement concerns the improvement of a person’s mental properties, abilities, and performance. The various techniques of neuroenhancement offer new opportunities of such improvement, but also come with substantive perils. Neuroenhancement thus involves significant normative challenges for individual persons as well as for society as a whole. This expert report provides a concise overview of the contemporary debate on neuroenhancement. It discusses the definition, techniques and targets of neuroenhancement and examines arguments for and against it at the level of individual persons, social interaction, and social policy.

Unterschiedlichste Anwendungsformen künstlicher Intelligenz bestimmen schon heute den Alltag vieler Menschen – von Einsatz von KI-Systeme in Finanzgeschäften über die Vergabe von Studienplätzen bis hin zur Steuerung von Pflegerobotern, Autos und Waffensystemen. Diese vielfältigen neuen Möglichkeiten und Visionen wecken einerseits Hoffnungen auf persönlichen und gesellschaftlichen Nutzen und Fortschritt; andererseits rufen sie aber auch Bedenken, Ängste und gelegentlich auch grundsätzliche Ablehnung hervor. Angesichts dieser Ambivalenz sind ethische Analysen gefordert, die ausloten, wie ein verantwortungsvoller Umgang mit KI gestaltet werden sollte. Der Band greift viele dieser Probleme auf und unterzieht sie einer eingehenden philosophischen Analyse. Die Auseinandersetzung ist nach klassischen Teilbereichen der Philosophie gegliedert, aus deren Perspektive heraus jeweils spezielle Teilaspekte oder einzelne Anwendungsformen von KI beleuchtet werden. Das Themenspektrum reicht entsprechend von Fragen der Handlungstheorie und Philosophie des Geistes über wissenschaftstheoretische Problemstellungen bis hin zu ethischen Fragen die beispielsweise den Einsatz von KI in der Medizin und im Wirtschafts- und Arbeitsleben betreffen. In Auseinandersetzung mit aktuellen Debatten werden eigenständige Positionen entwickelt.

This article investigates how human life is conceptualized in the design and use of digital assistants and how this conceptualization feeds back into the life really lived. It suggests that a specific way of conceptualizing human life — namely as a set of tasks to be optimized — is responsible for the much-criticized information hunger of these digital assistants. The data collection of digital assistants raises not just several issues of privacy, but also the potential for improving people’s degree of self-determination, because the optimization model of daily activity is genuinely suited to a certain mode of self-determination, namely the explicit and reflective setting, pursuing, and monitoring of goals. Furthermore, optimization systems’ need for generation and analysis of data overcomes one of the core weaknesses in human capacities for self-determination, namely problems with objective and quantitative self-assessment. It will be argued that critiques according to which digital assistants threaten to reduce their users’ autonomy tend to ignore that the risks to autonomy are derivative to potential gains in autonomy. These critiques are based on an overemphasis of a success conception of autonomy. Counter to this conception, being autonomous does not require a choice environment that exclusively supports a person’s “true” preferences, but the opportunity to engage with external influences, supportive as well as adverse. In conclusion, it will be argued that ethical evaluations of digital assistants should consider potential gains as well as potential risks for autonomy caused by the use of digital assistants.